Mistral (niezależny wydawca) (wersja zapoznawcza)

Identyfikator modelu do użycia dla tego żądania.

Lista ciągów do osadzenia.

Format danych wyjściowych.

Identyfikator modelu do użycia.

Rola.

Zawartość.

Jaka temperatura próbkowania ma być używana z zakresu od 0,0 do 1,0. Wyższe wartości, takie jak 0,8, sprawią, że dane wyjściowe będą bardziej losowe, a niższe wartości, takie jak 0,2, sprawią, że będą bardziej skoncentrowane i deterministyczne. Ogólnie zaleca się zmianę tego lub top_p, ale nie obu.

Próbkowanie jądra, w którym model uwzględnia wyniki tokenów z top_p masą prawdopodobieństwa. Dlatego 0,1 oznacza, że uwzględniane są tylko tokeny znajdujące się w górnych 10% masy prawdopodobieństwa. Ogólnie zalecamy zmianę tej wartości lub temperatury, ale nie obu.

Maksymalna liczba tokenów do wygenerowania w zakończeniu. Liczba tokenów monitu oraz max_tokens nie może przekraczać długości kontekstu modelu.

Czy należy przesyłać strumieniowo częściowy postęp. W przypadku ustawienia tokeny będą wysyłane jako zdarzenia wysyłane tylko do serwera, gdy staną się dostępne, a strumień zostanie zakończony przez dane: [GOTOWE] komunikat. W przeciwnym razie serwer będzie przechowywać żądanie otwarte do momentu przekroczenia limitu czasu lub do zakończenia z odpowiedzią zawierającą pełny wynik w formacie JSON.

Czy wstrzyknąć monit o bezpieczeństwo przed wszystkimi konwersacjami.

Nasion do użycia do próbkowania losowego. W przypadku ustawienia różne wywołania będą generować wyniki deterministyczne.