Udostępnij przez

Dokumentacja referencyjna interfejsu API REST modelu bazowego

Ten artykuł zawiera ogólne informacje o interfejsie API dla Databricks Foundation Model API i obsługiwanych modeli. Interfejsy API modelu foundation zostały zaprojektowane tak, aby były podobne do interfejsu API REST platformy OpenAI, aby ułatwić migrację istniejących projektów. Punkty końcowe z płatnością za token i zapewnioną przepustowością akceptują ten sam format żądań REST API.

punkty końcowe

Interfejsy API modelu podstawowego obsługują punkty końcowe rozliczane za token oraz punkty końcowe o zapewnionej przepustowości.

Wstępnie skonfigurowany punkt końcowy jest dostępny w obszarze roboczym dla każdego obsługiwanego modelu płatności za token, a użytkownicy mogą wchodzić w interakcje z tymi punktami końcowymi przy użyciu żądań HTTP POST. Zobacz Obsługiwane modele podstawowe w usłudze Mosaic AI Model Serving , aby zapoznać się z obsługiwanymi modelami.

Punkty końcowe z zaprojektowaną przepustowością można utworzyć przy użyciu interfejsu API lub za pomocą interfejsu użytkownika usługi. Te punkty końcowe obsługują wiele modeli na punkt końcowy na potrzeby testowania A/B, o ile oba obsługiwane modele udostępniają ten sam format interfejsu API. Na przykład oba modele są modelami czatów. Zobacz POST /api/2.0/serving-endpoints, aby uzyskać parametry konfiguracji punktu końcowego.

Żądania i odpowiedzi używają kodu JSON. Dokładna struktura JSON zależy od typu zadania punktu końcowego. Punkty końcowe czatu i uzupełniania obsługują odpowiedzi w formie strumieniowania.

Użycie

Odpowiedzi obejmują komunikat podrzędny usage, który zgłasza liczbę tokenów w żądaniu i odpowiedzi. Format tego komunikatu podrzędnego jest taki sam we wszystkich typach zadań.

Pole Typ Opis
completion_tokens Liczba całkowita Liczba wygenerowanych tokenów. Nie włączone w odpowiedzi dotyczące osadzania.
prompt_tokens Liczba całkowita Liczba tokenów z monitów wejściowych.
total_tokens Liczba całkowita Łączna liczba tokenów.
reasoning_tokens Liczba całkowita Liczba tokenów myślenia. Ma zastosowanie tylko do modeli rozumowania.

W przypadku modeli takich jak databricks-meta-llama-3-3-70b-instruct monit użytkownika jest przekształcany przy użyciu szablonu monitu przed przekazaniem go do modelu. W przypadku punktów końcowych płatności za token może zostać również dodany monit systemowy. prompt_tokens zawiera cały tekst dodany przez nasz serwer.

API odpowiedzi

Ważne

Interfejs API odpowiedzi jest zgodny tylko z modelami OpenAI.

Interfejs API odpowiedzi umożliwia wieloturnowe rozmowy z modelem. W przeciwieństwie do chat completions, interfejs API odpowiedzi używa input zamiast messages.

Żądanie Responses API

Pole Domyślny Typ Opis
model Struna wymagane. Identyfikator modelu używany do generowania odpowiedzi.
input Ciąg lub lista[ResponsesInput] wymagane. Dane wejściowe tekstu, obrazu lub pliku w modelu używane do generowania odpowiedzi. W przeciwieństwie do messages, to pole wykorzystuje input do określania zawartości konwersacji.
instructions null Struna Komunikat systemu (lub dewelopera) wstawiony do kontekstu modelu.
max_output_tokens null null, co oznacza brak limitu lub liczbę całkowitą większą niż zero Górna granica liczby tokenów, które można wygenerować dla odpowiedzi, w tym widoczne tokeny wyjściowe i tokeny rozumowania.
temperature 1.0 Liczba w postaci zmiennoprzecinkowej w przedziale [0,2] Temperatura próbkowania. Wartość 0 jest deterministyczna i wyższa wartość wprowadza większą losowość.
top_p 1.0 Liczba zmiennoprzecinkowa z zakresu (0,1] Próg prawdopodobieństwa używany do próbkowania jądra.
stream false logiczny W przypadku ustawienia wartości true dane odpowiedzi modelu będą przesyłane strumieniowo do klienta, ponieważ są generowane przy użyciu zdarzeń wysyłanych przez serwer.
stream_options null StreamOptions Opcje przesyłania strumieniowego odpowiedzi. Ustaw tę wartość tylko po ustawieniu stream: true.
text null TextConfig Opcje konfiguracji generowania odpowiedzi tekstowej przez model. Może to być zwykły tekst lub dane JSON ze strukturą.
reasoning null ReasoningConfig Konfiguracja rozumowania dla modeli serii GPT-5 i O.
tool_choice "auto" Ciąg lub ToolChoiceObject W jaki sposób model powinien wybrać narzędzie (lub narzędzia), które ma być używane podczas generowania odpowiedzi. Zobacz parametr , tools aby zobaczyć, jak określić narzędzia, które może wywołać model.
tools null Lista[ToolObject] Tablica narzędzi, które model może wywołać podczas generowania odpowiedzi. Uwaga: interpreter kodu i narzędzia wyszukiwania w Internecie nie są obsługiwane przez usługę Databricks.
parallel_tool_calls true logiczny Czy zezwolić modelowi na równoległe uruchamianie wywołań narzędzi.
max_tool_calls null Liczba całkowita większa niż zero Maksymalna liczba wywołań do wbudowanych narzędzi, które można przetworzyć w odpowiedzi.
metadata null Obiekt Zestaw 16 par klucz-wartość, które można dołączyć do obiektu.
prompt_cache_key null Struna Służy do buforowania odpowiedzi dla podobnych żądań w celu optymalizacji współczynnika trafień w pamięci podręcznej. user Zamienia pole.
prompt_cache_retention null Struna Zasady przechowywania dla pamięci podręcznej monitu. Ustaw "24h", aby włączyć buforowanie rozszerzonych monitów, co utrzymuje aktywne buforowane prefiksy dłużej, maksymalnie do 24 godzin.
safety_identifier null Struna Stabilny identyfikator używany do wykrywania użytkowników aplikacji, którzy mogą naruszać zasady użycia.
user null Struna Przestarzałe. Użyj safety_identifier i prompt_cache_key zamiast tego.
truncation null Struna Strategia obcinania, która ma być użyta dla odpowiedzi modelu.
top_logprobs null Liczba całkowita Liczba całkowita z zakresu od 0 do 20 określająca liczbę najbardziej prawdopodobnych tokenów do zwrócenia na każdej pozycji, z których każdy ma skojarzone logarytmiczne prawdopodobieństwo.
include null Lista[String] Określ dodatkowe dane wyjściowe do uwzględnienia w odpowiedzi modelu.
prompt null Obiekt Odwołanie do szablonu monitu i jego zmiennych.

Nieobsługiwane parametry: Następujące parametry nie są obsługiwane przez usługę Databricks i zwracają błąd 400, jeśli określono:

  • background — Przetwarzanie w tle nie jest obsługiwane
  • store — Przechowywane odpowiedzi nie są obsługiwane
  • conversation — Interfejs API konwersacji nie jest obsługiwany
  • service_tier — Wybór warstwy usługi jest zarządzany przez usługę Databricks

ResponsesInput

Pole input akceptuje ciąg lub listę obiektów komunikatów wejściowych z rolą i zawartością.

Pole Typ Opis
role Struna wymagane. Rola autora wiadomości. Może to być "user" lub "assistant".
content Ciąg lub lista[ResponsesContentBlock] wymagane. Zawartość komunikatu , albo jako ciąg lub tablica bloków zawartości.

ResponsesContentBlock

Bloki zawartości definiują typ zawartości w komunikatach wejściowych i wyjściowych. Typ bloku zawartości jest określany przez type pole.

InputText
Pole Typ Opis
type Struna wymagane. Musi mieć wartość "input_text".
text Struna wymagane. Zawartość tekstowa.
OutputText
Pole Typ Opis
type Struna wymagane. Musi mieć wartość "output_text".
text Struna wymagane. Zawartość tekstowa.
annotations Lista[Object] Opcjonalne adnotacje dla zawartości tekstowej.
InputImage
Pole Typ Opis
type Struna wymagane. Musi mieć wartość "input_image".
image_url Struna wymagane. Adres URL lub URI obrazu z danymi zakodowanymi w formacie base64.
InputFile
Pole Typ Opis
type Struna wymagane. Musi mieć wartość "input_file".
file_id Struna Identyfikator pliku, jeśli używasz przesłanych plików.
filename Struna Nazwa pliku.
file_data Struna Identyfikator URI danych zakodowany w formacie Base64 z prefiksem formatu. Na przykład pliki PDF używają formatu data:application/pdf;base64,<base64 data>.
FunctionCall
Pole Typ Opis
type Struna wymagane. Musi mieć wartość "function_call".
id Struna wymagane. Unikatowy identyfikator wywołania funkcji.
call_id Struna wymagane. Identyfikator wywołania.
name Struna wymagane. Nazwa wywoływanej funkcji.
arguments Obiekt/ciąg wymagane. Argumenty funkcji jako obiekt lub ciąg JSON.
FunctionCallOutput
Pole Typ Opis
type Struna wymagane. Musi mieć wartość "function_call_output".
call_id Struna wymagane. Identyfikator wywołania, do którego odpowiadają te dane wyjściowe.
output Ciąg/obiekt wymagane. Dane wyjściowe funkcji jako ciąg lub obiekt JSON.

StreamOptions

Konfiguracja odpowiedzi strumieniowych. Używane tylko wtedy, gdy stream: true.

Pole Typ Opis
include_usage logiczny Jeśli wartość true, dołącz informacje o użyciu tokenu w strumieniu. Wartość domyślna to false.

TextConfig

Konfiguracja danych wyjściowych tekstu, w tym danych wyjściowych ze strukturą.

Pole Typ Opis
format ResponsesFormatObject Specyfikacja formatu danych wyjściowych tekstu.

ResponsesFormatObject

Określa format danych wyjściowych odpowiedzi tekstowych.

Pole Typ Opis
type Struna wymagane. Typ formatu: "text" dla zwykłego tekstu, "json_object" dla formatu JSON lub "json_schema" dla ustrukturyzowanego kodu JSON.
json_schema Obiekt Wymagane , gdy type ma wartość "json_schema". Obiekt schematu JSON definiujący strukturę danych wyjściowych.

Obiekt json_schema ma taką samą strukturę jak JsonSchemaObject udokumentowany w interfejsie API uzupełniania czatów.

ReasoningConfig

Konfiguracja zachowania rozumowania w modelach rozumowania (modele serii o i gpt-5).

Pole Typ Opis
effort Struna Poziom nakładu pracy rozumowania: "low", "medium", lub "high". Wartość domyślna to "medium".
encrypted_content Struna Zaszyfrowana zawartość logiki dla trybu bezstanowego. Dostarczony przez model w poprzednich odpowiedziach.

ToolObject

Zobacz Wywoływanie funkcji na platformie Azure Databricks.

Pole Typ Opis
type Struna wymagane. Typ narzędzia. Obecnie obsługiwana jest tylko function.
function ObiektFunkcji wymagane. Definicja funkcji skojarzona z narzędziem.

FunctionObject

Pole Typ Opis
name Struna wymagane. Nazwa funkcji do wywołania.
description Obiekt wymagane. Szczegółowy opis funkcji. Model używa tego opisu, aby zrozumieć istotność funkcji dla monitu i wygenerować wywołania narzędzi z większą dokładnością.
parameters Obiekt Parametry akceptowane przez funkcję, opisane jako prawidłowy obiekt schematu JSON . Jeśli narzędzie jest wywoływane, wywołanie narzędzia pasuje do podanego schematu JSON. Pominięcie parametrów definiuje funkcję bez żadnych parametrów. Liczba properties jest ograniczona do 15 kluczy.
strict logiczny Czy włączyć ścisłe przestrzeganie schematu podczas generowania wywołania funkcji. Jeśli ustawiono wartość true, model jest zgodny z dokładnym schematem zdefiniowanym w polu schematu. Obsługiwany jest tylko podzbiór schematu JSON, gdy strict ma wartość true

ToolChoiceObject

Zobacz Wywoływanie funkcji na platformie Azure Databricks.

Pole Typ Opis
type Struna wymagane. Typ narzędzia. Obecnie obsługiwana jest tylko "function".
function Obiekt wymagane. Obiekt definiujący, które narzędzie wywołać z formy {"type": "function", "function": {"name": "my_function"}}, gdzie "my_function jest nazwą obiekt funkcji w polu tools.

Odpowiedź interfejsu API odpowiedzi

W przypadku żądań nieprzesyłania strumieniowego odpowiedź jest pojedynczym obiektem odpowiedzi. W przypadku żądań przesyłania strumieniowego odpowiedź to text/event-stream, w którym każde zdarzenie stanowi fragment odpowiedzi.

Pole Typ Opis
id Struna Unikatowy identyfikator odpowiedzi. Uwaga: usługa Databricks szyfruje ten identyfikator pod kątem zabezpieczeń.
object Struna Typ obiektu. Równe "response".
created_at Liczba całkowita Sygnatura czasowa systemu Unix (w sekundach) podczas tworzenia odpowiedzi.
status Struna Stan odpowiedzi. Jeden z: completed, , failedin_progress, cancelledqueuedlub incomplete.
model Struna Wersja modelu używana do generowania odpowiedzi.
output Lista[ResponsesMessage] Dane wyjściowe generowane przez model, zwykle zawierające obiekty komunikatów.
usage Użycie Metadane użycia tokenu.
error Error Informacje o błędzie, jeśli odpowiedź nie powiodła się.
incomplete_details Niekompletne szczegóły Szczegółowe informacje o tym, dlaczego odpowiedź jest niekompletna, jeśli ma to zastosowanie.
instructions Struna Instrukcje podane w żądaniu.
max_output_tokens Liczba całkowita Maksymalne tokeny wyjściowe określone w żądaniu.
temperature Pływak Temperatura używana do generowania.
top_p Pływak Wartość top_p używana do generowania.
tools Lista[ToolObject] Narzędzia określone w żądaniu.
tool_choice Ciąg lub ToolChoiceObject Ustawienie „tool_choice” z żądania.
parallel_tool_calls logiczny Czy równoległe wywołania narzędzi zostały włączone.
store logiczny Czy odpowiedź została zapisana.
metadata Obiekt Metadane dołączone do odpowiedzi.

ResponsesMessage

Obiekty wiadomości w polu output zawierającym treść odpowiedzi modelu.

Pole Typ Opis
id Struna wymagane. Unikatowy identyfikator komunikatu.
role Struna wymagane. Rola wiadomości. "user" lub "assistant".
content Lista[ResponsesContentBlock] wymagane. Zawartość blokuje komunikat.
status Struna Stan przetwarzania komunikatów.
type Struna wymagane. Typ obiektu. Równe "message".

Error

Informacje o błędzie w przypadku niepowodzenia odpowiedzi.

Pole Typ Opis
code Struna wymagane. Kod błędu.
message Struna wymagane. Czytelny dla człowieka komunikat o błędzie.
param Struna Parametr, który spowodował błąd, jeśli ma to zastosowanie.
type Struna wymagane. Typ błędu.

IncompleteDetails

Szczegółowe informacje o tym, dlaczego odpowiedź jest niekompletna.

Pole Typ Opis
reason Struna wymagane. Przyczyna, dla którego odpowiedź jest niekompletna.

API uzupełniania wiadomości czatowych

Interfejs API do uzupełniania rozmów umożliwia wieloturnowe konwersacje z modelem. Odpowiedź modelu zawiera następny komunikat assistant w konwersacji. Zobacz POST /serving-endpoints/{name}/invocations w celu wykonywania zapytań dotyczących parametrów punktu końcowego.

Żądanie czatu

Pole Domyślny Typ Opis
messages lista ChatMessage wymagane. Lista wiadomości reprezentujących bieżącą konwersację.
max_tokens null null, co oznacza brak limitu lub liczbę całkowitą większą niż zero Maksymalna liczba tokenów do wygenerowania.
stream true logiczny Przesyłanie odpowiedzi do klienta w celu umożliwienia uzyskania częściowych wyników dla żądań. Jeśli ten parametr jest uwzględniony w żądaniu, odpowiedzi są wysyłane przy użyciu standardu zdarzeń wysyłanych przez serwer .
temperature 1.0 Liczba w postaci zmiennoprzecinkowej w przedziale [0,2] Temperatura próbkowania. Wartość 0 jest deterministyczna i wyższa wartość wprowadza większą losowość.
top_p 1.0 Liczba zmiennoprzecinkowa z zakresu (0,1] Próg prawdopodobieństwa używany do próbkowania jądra.
top_k null null, co oznacza brak limitu lub liczbę całkowitą większą niż zero Definiuje liczbę k najbardziej prawdopodobnych tokenów używanych do filtrowania top-k. Ustaw tę wartość na 1, aby uczynić dane wyjściowe deterministycznymi.
stop [] String lub lista [string] Model przestaje generować kolejne tokeny, gdy napotkano jedną z sekwencji w stop.
n 1 Liczba całkowita większa niż zero Interfejs API zwraca n niezależnych uzupełnień czatu, gdy zostanie określony n. Zalecane w przypadku obciążeń, które generują wiele uzupełnień na tych samych danych wejściowych, aby uzyskać dodatkową wydajność wnioskowania i oszczędność kosztów. Dostępne tylko dla punktów końcowych przydzielonej przepustowości.
tool_choice none Ciąg lub ToolChoiceObject Używane tylko w połączeniu z polem tools. tool_choice obsługuje różne ciągi słów kluczowych, takie jak auto, requiredi none. auto oznacza, że pozwalasz modelowi zdecydować, które (jeśli istnieje) narzędzie ma zastosowanie do użycia. Jeżeli auto model nie uważa, że żadne narzędzia w tools są istotne, model generuje standardową wiadomość asystenta zamiast wywołania narzędzia. required oznacza, że model wybiera najbardziej odpowiednie narzędzie w tools i musi wykonać wywołanie narzędzia. none oznacza, że model nie generuje żadnych wywołań narzędzi i zamiast tego musi wygenerować standardowy komunikat asystenta. Aby wymusić wywołanie narzędzia za pomocą określonego narzędzia zdefiniowanego w tools, użyj ToolChoiceObject. Domyślnie, jeśli pole tools zostanie wypełnione tool_choice = "auto". W przeciwnym razie pole tools przyjmuje wartość domyślną tool_choice = "none"
tools null ToolObject Zestawienie tools, które model może wywołać. Obecnie function jest jedynym obsługiwanym typem tool i obsługiwane są maksymalnie 32 funkcje.
response_format null ResponseFormatObject Obiekt określający format, który musi zostać wygenerowany przez model. Akceptowane typy to text, json_schema lub json_object
Ustawienie na { "type": "json_schema", "json_schema": {...} } włącza ustrukturyzowane dane wyjściowe, co zapewnia, że model jest zgodny z podanym schematem JSON.
Ustawienie wartości { "type": "json_object" } gwarantuje, że odpowiedzi generowane przez model są prawidłowe w formacie JSON, ale nie gwarantuje, że odpowiedzi są zgodne z określonym schematem.
logprobs false logiczny Ten parametr wskazuje, czy zapewniać informację o logarytmicznym prawdopodobieństwie próbkowanego tokenu.
top_logprobs null Liczba całkowita Ten parametr steruje liczbą najbardziej prawdopodobnych kandydatów na tokeny, dla których każde z kroków próbkowania zwraca logarytmiczne prawdopodobieństwa. Może być 0–20. logprobs musi być true, jeśli jest używane to pole.
reasoning_effort "medium" Struna Określa poziom nakładu pracy rozumowania, który model powinien stosować podczas generowania odpowiedzi. Akceptowane wartości to "low", "medium"lub "high". Większe nakłady pracy w zakresie rozumowania mogą spowodować bardziej przemyślane i dokładne odpowiedzi, ale mogą zwiększyć opóźnienie i użycie tokenu. Ten parametr jest akceptowany tylko przez ograniczony zestaw modeli, w tym databricks-gpt-oss-120b i databricks-gpt-oss-20b.

ChatMessage

Pole Typ Opis
role Struna wymagane. Rola autora wiadomości. Może to być "system", "user", "assistant" lub "tool".
content Struna Zawartość wiadomości. Wymagane dla zadań czatu, które nie obejmują wywołań narzędzi.
tool_calls ToolCall - lista Lista tool_calls, którą wygenerował model. Musi mieć role jako "assistant" i nie może mieć specyfikacji dla pola content.
tool_call_id Struna Gdy role jest "tool", jest to identyfikator skojarzony z ToolCall, na który odpowiada komunikat. Musi być pusty dla innych opcji role.

Rola system może być używana tylko raz, jako pierwsza wiadomość w konwersacji. Zastępuje on domyślny monit systemowy modelu.

ToolCall

Sugestia modelu dotycząca wywołania akcji narzędzia. Zobacz Wywoływanie funkcji na platformie Azure Databricks.

Pole Typ Opis
id Struna wymagane. Unikatowy identyfikator tej sugestii wywołania narzędzia.
type Struna wymagane. Tylko "function" jest obsługiwane.
function ZakończenieWywołaniaFunkcji wymagane. Sugerowane przez model wywołanie funkcji.
cache_control Struna Umożliwia buforowanie dla Twojego żądania. Ten parametr jest akceptowany tylko przez modele Claude hostowane w usłudze Databricks. Zobacz Na przykład buforowanie monitów .

FunctionCallCompletion

Pole Typ Opis
name Struna Wymagane. Nazwa funkcji zalecanej przez model.
arguments Obiekt Wymagane. Argumenty funkcji jako serializowany słownik JSON.

Uwaga: ToolChoiceObject, ToolObjecti FunctionObject są zdefiniowane w sekcji Interfejs API odpowiedzi i są współużytkowane przez oba interfejsy API.

ResponseFormatObject

Zobacz Strukturalne dane wyjściowe w usłudze Azure Databricks.

Pole Typ Opis
type Struna wymagane. Typ zdefiniowanego formatu odpowiedzi. text dla tekstu bez struktury, json_object dla obiektów JSON bez struktury lub json_schema dla obiektów JSON przylegających do określonego schematu.
json_schema JsonSchemaObject wymagane. Schemat JSON, do którego należy się stosować, jeśli type jest ustawiony na json_schema

JsonSchemaObject

Zobacz Strukturalne dane wyjściowe w usłudze Azure Databricks.

Pole Typ Opis
name Struna wymagane. Nazwa formatu odpowiedzi.
description Struna Opis celu formatu odpowiedzi, który jest używany przez model do określenia, jak odpowiedzieć w tym formacie.
schema Obiekt wymagane. Schemat formatu odpowiedzi opisany jako obiekt schematu JSON.
strict logiczny Czy włączyć ścisłe przestrzeganie schematu podczas generowania danych wyjściowych. Jeśli ustawiono wartość true, model jest zgodny z dokładnym schematem zdefiniowanym w polu schematu. Obsługiwany jest tylko podzbiór schematu JSON, gdy strict ma wartość true

Odpowiedź na czat

Dla żądań bez przesyłania strumieniowego odpowiedzią jest pojedynczy obiekt wyniku czatu. W przypadku żądań przesyłania strumieniowego odpowiedź jest text/event-stream, w którym każde zdarzenie jest obiektem fragmentu ukończenia. Struktura najwyższego poziomu obiektów uzupełniania i fragmentów jest prawie identyczna: tylko choices ma inny typ.

Pole Typ Opis
id Struna Unikatowy identyfikator dla ukończenia czatu.
choices List[ChatCompletionChoice] lub List[ChatCompletionChunk] (przesyłanie strumieniowe) Lista tekstów ukończenia czatu. n opcje są zwracane, jeśli parametr n został określony.
object Struna Typ obiektu. Równa się "chat.completions" dla transmisji niestreamowanej lub "chat.completion.chunk" dla transmisji strumieniowej.
created Liczba całkowita Czas wygenerowania ukończenia konwersacji w sekundach.
model Struna Wersja modelu używana do generowania odpowiedzi.
usage Użycie Metadane użycia tokenu. Może nie występować w odpowiedziach strumieniowych.

ChatCompletionChoice

Pole Typ Opis
index Liczba całkowita Indeks wyboru w wykazie wygenerowanych opcji.
message ChatMessage Wiadomość o zakończeniu czatu zwrócona przez model. Rola będzie assistant.
finish_reason Struna Przyczyna, dla którego model przestał generować tokeny.
extra_fields Struna W przypadku używania zastrzeżonych modeli od dostawców modeli zewnętrznych interfejsy API dostawcy mogą zawierać dodatkowe metadane w odpowiedziach. Usługa Databricks filtruje te odpowiedzi i zwraca tylko podzbiór oryginalnych pól dostawcy. Pole safetyRating jest jedynym dodatkowym, które jest obsługiwane w tej chwili. Aby uzyskać więcej informacji, zobacz dokumentację Gemini.

ChatCompletionChunk

Pole Typ Opis
index Liczba całkowita Indeks wyboru w wykazie wygenerowanych opcji.
delta ChatMessage Część komunikatu o ukończeniu czatu, będąca wynikiem wygenerowanych strumieniowo odpowiedzi modelu. Zagwarantowano, że tylko pierwszy fragment zostanie wypełniony role.
finish_reason Struna Przyczyna, dla którego model przestał generować tokeny. Zostanie wypełniony tylko ostatni fragment.

API osadzania

Zadania osadzania mapują ciągi wejściowe na wektory osadzania. Wiele danych wejściowych można wsadować razem w każdym żądaniu. Zobacz POST /serving-endpoints/{name}/invocations w celu wykonywania zapytań dotyczących parametrów punktu końcowego.

Żądanie osadzania

Pole Typ Opis
input String lub lista [string] wymagane. Tekst wejściowy, który ma zostać osadzony. Może być ciągiem lub listą ciągów.
instruction Struna Opcjonalna instrukcja do przekazania do modelu osadzania.

Instrukcje są opcjonalne i wysoce specyficzne dla modelu. Na przykład autorzy BGE nie zalecają instrukcji podczas indeksowania fragmentów i zalecamy użycie instrukcji "Represent this sentence for searching relevant passages:" do pobierania zapytań. Inne modele, takie jak Instructor-XL obsługują szeroką gamę ciągów instrukcji.

Odpowiedź osadzania

Pole Typ Opis
id Struna Unikatowy identyfikator embeddingu.
object Struna Typ obiektu. Równe "list".
model Struna Nazwa modelu osadzania użytego do utworzenia osadzania.
data ObiektOsadzania Obiekt osadzania.
usage Użycie Metadane użycia tokenu.

EmbeddingObject

Pole Typ Opis
object Struna Typ obiektu. Równe "embedding".
index Liczba całkowita Indeks osadzenia na liście osadzeń wygenerowanych przez model.
embedding Lista[Float] Wektor osadzania. Każdy model zwróci wektor o stałym rozmiarze (1024 dla BGE-Large)

Interfejs programistyczny uzupełniania (API)

Zadania uzupełniania tekstu służą do generowania odpowiedzi na jeden monit. W przeciwieństwie do czatu to zadanie obsługuje dane wejściowe wsadowe: w jednym żądaniu można wysyłać wiele niezależnych monitów. Zobacz POST /serving-endpoints/{name}/invocations w celu wykonywania zapytań dotyczących parametrów punktu końcowego.

Żądanie ukończenia

Pole Domyślny Typ Opis
prompt String lub lista [string] wymagane. Wskazówki dla modelu.
max_tokens null null, co oznacza brak limitu lub liczbę całkowitą większą niż zero Maksymalna liczba tokenów do wygenerowania.
stream true logiczny Przesyłanie odpowiedzi do klienta w celu umożliwienia uzyskania częściowych wyników dla żądań. Jeśli ten parametr jest uwzględniony w żądaniu, odpowiedzi są wysyłane przy użyciu standardu zdarzeń wysyłanych przez serwer .
temperature 1.0 Liczba w postaci zmiennoprzecinkowej w przedziale [0,2] Temperatura próbkowania. Wartość 0 jest deterministyczna i wyższa wartość wprowadza większą losowość.
top_p 1.0 Liczba zmiennoprzecinkowa z zakresu (0,1] Próg prawdopodobieństwa używany do próbkowania jądra.
top_k null null, co oznacza brak limitu lub liczbę całkowitą większą niż zero Definiuje liczbę k najbardziej prawdopodobnych tokenów używanych do filtrowania top-k. Ustaw tę wartość na 1, aby uczynić dane wyjściowe deterministycznymi.
error_behavior "error" "truncate" lub "error" W przypadku przekroczenia limitów czasu i błędów związanych z przekroczeniem długości kontekstu. Jeden z tych: "truncate" (zwraca jak najwięcej tokenów) i "error" (zwraca błąd). Ten parametr jest akceptowany tylko przez punkty końcowe płatności za token.
n 1 Liczba całkowita większa niż zero Interfejs API zwraca n niezależnych uzupełnień czatu, gdy zostanie określony n. Zalecane w przypadku obciążeń, które generują wiele uzupełnień na tych samych danych wejściowych, aby uzyskać dodatkową wydajność wnioskowania i oszczędność kosztów. Dostępne tylko dla punktów końcowych przydzielonej przepustowości.
stop [] String lub lista [string] Model przestaje generować kolejne tokeny, gdy napotkano jedną z sekwencji w stop.
suffix "" Struna Ciąg, który jest dodawany na końcu każdego dokończenia.
echo false logiczny Zwraca monit wraz z ukończeniem.
use_raw_prompt false logiczny Jeśli true, przekaż prompt bezpośrednio do modelu bez żadnego przekształcenia.

Odpowiedź na zakończenie

Pole Typ Opis
id Struna Unikatowy identyfikator dokończenia tekstu.
choices WybórZakończenia Lista uzupełniania tekstu. Dla każdego przekazanego zapytania generowane są n opcje, jeśli określono n. Domyślna wartość n to 1.
object Struna Typ obiektu. Równe "text_completion"
created Liczba całkowita Czas wygenerowania ukończenia w sekundach.
usage Użycie Metadane użycia tokenu.

CompletionChoice

Pole Typ Opis
index Liczba całkowita Indeks podpowiedzi w żądaniu.
text Struna Wygenerowane ukończenie.
finish_reason Struna Przyczyna, dla którego model przestał generować tokeny.

Dodatkowe zasoby

  • Last updated on