Freigeben über

REST-API-Referenz für das Foundation Model

Dieser Artikel enthält allgemeine API-Informationen für Databricks Foundation Model-APIs und die modelle, die sie unterstützen. Die Foundation Model-APIs sind so konzipiert, dass sie mit der REST-API von OpenAI vergleichbar sind, um die Migration vorhandener Projekte zu vereinfachen. Sowohl die Pay-per-Token- als auch die bereitgestellten Durchsatzendpunkte akzeptieren das gleiche REST-API-Anforderungsformat.

Endpunkte

Foundation Model-APIs unterstützen Endpunkte mit tokenbasierter Bezahlung und Endpunkte mit bereitgestelltem Durchsatz.

Ein vorkonfigurierter Endpunkt steht in Ihrem Arbeitsbereich für jedes unterstützte Pay-per-Token-Modell zur Verfügung, und Benutzer können mit diesen Endpunkten mithilfe von HTTP POST-Anforderungen interagieren. Siehe Unterstützte Foundation-Modelle für Mosaik AI Model Serving für unterstützte Modelle.

Endpunkte mit bereitgestelltem Durchsatz können mithilfe der API oder der Benutzeroberfläche für die Bereitstellung erstellt werden. Diese Endpunkte unterstützen mehrere Modelle pro Endpunkt für A/B-Tests, solange beide bereitgestellten Modelle das gleiche API-Format verfügbar machen. Beispielsweise sind beide Modelle Chatmodelle. Siehe POST /api/2.0/serving-endpoints für Endpunktkonfigurationsparameter.

Anforderungen und Antworten verwenden JSON, die genaue JSON-Struktur hängt vom Aufgabentyp eines Endpunkts ab. Chat- und Vervollständigungsendpunkte unterstützen Streaming-Antworten.

Verwendung

Antworten umfassen eine usage Unternachricht, die die Anzahl der Token in der Anforderung und Antwort meldet. Das Format dieser Unternachricht ist für alle Aufgabentypen identisch.

Feld Typ Beschreibung
completion_tokens Ganze Zahl Anzahl der generierten Token. Nicht in Einbettungsantworten enthalten.
prompt_tokens Ganze Zahl Anzahl der Token aus den Eingabeaufforderungen.
total_tokens Ganze Zahl Anzahl der Gesamttoken.
reasoning_tokens Ganze Zahl Anzahl der Denktoken. Es gilt nur für Argumentemodelle.

Bei Modellen wie databricks-meta-llama-3-3-70b-instruct wird eine Benutzeraufforderung mithilfe einer Eingabeaufforderungsvorlage transformiert, bevor sie an das Modell übergeben wird. Für Pay-per-Token-Endpunkte kann auch eine Systemaufforderung hinzugefügt werden. prompt_tokens enthält den gesamten von unserem Server hinzugefügten Text.

Antwort-API

Von Bedeutung

Die Antwort-API ist nur mit OpenAI-Modellen kompatibel.

Die Response-API ermöglicht Multi-Turn-Unterhaltungen mittels eines Modells. Anders als bei Chat-Abschlussfunktionen verwendet die Responses-API input anstelle von messages.

API-Anforderungsantwort

Feld Standard Typ Beschreibung
model Schnur Erforderlich. Modell-ID, die zum Generieren der Antwort verwendet wird.
input Zeichenfolge oder Liste[ResponsesInput] Erforderlich. Text-, Bild- oder Dateieingaben für das Modell, die zum Generieren einer Antwort verwendet werden. Anders als bei messages verwendet dieses Feld input, um Unterhaltungsinhalte anzugeben.
instructions null Schnur Eine Systemnachricht (oder Entwicklernachricht), die in den Kontext des Modells eingefügt wurde.
max_output_tokens null null, was bedeutet, dass es keine Grenze gibt oder eine ganze Zahl größer als Null ist Eine obere Grenze für die Anzahl der Token, die für eine Antwort generiert werden können, einschließlich sichtbarer Ausgabetoken und Begründungstoken.
temperature 1.0 Gleitkomma in [0,2] Die Probenahmetemperatur. 0 ist deterministisch und höhere Werte führen zu mehr Zufallszahlen.
top_p 1.0 Gleitkomma in [0,1] Die Wahrscheinlichkeitsschwelle, die für das Kernsampling verwendet wird.
stream false Boolesch Wenn dieser Wert auf "true" festgelegt ist, werden die Modellantwortdaten an den Client gestreamt, da sie mithilfe von Server gesendeten Ereignissen generiert wird.
stream_options null StreamOptions Optionen für Antworten im Streaming-Bereich. Legen Sie dies nur fest, wenn Sie stream: true festlegen.
text null TextConfig Konfigurationsoptionen für eine Textantwort aus dem Modell. Kann Nur-Text- oder strukturierte JSON-Daten sein.
reasoning null ReasoningConfig Konfiguration für logisches Schließen für gpt-5 und o-series-Modelle.
tool_choice "auto" Zeichenfolge oder ToolChoiceObject Wie das Modell auswählen soll, welches Tool (oder welche Tools) beim Generieren einer Antwort verwendet werden soll. Sehen Sie sich den tools Parameter an, um zu sehen, wie Sie angeben, welche Tools das Modell aufrufen kann.
tools null List[ToolObject] Ein Array von Tools, die das Modell aufrufen kann, während eine Antwort generiert wird. Hinweis: Codedolmetscher und Websuchtools werden von Databricks nicht unterstützt.
parallel_tool_calls true Boolesch Gibt an, ob das Modell Toolaufrufe parallel ausführen darf.
max_tool_calls null Integer größer 0 Die maximale Anzahl aller Aufrufe an integrierte Tools, die in einer Antwort verarbeitet werden können.
metadata null Objekt 16 Schlüssel-Wert-Paare, die an ein Objekt angefügt werden können.
prompt_cache_key null Schnur Wird verwendet, um Antworten für ähnliche Anforderungen zwischenzuspeichern, um die Trefferraten des Caches zu optimieren. Ersetzt das user Feld.
prompt_cache_retention null Schnur Die Aufbewahrungsrichtlinie für den Prompt-Cache. Stellen Sie "24h" ein, um das erweiterte Zwischenspeichern von Eingabeaufforderungen zu aktivieren, wodurch zwischengespeicherte Präfixe länger aktiv bleiben und bis zu 24 Stunden aufrechterhalten werden können.
safety_identifier null Schnur Ein stabiler Bezeichner, der verwendet wird, um Benutzer Ihrer Anwendung zu erkennen, die möglicherweise gegen Nutzungsrichtlinien verstoßen.
user null Schnur Veraltet. Verwenden Sie stattdessen safety_identifier und prompt_cache_key.
truncation null Schnur Die Abkürzungsstrategie, die für die Modellantwort verwendet werden soll.
top_logprobs null Ganze Zahl Eine ganze Zahl zwischen 0 und 20, die die Anzahl der Token angibt, die an jeder Tokenposition höchstwahrscheinlich zurückgegeben werden, jeweils mit einer zugeordneten Protokollwahrscheinlichkeit.
include null Liste[String] Geben Sie zusätzliche Ausgabedaten an, die in die Modellantwort eingeschlossen werden sollen.
prompt null Objekt Verweisen Sie auf eine Promptvorlage und deren Variablen.

Nicht unterstützte Parameter: Die folgenden Parameter werden von Databricks nicht unterstützt und geben bei Angabe einen Fehler von 400 zurück:

  • background - Hintergrundverarbeitung wird nicht unterstützt
  • store - Gespeicherte Antworten werden nicht unterstützt.
  • conversation – Die Konversations-API wird nicht unterstützt.
  • service_tier - Die Auswahl der Dienstebene wird von Databricks verwaltet.

ResponsesInput

Das input Feld akzeptiert entweder eine Zeichenfolge oder eine Liste von Eingabenachrichtenobjekten mit Rolle und Inhalt.

Feld Typ Beschreibung
role Schnur Erforderlich. Die Rolle des Nachrichtenverfassers. Kann "user" oder "assistant" sein.
content Zeichenfolge oder Liste[ResponsesContentBlock] Erforderlich. Der Inhalt der Nachricht, entweder als Zeichenfolge oder als Array von Inhaltsblöcken.

ResponsesContentBlock

Inhaltsblöcke definieren den Inhaltstyp in Eingabe- und Ausgabemeldungen. Der Inhaltsblocktyp wird durch das type Feld bestimmt.

InputText
Feld Typ Beschreibung
type Schnur Erforderlich. Muss "input_text" sein.
text Schnur Erforderlich. Der Textinhalt.
OutputText
Feld Typ Beschreibung
type Schnur Erforderlich. Muss "output_text" sein.
text Schnur Erforderlich. Der Textinhalt.
annotations Liste[Object] Optionale Anmerkungen für den Textinhalt.
InputImage
Feld Typ Beschreibung
type Schnur Erforderlich. Muss "input_image" sein.
image_url Schnur Erforderlich. URL oder base64-codierte Daten-URI des Bilds.
InputFile
Feld Typ Beschreibung
type Schnur Erforderlich. Muss "input_file" sein.
file_id Schnur Dateibezeichner, wenn hochgeladene Dateien verwendet werden.
filename Schnur Der Name der Datei.
file_data Schnur Base64-codierte Daten-URI mit Formatpräfix. Pdf-Dateien verwenden z. B. das Format data:application/pdf;base64,<base64 data>.
FunctionCall
Feld Typ Beschreibung
type Schnur Erforderlich. Muss "function_call" sein.
id Schnur Erforderlich. Eindeutiger Bezeichner für den Funktionsaufruf.
call_id Schnur Erforderlich. Der Anrufbezeichner.
name Schnur Erforderlich. Der Name der aufgerufenen Funktion.
arguments Objekt/Zeichenfolge Erforderlich. Die Funktionsargumente als JSON-Objekt oder Zeichenfolge.
FunctionCallOutput
Feld Typ Beschreibung
type Schnur Erforderlich. Muss "function_call_output" sein.
call_id Schnur Erforderlich. Der Aufrufbezeichner, dem diese Ausgabe entspricht.
output String/Object Erforderlich. Die Funktionsausgabe als Zeichenfolge oder JSON-Objekt.

StreamOptions

Konfiguration für Streaming-Antworten. Nur verwendet, wenn stream: true.

Feld Typ Beschreibung
include_usage Boolesch Wenn wahr, schließen Sie Tokenverwendungsinformationen in den Datenstrom ein. Der Standardwert ist false.

TextConfig

Konfiguration für die Textausgabe, einschließlich strukturierter Ausgaben.

Feld Typ Beschreibung
format ResponsesFormatObject Die Formatspezifikation für die Textausgabe.

ResponsesFormatObject

Gibt das Ausgabeformat für Textantworten an.

Feld Typ Beschreibung
type Schnur Erforderlich. Der Formattyp: "text" für Nur-Text, "json_object" für JSON oder "json_schema" für strukturiertes JSON.
json_schema Objekt Erforderlich, wenn type"json_schema" ist. Das JSON-Schemaobjekt, das die Struktur der Ausgabe definiert.

Das json_schema Objekt weist die gleiche Struktur wie JsonSchemaObject auf, die in der Chat-Abschluss-API dokumentiert ist.

ReasoningConfig

Konfiguration für das Denkverhalten in Reasoning-Modellen (o-Serie und GPT-5-Modelle).

Feld Typ Beschreibung
effort Schnur Die Begründungsaufwandsstufe: "low", , "medium", oder "high". Der Standardwert ist "medium".
encrypted_content Schnur Verschlüsselte Überlegungsinhalte für den zustandslosen Modus. Vom Modell in früheren Antworten bereitgestellt.

ToolObject

Weitere Informationen finden Sie unter Funktionsaufrufe für Azure Databricks.

Feld Typ Beschreibung
type Schnur Erforderlich. Der Typ des Tools. Derzeit wird nur function unterstützt.
function FunctionObject Erforderlich. Die dem Tool zugeordnete Funktionsdefinition.

FunctionObject

Feld Typ Beschreibung
name Schnur Erforderlich. Der Name der funktion, die aufgerufen werden soll.
description Objekt Erforderlich. Die detaillierte Beschreibung der Funktion. Das Modell verwendet diese Beschreibung, um die Relevanz der Funktion auf die Eingabeaufforderung zu verstehen und die Toolaufrufe mit höherer Genauigkeit zu generieren.
parameters Objekt Die Parameter, die die Funktion akzeptiert, die als gültiges JSON-Schema-Objekt beschrieben werden. Wenn das Tool aufgerufen wird, ist der Toolaufruf an das bereitgestellte JSON-Schema angepasst. Das Weglassen von Parametern definiert eine Funktion ohne Parameter. Die Anzahl von properties ist auf 15 Schlüssel beschränkt.
strict Boolesch Gibt an, ob die strikte Schematreue beim Generieren des Funktionsaufrufs aktiviert werden soll. Bei Festlegung auf truefolgt das Modell dem genauen Schema, das im Schemafeld definiert ist. Nur eine Teilmenge des JSON-Schemas wird unterstützt, wenn für „strict“ der Wert true festgelegt ist.

ToolChoiceObject

Weitere Informationen finden Sie unter Funktionsaufrufe für Azure Databricks.

Feld Typ Beschreibung
type Schnur Erforderlich. Der Typ des Tools. Derzeit wird nur "function" unterstützt.
function Objekt Erforderlich. Ein Objekt, das definiert, welches Tool aufgerufen werden soll, im Format {"type": "function", "function": {"name": "my_function"}}. Dabei ist "my_function der Name eines FunctionObject im Feld tools.

Antworten API-Antwort

Bei Nicht-Streaming-Anforderungen ist die Antwort ein einzelnes Antwortobjekt. Bei Streaminganforderungen ist die Antwort ein text/event-stream, wobei jedes Ereignis einen Antwortabschnitt darstellt.

Feld Typ Beschreibung
id Schnur Eindeutiger Bezeichner für die Antwort. Hinweis: Databricks verschlüsselt diese ID zur Sicherheit.
object Schnur Der Objekttyp. Gleich "response"
created_at Ganze Zahl Der Unix-Zeitstempel (in Sekunden), als die Antwort erstellt wurde.
status Schnur Der Status der Antwort. Einer von: completed, , failed, in_progress, cancelled, , queuedoder incomplete.
model Schnur Die Modellversion, die zum Generieren der Antwort verwendet wird.
output Liste[ResponsesMessage] Die vom Modell generierte Ausgabe, die in der Regel Nachrichtenobjekte enthält.
usage Verwendung Tokenverwendungsmetadaten.
error Error Fehlerinformationen, wenn die Antwort fehlgeschlagen ist.
incomplete_details Unvollständige Details Details dazu, warum die Antwort unvollständig ist, falls zutreffend.
instructions Schnur Die in der Anfrage bereitgestellten Anweisungen.
max_output_tokens Ganze Zahl Die in der Anforderung angegebenen maximalen Ausgabetoken.
temperature Schweben Die für die Erzeugung verwendete Temperatur.
top_p Schweben Der top_p Wert, der für die Generierung verwendet wird.
tools List[ToolObject] Die in der Anforderung angegebenen Tools.
tool_choice Zeichenfolge oder ToolChoiceObject Die Tool-Choice-Einstellung aus der Anfrage.
parallel_tool_calls Boolesch Gibt an, ob parallele Toolaufrufe aktiviert wurden.
store Boolesch Gibt an, ob die Antwort gespeichert wurde.
metadata Objekt Die metadaten, die der Antwort zugeordnet sind.

ResponsesMessage

Nachrichtenobjekte im output Feld, die den Antwortinhalt des Modells enthalten.

Feld Typ Beschreibung
id Schnur Erforderlich. Eindeutiger Bezeichner der Nachricht.
role Schnur Erforderlich. Die Rolle der Nachricht Entweder "user" oder "assistant".
content Liste[ResponsesContentBlock] Erforderlich. Die Inhaltsblöcke in der Nachricht.
status Schnur Der Status der Nachrichtenverarbeitung.
type Schnur Erforderlich. Der Objekttyp. Gleich "message"

Error

Fehlerinformationen, wenn eine Antwort fehlschlägt.

Feld Typ Beschreibung
code Schnur Erforderlich. Der Fehlercode.
message Schnur Erforderlich. Eine für Menschen lesbare Fehlermeldung.
param Schnur Der Parameter, der den Fehler verursacht hat, falls zutreffend.
type Schnur Erforderlich. Der Fehlertyp.

IncompleteDetails

Details dazu, warum eine Antwort unvollständig ist.

Feld Typ Beschreibung
reason Schnur Erforderlich. Der Grund, warum die Antwort unvollständig ist.

API für Chatabschlusse

Die Chat-Vervollständigungs-API ermöglicht Gespräche in mehreren Runden mit einem Modell. Die Modellantwort stellt die nächste assistant-Nachricht in der Unterhaltung bereit. Informationen zum Abfragen von Endpunktparametern finden Sie unter POST /serving-endpoints/{name}/invocations.

Chatanfrage

Feld Standard Typ Beschreibung
messages ChatMessage-Liste Erforderlich. Eine Liste der Nachrichten, die die aktuelle Unterhaltung darstellen.
max_tokens null null, was bedeutet, dass es keine Grenze gibt oder eine ganze Zahl größer als Null ist Die maximale Anzahl der zu generierenden Token.
stream true Boolesch Streamen Sie Antworten an einen Client zurück, um Teilergebnisse für Anfragen zuzulassen. Wenn dieser Parameter in der Anforderung enthalten ist, werden Antworten mithilfe des Standards Server-Sent Events gesendet.
temperature 1.0 Gleitkomma in [0,2] Die Probenahmetemperatur. 0 ist deterministisch und höhere Werte führen zu mehr Zufallszahlen.
top_p 1.0 Gleitkomma in [0,1] Die Wahrscheinlichkeitsschwelle, die für das Kernsampling verwendet wird.
top_k null null, was bedeutet, dass es keine Grenze gibt oder eine ganze Zahl größer als Null ist Definiert die Anzahl der K-Höchstwahrscheinlichkeitstoken, die für die Top-k-Filterung verwendet werden sollen. Legen Sie diesen Wert auf 1 fest, um Ausgaben deterministisch zu machen.
stop [] Zeichenfolge oder Liste[string] Das Modell beendet die Generierung weiterer Token, wenn eine der Sequenzen in stop gefunden wird.
n 1 Integer größer 0 Die API gibt von n unabhängige Chatvervollständigungen zurück, wenn n angegeben wird. Empfohlen für Workloads, die mehrere Abschlüsse auf demselben Input erzeugen, um die Effizienz zu steigern und Kosten zu sparen. Nur für bereitgestellte Durchsatzendpunkte verfügbar.
tool_choice none Zeichenfolge oder ToolChoiceObject Wird nur in Verbindung mit dem feld tools verwendet. tool_choice unterstützt eine Vielzahl von Schlüsselwortzeichenfolgen wie auto, requiredund none. auto bedeutet, dass Sie das Modell entscheiden lassen, welches Tool (falls vorhanden) für die Verwendung relevant ist. Wenn das Modell nicht der Meinung ist, dass eines der Tools in auto relevant ist, generiert das Modell statt eines Toolaufrufs eine Standard-Assistentennachricht. required bedeutet, dass das Modell das relevanteste Tool in tools auswählt und einen Toolaufruf generieren muss. none bedeutet, dass das Modell keine Toolaufrufe generiert und stattdessen eine Standard-Assistentennachricht generieren muss. Verwenden Sie tools, um einen Toolaufruf mit einem bestimmten in ToolChoiceObject definierten Tool zu erzwingen. Standardwert, wenn das Feld tools ausgefüllt ist: tool_choice = "auto". Andernfalls wird das Feld "tools" standardmäßig auf "tool_choice = "none"" gesetzt.
tools null ToolObject Eine Liste von tools, die das Modell aufrufen kann. Derzeit ist function der einzige unterstützte tool-Typ, und es werden maximal 32 Funktionen unterstützt.
response_format null ResponseFormatObject Ein Objekt, das das Format angibt, das das Modell ausgeben muss. Akzeptierte Typen sind text, json_schema oder json_object
Die Einstellung auf { "type": "json_schema", "json_schema": {...} } ermöglicht strukturierte Ausgaben, die sicherstellen, dass das Modell ihrem bereitgestellten JSON-Schema folgt.
Das Festlegen auf { "type": "json_object" } stellt sicher, dass die vom Modell generierten Antworten gültiges JSON sind, garantiert jedoch nicht, dass die Antworten einem bestimmten Schema folgen.
logprobs false Boolesch Dieser Parameter gibt an, ob die Protokollwahrscheinlichkeit eines abgesampten Tokens bereitgestellt werden soll.
top_logprobs null Ganze Zahl Dieser Parameter steuert die Anzahl der wahrscheinlichsten Tokenkandidaten, um Protokollwahrscheinlichkeiten für jeden Samplingschritt zurückzugeben. Kann 0-20 sein. logprobs muss bei Verwendung dieses Felds zu true werden.
reasoning_effort "medium" Schnur Steuert die Ebene des Grundaufwands, den das Modell beim Generieren von Antworten anwenden soll. Akzeptierte Werte sind "low", "medium"oder "high". Ein höherer Grundaufwand kann zu durchdachteren und präziseren Antworten führen, aber die Latenz und die Tokennutzung erhöhen. Dieser Parameter wird nur von einer begrenzten Gruppe von Modellen akzeptiert, einschließlich databricks-gpt-oss-120b und databricks-gpt-oss-20b.

ChatMessage

Feld Typ Beschreibung
role Schnur Erforderlich. Die Rolle des Autors der Nachricht. Kann "system", "user", "assistant" oder "tool"sein.
content Schnur Der Inhalt der Nachricht. Erforderlich für Chataufgaben, die keine Werkzeuganrufe umfassen.
tool_calls ToolCall-Liste Die Liste der tool_calls-Elemente, die das Modell generiert hat. Muss role als "assistant" und keine Spezifikation für das feld content aufweisen.
tool_call_id Schnur Wenn role gleich "tool" ist, die ID des ToolCall-Elements, auf das die Nachricht reagiert. Für andere Optionen von role muss der Wert leer sein.

Die rolle system kann nur einmal verwendet werden, als erste Nachricht in einer Unterhaltung. Er setzt die Standardsystemaufforderung des Modells außer Kraft.

ToolCall

Ein Toolaufrufaktionsvorschlag durch das Modell. Weitere Informationen finden Sie unter Funktionsaufrufe für Azure Databricks.

Feld Typ Beschreibung
id Schnur Erforderlich. Ein eindeutiger Bezeichner für diesen Toolaufrufvorschlag
type Schnur Erforderlich. Nur "function" wird unterstützt.
function FunctionCallCompletion Erforderlich. Ein Funktionsaufruf, der vom Modell vorgeschlagen wird.
cache_control Schnur Ermöglicht das Zwischenspeichern für Ihre Anforderung. Dieser Parameter wird nur von databricks-gehosteten Claude-Modellen akzeptiert. Ein Beispiel finden Sie unter Prompt-Caching.

FunctionCallCompletion

Feld Typ Beschreibung
name Schnur Erforderlich. Der Name der Funktion, die vom Modell empfohlen wird.
arguments Objekt Erforderlich. Argumente für die Funktion als serialisiertes JSON-Wörterbuch.

Hinweis: ToolChoiceObject, ToolObjectund FunctionObject werden im Abschnitt "Antworten-API " definiert und zwischen beiden APIs gemeinsam verwendet.

ResponseFormatObject

Weitere Informationen finden Sie unter Strukturierte Ausgaben in Azure Databricks.

Feld Typ Beschreibung
type Schnur Erforderlich. Der Typ des zu definierenden Antwortformats. Entweder text für unstrukturierten Text, json_object für unstrukturierte JSON-Objekte oder json_schema für JSON-Objekte, die einem bestimmten Schema entsprechen.
json_schema JsonSchemaObject Erforderlich. Das JSON-Schema, das eingehalten werden soll, wenn type auf json_schema festgelegt ist

JsonSchemaObject

Weitere Informationen finden Sie unter Strukturierte Ausgaben in Azure Databricks.

Feld Typ Beschreibung
name Schnur Erforderlich. Der Name des Antwortformats.
description Schnur Eine Beschreibung, wofür das Antwortformat gedacht ist, die vom Modell verwendet wird, um zu bestimmen, wie in dem Format geantwortet werden soll.
schema Objekt Erforderlich. Das Schema für das Antwortformat, das als JSON-Schemaobjekt beschrieben wird.
strict Boolesch Gibt an, ob die strikte Schematreue beim Generieren der Ausgabe aktiviert werden soll. Bei Festlegung auf truefolgt das Modell dem genauen Schema, das im Schemafeld definiert ist. Nur eine Teilmenge des JSON-Schemas wird unterstützt, wenn für „strict“ der Wert true festgelegt ist.

Chatantwort

Bei Nicht-Streaming-Anforderungen ist die Antwort ein einzelnes Chat-Vervollständigungsobjekt. Bei Streaminganforderungen handelt es sich bei der Antwort um ein text/event-stream-Element, in dem jedes Ereignis ein Vervollständigungsblockobjekt ist. Die Struktur der obersten Ebene von Abschluss- und Blockobjekten ist fast identisch: nur bei choices gibt es einen anderen Typ.

Feld Typ Beschreibung
id Schnur Eindeutiger Bezeichner für den Chatabschluss.
choices List[ChatCompletionChoice] oder List[ChatCompletionChunk] (Streaming) Liste der Chatabschlusstexte. n Auswahlmöglichkeiten werden zurückgegeben, wenn der n-Parameter angegeben wird.
object Schnur Der Objekttyp. Gleich dem "chat.completions" für Nichtstreaming oder dem "chat.completion.chunk" für Streaming.
created Ganze Zahl Die Zeit, zu der der Chatabschluss in Sekunden generiert wurde.
model Schnur Die Modellversion, die zum Generieren der Antwort verwendet wird.
usage Verwendung Tokenverwendungsmetadaten. Möglicherweise in Streamingantworten nicht enthalten.

ChatCompletionChoice

Feld Typ Beschreibung
index Ganze Zahl Der Index der Auswahl in der Liste der generierten Auswahlmöglichkeiten.
message ChatMessage Eine Chatabschlussnachricht, die vom Modell zurückgegeben wird. Die Rolle ist assistant.
finish_reason Schnur Der Grund, warum das Modell das Generieren von Token beendet hat.
extra_fields Schnur Bei Verwendung proprietärer Modelle von externen Modellanbietern können die APIs des Anbieters zusätzliche Metadaten in Antworten enthalten. Databricks filtert diese Antworten und gibt nur eine Teilmenge der ursprünglichen Felder des Anbieters zurück. Dies safetyRating ist das einzige zusätzliche Feld, das derzeit unterstützt wird, finden Sie in der Dokumentation zu Gemini weitere Details.

ChatCompletionChunk

Feld Typ Beschreibung
index Ganze Zahl Der Index der Auswahl in der Liste der generierten Auswahlmöglichkeiten.
delta ChatMessage Ein Chatvervollständigungsnachrichtenteil der generierten gestreamten Antworten aus dem Modell. Nur im ersten Block ist role garantiert aufgefüllt.
finish_reason Schnur Der Grund, warum das Modell das Generieren von Token beendet hat. Dies wird nur im letzten Block aufgefüllt.

Einbettungs-API

Bei Einbettungsaufgaben werden Eingabezeichenfolgen in Einbettungsvektoren zugeordnet. In jeder Anforderung können viele Eingaben zusammengefasst werden. Informationen zum Abfragen von Endpunktparametern finden Sie unter POST /serving-endpoints/{name}/invocations.

Einbettungsanforderung

Feld Typ Beschreibung
input Zeichenfolge oder Liste[string] Erforderlich. Der einzubettende Eingabetext. Kann eine Zeichenfolge oder eine Liste von Zeichenfolgen sein.
instruction Schnur Eine optionale Anweisung zum Übergeben an das Einbettungsmodell.

Anweisungen sind optional und hochmodellspezifisch. Beispielsweise empfehlen die BGE-Autoren beim Indexieren von Chunks keine Anweisung und empfehlen die Verwendung der Anweisung "Represent this sentence for searching relevant passages:" für Suchabfragen. Andere Modelle wie Instructor-XL unterstützen eine vielzahl von Anweisungszeichenfolgen.

Einbettungsantwort

Feld Typ Beschreibung
id Schnur Eindeutiger Bezeichner für die Einbettung.
object Schnur Der Objekttyp. Gleich "list"
model Schnur Der Name des Einbettungsmodells, das zum Erstellen der Einbettung verwendet wird.
data EmbeddingObject Das Einbettungsobjekt.
usage Verwendung Tokenverwendungsmetadaten.

EmbeddingObject

Feld Typ Beschreibung
object Schnur Der Objekttyp. Gleich "embedding"
index Ganze Zahl Der Index der Einbettung in der Liste der vom Modell generierten Einbettungen.
embedding Liste[Fließkommazahl] (List[Float]) Der Einbettungsvektor. Jedes Modell gibt einen Vektor mit fester Größe zurück (1024 für BGE-Large)

Completions-API

Textabschlussaufgaben dienen zum Generieren von Antworten auf eine einzelne Eingabeaufforderung. Im Gegensatz zu Chat unterstützt diese Aufgabe Batcheingaben: Mehrere unabhängige Eingabeaufforderungen können in einer Anforderung gesendet werden. Informationen zum Abfragen von Endpunktparametern finden Sie unter POST /serving-endpoints/{name}/invocations.

Abschlussanforderung

Feld Standard Typ Beschreibung
prompt Zeichenfolge oder Liste[string] Erforderlich. Die Aufforderungen für das Modell.
max_tokens null null, was bedeutet, dass es keine Grenze gibt oder eine ganze Zahl größer als Null ist Die maximale Anzahl der zu generierenden Token.
stream true Boolesch Streamen Sie Antworten an einen Client zurück, um Teilergebnisse für Anfragen zuzulassen. Wenn dieser Parameter in der Anforderung enthalten ist, werden Antworten mithilfe des Standards Server-Sent Events gesendet.
temperature 1.0 Gleitkomma in [0,2] Die Probenahmetemperatur. 0 ist deterministisch und höhere Werte führen zu mehr Zufallszahlen.
top_p 1.0 Gleitkomma in [0,1] Die Wahrscheinlichkeitsschwelle, die für das Kernsampling verwendet wird.
top_k null null, was bedeutet, dass es keine Grenze gibt oder eine ganze Zahl größer als Null ist Definiert die Anzahl der K-Höchstwahrscheinlichkeitstoken, die für die Top-k-Filterung verwendet werden sollen. Legen Sie diesen Wert auf 1 fest, um Ausgaben deterministisch zu machen.
error_behavior "error" "truncate" oder "error" Für Timeouts und Fehler wegen überschrittener Kontextlänge. Einer von: "truncate" (so viele Token wie möglich zurückgeben) und "error" (Fehler zurückgeben). Dieser Parameter wird nur von Endpunkten akzeptiert, die nach dem Modell "Bezahlung pro Token" arbeiten.
n 1 Integer größer 0 Die API gibt von n unabhängige Chatvervollständigungen zurück, wenn n angegeben wird. Empfohlen für Workloads, die mehrere Abschlüsse auf demselben Input erzeugen, um die Effizienz zu steigern und Kosten zu sparen. Nur für bereitgestellte Durchsatzendpunkte verfügbar.
stop [] Zeichenfolge oder Liste[string] Das Modell beendet die Generierung weiterer Token, wenn eine der Sequenzen in stop gefunden wird.
suffix "" Schnur Eine Zeichenfolge, die am Ende jeder Vervollständigung angefügt wird.
echo false Boolesch Gibt den Prompt zusammen mit der Vervollständigung zurück.
use_raw_prompt false Boolesch Bei true übergeben Sie prompt direkt und ohne Transformation an das Modell.

Vervollständigungsantwort

Feld Typ Beschreibung
id Schnur Eindeutiger Bezeichner für das Textvervollständigen.
choices CompletionChoice Eine Liste von Textvervollständigungen. Bei jedem übergebenen Prompt werden n Auswahlmöglichkeiten generiert, wenn n angegeben wird. Der Standardwert n ist 1.
object Schnur Der Objekttyp. Gleich "text_completion"
created Ganze Zahl Die Zeit, zu der die Vervollständigung generiert wurde, in Sekunden.
usage Verwendung Tokenverwendungsmetadaten.

CompletionChoice

Feld Typ Beschreibung
index Ganze Zahl Der Index des Prompts in der Anforderung.
text Schnur Die generierte Vervollständigung.
finish_reason Schnur Der Grund, warum das Modell das Generieren von Token beendet hat.

Weitere Ressourcen

  • Last updated on