Freigeben über

LLM-Tool

Mit dem Tool für große Sprachmodelle (LLM) im Eingabeaufforderungsfluss können Sie häufig verwendete große Sprachmodelle wie OpenAI, Azure OpenAI in Microsoft Foundry Models oder jedes von der Azure AI-Modell-Ableitungs-API unterstützte Sprachmodell für die Verarbeitung natürlicher Sprachen verwenden.

Der Eingabeaufforderungsfluss stellt mehrere apIs für große Sprachmodelle bereit:

  • Abschluss: Die Abschlussmodelle von OpenAI generieren Text basierend auf den bereitgestellten Eingabeaufforderungen.
  • Chat: Die Chatmodelle von OpenAI und die Azure AI-Chatmodelle erleichtern interaktive Unterhaltungen mit textbasierten Eingaben und Antworten.

Die Einbettungs-API ist im LLM-Tool nicht verfügbar. Verwenden Sie das Einbettungstool , um Einbettungen mit OpenAI oder Azure OpenAI zu generieren.

Note

Das LLM-Tool im Eingabeaufforderungsfluss unterstützt keine Begründungsmodelle (z. B. OpenAI o1 oder o3). Verwenden Sie aus Gründen der Modellintegration das Python-Tool, um die Modell-APIs direkt aufzurufen. Weitere Informationen finden Sie unter Aufrufen eines Grundmodells aus dem Python-Tool.

Prerequisites

Erstellen Sie die OpenAI-Ressourcen:

Connections

Richten Sie Verbindungen zu bereitgestellten Ressourcen im Prompt Flow ein.

Type Name API key API-Typ API-Version
OpenAI Required Required - -
Azure OpenAI – API-Schlüssel Required Required Required Required
Azure OpenAI – Microsoft Entra ID Required - - Required
Serverloses Modell Required Required - -

Tip

Inputs

In den folgenden Abschnitten werden verschiedene Eingaben angezeigt.

Textvervollständigung

Name Type Description Required
prompt string Text-Prompt für das Sprachmodell. Yes
Modell, deployment_name string Zu verwendende Sprachmodell. Yes
max_tokens integer Maximale Anzahl von Token, die im Abschluss generiert werden sollen. Der Standardwert ist 16. No
temperature float Die Zufälligkeit des generierten Texts Der Standardwert ist 1. No
stop list Die Stoppsequenz für den generierten Text Der Standardwert lautet null. No
suffix string Am Ende des Abschlusses angefügter Text. No
top_p float Die Wahrscheinlichkeit, dass das erste Ergebnis aus den generierten Token verwendet wird Der Standardwert ist 1. No
logprobs integer Anzahl der zu generierenden Protokollwahrscheinlichkeiten. Der Standardwert lautet null. No
echo boolean Wert, der angibt, ob die Eingabeaufforderung in der Antwort zurückgegeben werden soll. Der Standardwert ist "false". No
presence_penalty float Wert, der das Verhalten des Modells für wiederholte Ausdrücke steuert. Standard ist "0". No
frequency_penalty float Wert, der das Verhalten des Modells zum Generieren seltener Ausdrücke steuert. Standard ist "0". No
best_of integer Die Anzahl der besten Zugänge, die generiert werden sollen. Der Standardwert ist 1. No
logit_bias dictionary Logit-Verzerrung für das Sprachmodell. Der Standardwert ist ein leeres Wörterbuch. No

Chat

Name Type Description Required
prompt string Textaufforderung, die vom Sprachmodell für eine Antwort verwendet wird. Yes
Modell, deployment_name string Zu verwendende Sprachmodell. Dieser Parameter ist nicht erforderlich, wenn das Modell in einer Standardbereitstellung bereitgestellt wird. Yes*
max_tokens integer Die maximale Anzahl von Token, die in der Antwort generiert werden. Der Standardwert ist „inf“. No
temperature float Die Zufälligkeit des generierten Texts Der Standardwert ist 1. No
stop list Die Stoppsequenz für den generierten Text Der Standardwert lautet null. No
top_p float Die Wahrscheinlichkeit, dass das erste Ergebnis aus den generierten Token verwendet wird Der Standardwert ist 1. No
presence_penalty float Wert, der das Verhalten des Modells für wiederholte Ausdrücke steuert. Standard ist "0". No
frequency_penalty float Wert, der das Verhalten des Modells zum Generieren seltener Ausdrücke steuert. Standard ist "0". No
logit_bias dictionary Logit-Verzerrung für das Sprachmodell. Der Standardwert ist ein leeres Wörterbuch. No

Outputs

API Rückgabetyp Description
Completion string Text eines vorhergesagten Abschlusses
Chat string Text einer Antwort einer Unterhaltung

Verwenden des LLM-Tools

  1. Richten Sie die Verbindungen mit OpenAI-Ressourcen oder einer Standardbereitstellung ein, und wählen Sie sie aus.
  2. Konfigurieren Sie die API für große Sprachenmodelle und die zugehörigen Parameter.
  3. Bereiten Sie die Aufforderung mit Anleitungen vor.
  • Last updated on