Udostępnij przez

Narzędzie LLM

Narzędzie dużego modelu językowego (LLM) w przepływie monitów umożliwia korzystanie z powszechnie używanych modeli językowych, takich jak OpenAI, Azure OpenAI w modelach microsoft Foundry lub dowolnego modelu językowego obsługiwanego przez interfejs API wnioskowania modelu azure AI na potrzeby przetwarzania języka naturalnego.

Przepływ monitów udostępnia kilka dużych interfejsów API modelu językowego:

  • Uzupełnianie: modele uzupełniania interfejsu OpenAI generują tekst na podstawie podanych monitów.
  • Czat: modele czatów openAI i modele czatów usługi Azure AI ułatwiają interaktywne rozmowy z danymi wejściowymi i odpowiedziami opartymi na tekście.

Interfejs API osadzania nie jest dostępny w narzędziu LLM. Użyj narzędzia osadzania , aby wygenerować osadzanie za pomocą interfejsu OpenAI lub usługi Azure OpenAI.

Note

Narzędzie LLM w przepływie monitów nie obsługuje modeli rozumowania (takich jak OpenAI o1 lub o3). Z powodu integracji modelu użyj narzędzia języka Python, aby bezpośrednio wywołać interfejsy API modelu. Aby uzyskać więcej informacji, zobacz Wywoływanie modelu rozumowania z poziomu narzędzia języka Python.

Prerequisites

Tworzenie zasobów openAI:

Connections

Skonfiguruj połączenia z aprowizowaną zasobami w przepływie monitu.

Typ Name klucz interfejsu API Typ API wersja API
OpenAI Required Required - -
Azure OpenAI — klucz interfejsu API Required Required Required Required
Azure OpenAI — identyfikator entra firmy Microsoft Required - - Required
Model bezserwerowy Required Required - -

Tip

Inputs

W poniższych sekcjach przedstawiono różne dane wejściowe.

Uzupełnianie tekstu

Name Typ Description Required
monit ciąg Monit tekstowy dla modelu językowego. Yes
model, deployment_name ciąg Model językowy do użycia. Yes
max_tokens liczba całkowita Maksymalna liczba tokenów do wygenerowania w zakończeniu. Wartość domyślna to 16. No
temperature float Losowość wygenerowanego tekstu. Wartość domyślna to 1. No
stop list Zatrzymywanie sekwencji wygenerowanego tekstu. Wartość domyślna to null. No
suffix ciąg Tekst dołączony na końcu ukończenia. No
top_p float Prawdopodobieństwo użycia najlepszego wyboru z wygenerowanych tokenów. Wartość domyślna to 1. No
logprobs liczba całkowita Liczba prawdopodobieństwa dziennika do wygenerowania. Wartość domyślna to null. No
echo boolean Wartość wskazująca, czy należy powtórzyć monit w odpowiedzi. Wartość domyślna to „fałsz”. No
presence_penalty float Wartość, która kontroluje zachowanie modelu na potrzeby powtarzania fraz. Wartość domyślna to 0. No
frequency_penalty float Wartość, która kontroluje zachowanie modelu w celu generowania rzadkich fraz. Wartość domyślna to 0. No
best_of liczba całkowita Liczba najlepszych uzupełnień do wygenerowania. Wartość domyślna to 1. No
logit_bias dictionary Logit stronniczy dla modelu językowego. Wartość domyślna to pusty słownik. No

Chat

Name Typ Description Required
monit ciąg Monit tekstowy używany przez model językowy na potrzeby odpowiedzi. Yes
model, deployment_name ciąg Model językowy do użycia. Ten parametr nie jest wymagany, jeśli model jest wdrożony w standardowym wdrożeniu. Yes*
max_tokens liczba całkowita Maksymalna liczba tokenów do wygenerowania w odpowiedzi. Wartość domyślna to inf. No
temperature float Losowość wygenerowanego tekstu. Wartość domyślna to 1. No
stop list Zatrzymywanie sekwencji wygenerowanego tekstu. Wartość domyślna to null. No
top_p float Prawdopodobieństwo użycia najlepszego wyboru z wygenerowanych tokenów. Wartość domyślna to 1. No
presence_penalty float Wartość, która kontroluje zachowanie modelu na potrzeby powtarzania fraz. Wartość domyślna to 0. No
frequency_penalty float Wartość, która kontroluje zachowanie modelu w celu generowania rzadkich fraz. Wartość domyślna to 0. No
logit_bias dictionary Logit stronniczy dla modelu językowego. Wartość domyślna to pusty słownik. No

Outputs

API Typ zwracany Description
Completion ciąg Tekst jednego przewidywanego ukończenia
Chat ciąg Tekst jednej odpowiedzi konwersacji

Korzystanie z narzędzia LLM

  1. Skonfiguruj i wybierz połączenia z zasobami openAI lub standardowym wdrożeniem.
  2. Skonfiguruj interfejs API modelu dużego języka i jego parametry.
  3. Przygotuj monit, aby uzyskać wskazówki.
  • Last updated on