Konfigurowanie i zagadnienia dotyczące ai_generate_text()

W tym artykule opisano, co należy wziąć pod uwagę i co należy skonfigurować przed rozpoczęciem korzystania z ai_generate_text() funkcji, w szczególności sposób pobierania poświadczeń uwierzytelniania i bezpiecznego przechowywania ich. Obejmuje również ograniczenia funkcjonalności i zagadnienia dotyczące wydajności kosztów.

Co to jest ai_generate_text()?

Funkcja ai_generate_text() jest wbudowaną funkcją SQL usługi Azure Databricks, która umożliwia uzyskiwanie dostępu do dużych modeli językowych (LLM) bezpośrednio z bazy danych SQL. Ta funkcja obsługuje obecnie dostęp do modeli OpenAI i Azure OpenAI oraz umożliwia klientom używanie ich jako bloków konstrukcyjnych w potokach danych i obciążeniach uczenia maszynowego. Aby uzyskać informacje o składni i wzorcach projektowych, zobacz zawartość podręcznika języka funkcji ai_generate_text.

Możliwe przypadki użycia ai_generate_text() obejmują tłumaczenie, podsumowanie, zalecane działania, identyfikację tematów lub motywów oraz wiele innych.

Poniżej przedstawiono kilka zalet korzystania z usługi LLMs w usłudze Azure Databricks:

• Ujednolicona warstwa dostępu i zarządzania dla modeli językowych open source i własnościowych modeli językowych LLM.
• Bezserwerowa, automatyczne skalowanie, infrastruktura LLM z integracją danych.
• Łatwość w stylu 'kliknij i wybierz' umożliwia dostosowanie modeli językowych LLM do potrzeb biznesowych i przypadków użycia.
• Dla zaawansowanych użytkowników dostępne są narzędzia do szybkiego rozwijania i personalizacji modeli językowych LLM typu open source.

Wymagania

• Rejestracja w publicznej wersji zapoznawczej funkcji sztucznej inteligencji. Aby zarejestrować się w publicznej wersji zapoznawczej, wypełnij i prześlij formularz rejestracji usługi AI Functions w publicznej wersji zapoznawczej.
• Usługa Azure Databricks SQL Pro lub bezserwerowa.
• Dowiedz się, że włączenie i użycie tej funkcji kieruje dane do opuszczenia środowiska SQL i przekazania ich do dostawców modeli LLM innych firm: OpenAI i Azure OpenAI.
• Masz dostęp do usługi Azure OpenAI lub OpenAI.
• Wdrożony model GPT 3.5 Turbo.

Pobieranie szczegółów uwierzytelniania

Aby użyć ai_generate_text() funkcji, musisz mieć dostęp do usługi Azure OpenAI lub OpenAI.

Pobierz szczegóły uwierzytelniania dla usługi Azure OpenAI, wykonując następujące kroki. Szczegóły uwierzytelniania wypełniają parametry resourceName i deploymentName elementu ai_generate_text().

1. Przejdź do usług Cognitive Services w witrynie Azure Portal i wybierz pozycję Azure OpenAI.
2. Wybierz zasób, którego chcesz użyć.
3. Wybierz pozycję Klucze i punkt końcowy w obszarze Zarządzanie zasobami.
4. Skopiuj klucz i nazwę zasobu.
5. Wybierz pozycję Wdrożenia modelu w obszarze Zarządzanie zasobami .
6. Skopiuj nazwę wdrożenia modelu.

Przejdź do strony OpenAI i wybierz klucze API, aby utworzyć swój klucz.

Masz do wyboru:

• Pobierz klucz od osoby, określanej również jako podmiot, która utworzyła konfigurację.
• Utwórz nowy klucz i skopiuj klucz podany po pomyślnym utworzeniu.

Przechowywanie tokenów dostępu

Możesz użyć sekretów usługi Azure Databricks do przechowywania tokenów interfejsu API. Użyj interfejsu wiersza polecenia Databricks lub interfejsu API sekretów 2.0, aby utworzyć swoje sekrety. Kroki opisane w poniższym przykładzie korzystają z Secrets CLI.

1. Jeśli nie masz jeszcze sekcji tajnej na przechowywanie kluczy OpenAI, utwórz ją.

   databricks secrets create-scope openai

2. Musisz przyznać uprawnienia ODCZYT lub wyższe użytkownikom lub grupom, którym wolno łączyć się z usługą OpenAI. Usługa Databricks zaleca utworzenie grupy openai-users i dodanie dozwolonych użytkowników do tej grupy.

   databricks secrets put-acl openai openai-users READ

3. Utwórz sekret dla tokenu dostępu API. Usługa Databricks zaleca format <resource-name>-key:

   databricks secrets put-secret openai demo-key --string-value yourkey123

Ograniczenia

• ai_generate_text() nie jest obsługiwany w klastrach interaktywnych lub zadań.
• Jedynymi modelami obsługiwanymi w wersji zapoznawczej są openai/gpt-3.5-turbo i azure_openai/gpt-35-turbo.
• Limit tokenów dla openai/gpt-3.5-turbo i azure_openai/gpt-35-turbo wynosi 4096.

Zagadnienia dotyczące kosztów i wydajności

• Usługi OpenAI i Azure OpenAI wymagają subskrypcji i opłat oddzielnie od usługi Azure Databricks.
  • Koszty tokenów usług OpenAI i Azure OpenAI Services mają zastosowanie zarówno do danych wejściowych, jak i wyjściowych.
  • Aby uzyskać szczegółowe informacje, zobacz stronę z cenami OpenAI i stronę z cenami Azure OpenAI.
• W ramach danego zapytania wywołania interfejsów API LLM są wykonywane sekwencyjnie dla kolumn, w których są wywoływane funkcje.
  • W porównaniu z większością funkcji SQL zapytania używające ai_generate_text() zwykle działają wolniej.
• Czas odpowiedzi zapytania, który wywołuje funkcje sztucznej inteligencji, zależy od zadania określonego w wierszu polecenia, a także liczby dostarczonych i żądanych tokenów.
• Usługa Azure OpenAI service jest dostępna tylko w niewielkiej liczbie regionów świadczenia usługi Azure w momencie obowiązywania tej wersji zapoznawczej.

Dodatkowe zasoby

Zapoznaj się z dokumentacją języka, aby poznać składnię i wzorce projektowe funkcji ai_generate_text.

Zobacz Analizowanie recenzji klientów za pomocą ai_generate_text() i interfejsu OpenAI, aby zapoznać się z przykładem używania ai_generate_text() w scenariuszu biznesowym.