Użyj modułów agenta: Niestandardowe komponenty LLM do tworzenia generatywnego agenta AI do tekstu

W tym artykule opisano, jak utworzyć agenta generatywnej sztucznej inteligencji do niestandardowych zadań tekstowych przy użyciu Agent Bricks: Custom LLM.

Agent Bricks oferuje proste podejście do tworzenia i optymalizowania systemów agentów sztucznej inteligencji specyficznych dla domeny wysokiej jakości dla typowych przypadków użycia sztucznej inteligencji.

Co można zrobić z niestandardowym modułem LLM?

Użyj Agent Bricks: niestandardowych modeli LLM, aby generować wysokiej jakości wyniki dla dowolnego zadania specyficznego dla domeny, takiego jak podsumowywanie, klasyfikacja, przekształcanie tekstu i generowanie zawartości.

Cegły agenta: Niestandardowe moduły LLM są idealne w następujących przypadkach użycia:

• Podsumowanie problemu i rozwiązania połączeń klientów.
• Analizowanie tonacji opinii klientów.
• Klasyfikowanie artykułów badawczych według tematu.
• Generowanie komunikatów prasowych dla nowych funkcji.

Biorąc pod uwagę ogólne instrukcje i przykłady, Agent Bricks: Custom LLM optymalizuje monity dla użytkowników, automatycznie określa kryteria oceny, ocenia system na podstawie dostarczonych danych i wdraża model jako gotowy do produkcji punkt końcowy.

Agent Bricks: Dostosowany moduł LLM wykorzystuje funkcje zautomatyzowanej oceny, w tym MLflow i Ocena agenta, aby umożliwić szybką ocenę kompromisu między kosztami a jakością dla Twojego konkretnego zadania wyodrębniania. Ta ocena umożliwia podejmowanie świadomych decyzji dotyczących równowagi między dokładnością a inwestycjami w zasoby.

Agent Bricks używa domyślnego magazynu do przechowywania tymczasowych przekształceń danych, punktów kontrolnych modelu i wewnętrznych metadanych, które zasilają każdego agenta. Po usunięciu agenta wszystkie dane skojarzone z agentem zostaną usunięte z domyślnego magazynu.

Requirements

• Obszar roboczy zawierający następujące elementy:
  • Aplikacja Mosaic AI Agent Bricks Preview (beta) jest włączona. Zobacz Zarządzanie wersjami zapoznawczami usługi Azure Databricks.
  • Włączono bezserwerowe obliczenia. Zobacz Wymagania dotyczące obliczeń bezserwerowych.
  • Katalog Unity jest włączony. Zobacz Umożliwienie obszaru roboczego dla Unity Catalog.
  • Obszar roboczy w jednym z obsługiwanych regionów: centralus, , eastuseastus2, northcentralus, southcentralus. westuslub westus2.
  • Dostęp do serwisu modelu Mosaic AI.
  • Dostęp do modeli bazowych w katalogu Unity za pomocą schematu system.ai.
  • Dostęp do zasad budżetu bezserwerowego z budżetem niezerowym.
• Możliwość korzystania z ai_query funkcji SQL.
• Musisz mieć dane wejściowe gotowe do użycia. Możesz podać jedną z następujących opcji:
  • Tabela katalogu Unity Nazwa tabeli nie może zawierać żadnych znaków specjalnych (takich jak -).
    • pl-PL: Jeśli chcesz użyć plików PDF, przekonwertuj je na tabelę katalogu Unity. Zobacz Use PDFs in Agent Bricks.
  • Co najmniej 3 przykładowe dane wejściowe i wyjściowe. Jeśli wybierzesz tę opcję, musisz określić ścieżkę docelową dla schematu Unity Catalog dla agenta i musisz mieć uprawnienia CREATE REGISTERED MODEL oraz CREATE TABLE do tego schematu.
• Jeśli chcesz zoptymalizować agenta, potrzebujesz co najmniej 100 danych wejściowych (albo 100 wierszy w tabeli katalogu Unity, albo 100 ręcznie dostarczonych przykładów).

Tworzenie niestandardowego agenta LLM

Przejdź do Agenci w okienku nawigacji po lewej stronie obszaru roboczego. Na kafelku Custom LLM kliknij Build (Kompiluj).

Krok 1. Konfigurowanie agenta

Na karcie Kompilacja kliknij pozycję Pokaż przykład, aby rozwinąć przykładową > odpowiedź wejściową i modelową dla niestandardowego agenta LLM.

W okienku poniżej skonfiguruj agenta:

1. W obszarze Opisz zadanie wprowadź jasny i szczegółowy opis zadania specjalizacji, w tym jego cel i żądany wynik.

2. Podaj oznaczony zestaw danych, nieoznakowany zestaw danych lub kilka przykładów, których można użyć do utworzenia agenta.

   Jeśli chcesz użyć plików PDF, najpierw przekonwertuj je na tabelę Unity Catalog. Zobacz Use PDFs in Agent Bricks.

   Obsługiwane są następujące typy danych: string, inti double.

   Zestaw danych z etykietami

   Jeśli wybierzesz Etykietowany zestaw danych:

   

   1. W obszarze Wybierz zestaw danych jako tabelę UC kliknij przycisk Przeglądaj, aby wybrać tabelę w Unity Catalog do użycia. Nazwa tabeli nie może zawierać żadnych znaków specjalnych (takich jak -).

      Poniżej przedstawiono przykład:

      main.model_specialization.customer_call_transcripts

   2. W polu Kolumna danych wejściowych wybierz kolumnę, której chcesz użyć jako tekstu wejściowego. Menu rozwijane jest automatycznie wypełniane kolumnami z wybranej tabeli.

   3. W kolumnie Dane wyjściowe wybierz kolumnę, którą chcesz podać jako przykładowe dane wyjściowe dla oczekiwanej transformacji. Udostępnienie tych danych ułatwia skonfigurowanie agenta w celu dokładniejszego dostosowania do potrzeb specyficznych dla domeny.

   Zestaw danych bez etykiet

   W przypadku wybrania zestawu danych bez etykiet:

   1. W obszarze Wybierz zestaw danych jako tabelę UC kliknij przycisk Przeglądaj, aby wybrać tabelę w Unity Catalog do użycia. Nazwa tabeli nie może zawierać żadnych znaków specjalnych (takich jak -).

   2. W polu Kolumna danych wejściowych wybierz kolumnę, której chcesz użyć jako tekstu wejściowego. Menu rozwijane jest automatycznie wypełniane kolumnami z wybranej tabeli.

   Kilka przykładów

   Jeśli wybierzesz kilka przykładów:

   1. Podaj co najmniej 3 przykłady danych wejściowych i oczekiwanych danych wyjściowych zadania specjalizacji. Zapewnienie wysokiej jakości przykładów pomaga skonfigurować agenta specjalizacyjnego, aby lepiej zrozumiał twoje wymagania.
   2. Aby dodać więcej przykładów, kliknij pozycję + Dodaj.
   3. W obszarze Miejsce docelowe agenta wybierz schemat Unity Catalog, w którym chcesz, aby Agent Bricks pomógł utworzyć tabelę z danymi oceny. Musisz mieć uprawnienia CREATE REGISTERED MODEL oraz CREATE TABLE do tego schematu.

3. Nadaj agentowi nazwę.

4. Kliknij pozycję Utwórz agenta.

Krok 2. Kompilowanie i ulepszanie agenta

Na karcie Kompilacja przejrzyj zalecenia, aby ulepszyć agenta, przejrzeć przykładowe dane wyjściowe modelu i dostosować instrukcje i kryteria oceny zadania.

W okienku Rekomendacje usługa Databricks udostępnia zalecenia ułatwiające optymalizowanie i ocenianie przykładowych odpowiedzi jako dobrych lub złych.

1. W okienku Rekomendacje usługa Databricks udostępnia zalecenia ułatwiające optymalizowanie i ocenianie przykładowych odpowiedzi jako dobrych lub złych.

   1. Zapoznaj się z zaleceniami dotyczącymi optymalizacji wydajności agenta w usłudze Databricks.
   2. Prześlij opinię, aby poprawić odpowiedzi. Dla każdej odpowiedzi odpowiedź Czy jest to dobra odpowiedź? z opcjąTak lub Nie. Jeśli nie, prześlij opcjonalną opinię na temat odpowiedzi i kliknij przycisk Zapisz , aby przejść do następnego.
   3. Możesz również odrzucić zalecenie .

2. Po prawej stronie w obszarze Wytyczne ustaw jasne wytyczne, aby pomóc agentowi w generowaniu właściwych wyników. Będą one również używane do automatycznego oceniania jakości.

   1. Zapoznaj się z sugerowanymi wytycznymi. Wytyczne są automatycznie wnioskowane, aby pomóc w optymalizacji Twojego agenta. Można je uściślić lub usunąć.
   2. Agent Bricks może zaproponować dodatkowe wytyczne. Wybierz pozycję Akceptuj, aby dodać nową wytyczną, Odrzuć, aby ją odrzucić, lub kliknij tekst, aby najpierw edytować wytyczną.
   3. Aby dodać własne wytyczne, kliknij Dodaj.
   4. Kliknij przycisk Zapisz i zaktualizuj , aby zaktualizować agenta.

3. (Opcjonalnie) Po prawej stronie w obszarze Instrukcje opisz zadanie. Dodaj wszelkie dodatkowe instrukcje dla agenta, które powinny być przestrzegane podczas generowania odpowiedzi. Kliknij przycisk Zapisz i zaktualizuj , aby zastosować instrukcje.

4. Po zaktualizowaniu agenta są generowane nowe przykładowe odpowiedzi. Przejrzyj i prześlij opinię na temat tych odpowiedzi.

Krok 3. Ocena agenta

Raport o jakości zawierający niewielki zestaw wyników oceny jest generowany automatycznie na podstawie wytycznych. Przejrzyj ten raport na karcie Jakość .

Każda zaakceptowana wskazówka jest używana jako metryka oceny. Dla każdego wygenerowanego żądania odpowiedź jest oceniana przy użyciu wytycznych i oceny zaliczenia/niezaliczenia. Te oceny są używane do generowania wyników oceny wyświetlanych u góry. Kliknij wynik oceny, aby wyświetlić pełne szczegóły.

Raport dotyczący jakości ułatwia podjęcie decyzji, czy agent potrzebuje dalszej optymalizacji.

(Opcjonalnie) Optymalizowanie agenta

Agent Bricks może pomóc zoptymalizować agenta pod kątem kosztów. Databricks zaleca co najmniej 100 danych wejściowych (100 wierszy w tabeli katalogu Unity lub 100 ręcznie dostarczonych przykładów) do optymalizacji agenta. Po dodaniu większej liczby danych wejściowych baza wiedzy, z której agent może się uczyć, zwiększa jakość agenta i jego dokładność odpowiedzi.

Podczas optymalizowania agenta usługa Databricks porównuje wiele różnych strategii optymalizacji w celu skompilowania i wdrożenia zoptymalizowanego agenta. Te strategie obejmują dostrajanie modelu podstawowego, które korzysta z usługi Databricks Geos.

Aby zoptymalizować agenta:

1. Kliknij pozycję Optymalizuj.

2. Kliknij przycisk Rozpocznij optymalizację.

   Optymalizacja może potrwać kilka godzin. Wprowadzanie zmian w aktualnie aktywnym agencie jest blokowane, gdy optymalizacja jest w toku.

3. Po zakończeniu optymalizacji przejrzyj porównanie aktualnie aktywnego agenta i agenta zoptymalizowanego pod kątem kosztów.

4. Po przejrzeniu tych wyników wybierz najlepszy model w obszarze Wdrażanie najlepszego modelu w punkcie końcowym i kliknij pozycję Wdróż.

Krok 4. Korzystanie z agenta

Wypróbuj agenta w przepływach pracy w Databricks. Domyślnie punkty końcowe Agent Bricks są skalowane do zera po 3 dniach braku aktywności, więc opłaty będą naliczane tylko za czas pracy.

Aby rozpocząć korzystanie z agenta, kliknij przycisk Użyj. Dostępne są następujące opcje:

• Kliknij Wypróbuj w programie SQL, aby otworzyć edytor SQL i użyć ai_query do wysyłania żądań do nowego agenta LLM.

• Kliknij Utwórz potok, aby wdrożyć potok uruchamiany w zaplanowanych odstępach czasu, który używa Twojego agenta na nowych danych. Aby uzyskać więcej informacji na temat potoków, zobacz Deklaratywne potoki Lakeflow Spark.

• Kliknij Otwórz w Playground, aby przetestować swojego agenta w środowisku czatu AI Playground.

Zarządzanie uprawnieniami

Domyślnie tylko autorzy Agent Bricks i administratorzy obszaru roboczego mają uprawnienia dotyczące agenta. Aby zezwolić innym użytkownikom na edytowanie agenta lub wykonywanie względem nich zapytań, musisz jawnie udzielić im uprawnień.

Aby zarządzać uprawnieniami agenta:

1. Otwórz agenta w aplikacji Agent Bricks.
2. W górnej części kliknij
3. Kliknij pozycję Zarządzaj uprawnieniami.
4. W oknie Ustawienia uprawnień wybierz użytkownika, grupę lub jednostkę usługi.
5. Wybierz uprawnienie do udzielenia:
   • Może zarządzać: umożliwia zarządzanie Blokami Agentów, w tym ustawianie uprawnień, edytowanie konfiguracji agenta i doskonalenie jego jakości.
   • Zapytania: Umożliwia wysyłanie zapytań do punktu końcowego Agent Bricks w AI Playground i za pośrednictwem API. Użytkownicy mający tylko to uprawnienie nie mogą wyświetlać ani edytować agenta w Agent Bricks.
6. Kliknij przycisk Dodaj.
7. Kliknij przycisk Zapisz.

Wykonywanie zapytań względem punktu końcowego agenta

Na stronie agenta kliknij Zobacz Stan agenta w prawym górnym rogu, aby uzyskać wdrożony punkt końcowy agenta i wyświetlić szczegóły punktu końcowego.

Istnieje wiele sposobów wykonywania zapytań do utworzonego punktu końcowego agenta. Użyj przykładów kodu podanych w narzędziu AI Playground jako punktu wyjścia:

1. Na stronie agenta kliknij pozycję Użyj.
2. Kliknij Otwórz w środowisku testowym.
3. W obszarze Plac zabaw kliknij pozycję Pobierz kod.
4. Wybierz sposób używania punktu końcowego:
   • Wybierz pozycję Zastosuj dla danych , aby utworzyć zapytanie SQL, które stosuje agenta do określonej kolumny tabeli.
   • Wybierz pozycję Curl API dla przykładu kodu, aby wysłać zapytanie do punktu końcowego przy użyciu narzędzia curl.
   • Wybierz interfejs API języka Python , aby uzyskać przykładowy kod, aby wchodzić w interakcję z punktem końcowym przy użyciu języka Python.

Używanie plików PDF w module Agent Bricks

Pliki PDF nie są jeszcze obsługiwane natywnie w Agent Bricks: wyodrębnianie informacji i LLM dostosowane do potrzeb użytkownika. Można jednak użyć przepływu pracy w interfejsie użytkownika Agent Brick, aby przekonwertować folder plików PDF na markdown, a następnie użyć wynikowej tabeli Unity Catalog jako danych wejściowych podczas budowy agenta. Ten przepływ pracy wykorzystuje ai_parse_document do konwersji. Wykonaj te kroki:

1. Kliknij pozycję Agenci w lewym okienku nawigacji, aby otworzyć aplikację Agent Bricks w usłudze Databricks.

2. W przypadkach użycia wyodrębniania informacji lub niestandardowego modułu LLM kliknij pozycję Użyj plików PDF.

3. W wyświetlonym panelu bocznym wprowadź następujące pola, aby utworzyć nowy przepływ pracy, aby przekonwertować pliki PDF:

   1. Wybierz folder z plikami PDF lub obrazami: wybierz folder Unity Catalog zawierający pliki PDF, których chcesz użyć.
   2. Wybierz tabelę docelową: wybierz schemat docelowy dla przekonwertowanej tabeli markdown, a opcjonalnie dostosuj nazwę tabeli w polu poniżej.
   3. Wybierz aktywny magazyn SQL: wybierz magazyn SQL, aby uruchomić przepływ pracy.

   

4. Kliknij przycisk Rozpocznij importowanie.

5. Nastąpi przekierowanie do karty Wszystkie przepływy pracy , która zawiera listę wszystkich przepływów pracy w formacie PDF. Użyj tej karty, aby monitorować stan zadań.

   

   Jeśli przepływ pracy zakończy się niepowodzeniem, kliknij nazwę zadania, aby go otworzyć i wyświetlić komunikaty o błędach, aby ułatwić debugowanie.

6. Po pomyślnym zakończeniu przepływu pracy kliknij nazwę zadania, aby otworzyć tabelę w Eksploratorze wykazu, aby eksplorować i zrozumieć kolumny.

7. Podczas konfigurowania agenta użyj tabeli Unity Catalog jako danych wejściowych w Agent Bricks.

Limitations

• Usługa Databricks zaleca co najmniej 100 danych wejściowych (100 wierszy w tabeli Unity Catalog lub 100 ręcznie dostarczonych próbek) w celu optymalizacji swojego agenta. Po dodaniu większej liczby danych wejściowych baza wiedzy, z której agent może się uczyć, zwiększa jakość agenta i jego dokładność odpowiedzi.
• Jeśli podasz tabelę w Unity Catalog, nazwa tabeli nie może zawierać żadnych znaków specjalnych (takich jak -).
• Tylko następujące typy danych są obsługiwane jako dane wejściowe: string, inti double.
• Pojemność użycia jest obecnie ograniczona do 100 000 tokenów wejściowych i wyjściowych na minutę.
• Obszary robocze z włączonymi zwiększonymi zabezpieczeniami i zgodnością nie są obsługiwane.
• Optymalizacja może zakończyć się niepowodzeniem w obszarach roboczych, w których bezserwerowe zasady ruchu wychodzącego kontrolują zasady sieciowe z ograniczonym trybem dostępu lub obszarami roboczymi z włączoną obsługą zapory dla konta magazynu obszaru roboczego.