Użycie tokenu dziennika, monity i uzupełnienia dla interfejsów API LLM

Z tego artykułu dowiesz się, jak skonfigurować rejestrowanie usługi Azure Monitor dla żądań i odpowiedzi interfejsu API LLM w usłudze Azure API Management.

Administrator usługi API Management może używać dzienników żądań i odpowiedzi interfejsu API LLM oraz dzienników bramy usługi API Management w scenariuszach, takich jak:

• Oblicz użycie rozliczeń — oblicz metryki użycia dla rozliczeń na podstawie liczby tokenów używanych przez każdą aplikację lub użytkownika interfejsu API (na przykład segmentowane według identyfikatora subskrypcji lub adresu IP).

• Inspekcja komunikatów — sprawdzaj i analizuj monity i zakończenia, aby ułatwić debugowanie, inspekcję i ocenę modelu.

Dowiedz się więcej o:

• Możliwości bramy sztucznej inteligencji w usłudze API Management
• Monitorowanie usługi API Management

Wymagania wstępne

• Wystąpienie usługi Azure API Management.
• Zarządzany interfejs API uzupełniania czatów LLM zintegrowany z usługą Azure API Management. Na przykład zaimportuj interfejs API rozwiązania Microsoft Foundry.
• Dostęp do obszaru roboczego usługi Azure Log Analytics.
• Odpowiednie uprawnienia do konfigurowania ustawień diagnostycznych i dzienników dostępu w usłudze API Management.

Włączanie ustawienia diagnostycznego dla dzienników interfejsu API llM

Włącz ustawienie diagnostyczne, aby rejestrować żądania, które brama przetwarza dla dużych interfejsów API REST modelu językowego. Dla każdego żądania usługa Azure Monitor odbiera dane dotyczące użycia tokenu (tokeny monitu, tokeny ukończenia i łączne tokeny), nazwę używanego modelu oraz opcjonalnie komunikaty żądania i odpowiedzi (monit i ukończenie). Duże żądania i odpowiedzi są podzielone na wiele wpisów dziennika z numerami sekwencji na potrzeby późniejszej rekonstrukcji w razie potrzeby.

Poniżej przedstawiono krótkie kroki umożliwiające włączenie ustawienia diagnostycznego, które kieruje dzienniki interfejsu API LLM do obszaru roboczego usługi Log Analytics. Aby uzyskać więcej informacji, zobacz Włączanie ustawienia diagnostycznego dla dzienników usługi Azure Monitor.

1. W witrynie Azure Portal przejdź do wystąpienia usługi Azure API Management.
2. W menu po lewej stronie w obszarze Monitorowanie wybierz pozycję Ustawienia>diagnostyczne+ Dodaj ustawienie diagnostyczne.
3. Skonfiguruj ustawienie, aby wysyłać dzienniki bramy sztucznej inteligencji do obszaru roboczego usługi Log Analytics:
   • W obszarze Dzienniki wybierz pozycję Dzienniki związane z generowaniem bramy sztucznej inteligencji.
   • W obszarze Szczegóły miejsca docelowego wybierz pozycję Wyślij do obszaru roboczego usługi Log Analytics.
4. Przejrzyj lub skonfiguruj inne ustawienia i w razie potrzeby wprowadź zmiany.
5. Wybierz Zapisz.

Włączanie rejestrowania żądań lub odpowiedzi dla interfejsu API LLM

Możesz włączyć ustawienia diagnostyczne dla wszystkich interfejsów API lub dostosować rejestrowanie dla określonych interfejsów API. Poniżej przedstawiono krótkie kroki rejestrowania żądań LLM i komunikatów odpowiedzi dla interfejsu API. Aby uzyskać więcej informacji, zobacz Modyfikowanie ustawień rejestrowania interfejsu API.

1. W menu po lewej stronie wystąpienia usługi API Management wybierz pozycję Interfejsy API interfejsów > API , a następnie wybierz nazwę interfejsu API.
2. Wybierz kartę Ustawienia na górnym pasku.
3. Przewiń w dół do sekcji Dzienniki diagnostyczne i wybierz kartę Azure Monitor .
4. W obszarze Komunikaty usługi LOG LLM wybierz pozycję Włączone.
5. Wybierz pozycję Monity dziennika i wprowadź rozmiar w bajtach, na przykład 32768.
6. Wybierz pozycję Uzupełnianie dziennika i wprowadź rozmiar w bajtach, na przykład 32768.
7. Przejrzyj inne ustawienia i w razie potrzeby wprowadź zmiany. Wybierz Zapisz.

Przeglądanie skoroszytu analitycznego dla interfejsów API LLM

Pulpit nawigacyjny analizy opartej na usłudze Azure Monitor zapewnia wgląd w użycie interfejsu API LLM i użycie tokenów przy użyciu danych zagregowanych w obszarze roboczym usługi Log Analytics. Dowiedz się więcej na temat analizy w usłudze API Management.

1. W menu po lewej stronie wystąpienia usługi API Management wybierz pozycję Monitorowanie>analizy.
2. Wybierz kartę Modele językowe .
3. Przejrzyj metryki i wizualizacje dotyczące użycia tokenu interfejsu API LLM i żądań w wybranym zakresie czasu.

Przeglądanie dzienników usługi Azure Monitor pod kątem żądań i odpowiedzi

Przejrzyj dziennik ApiManagementGatewayLlmLog , aby uzyskać szczegółowe informacje na temat żądań i odpowiedzi llM, w tym użycia tokenu, używanego wdrożenia modelu i innych szczegółów w określonych zakresach czasu.

Żądania i odpowiedzi (w tym komunikaty fragmentowane dla dużych żądań i odpowiedzi) są wyświetlane w oddzielnych wpisach dziennika, które można skorelować przy użyciu CorrelationId pola.

Do celów inspekcji użyj zapytania Kusto podobnego do poniższego zapytania, aby dołączyć każde żądanie i odpowiedź w jednym rekordzie. Dostosuj zapytanie, aby uwzględnić pola, które chcesz śledzić.

ApiManagementGatewayLlmLog
| extend RequestArray = parse_json(RequestMessages)
| extend ResponseArray = parse_json(ResponseMessages)
| mv-expand RequestArray
| mv-expand ResponseArray
| project
    CorrelationId,
    RequestContent = tostring(RequestArray.content),
    ResponseContent = tostring(ResponseArray.content)
| summarize
    Input = strcat_array(make_list(RequestContent), " . "),
    Output = strcat_array(make_list(ResponseContent), " . ")
    by CorrelationId
| where isnotempty(Input) and isnotempty(Output)

Przekazywanie danych do rozwiązania Microsoft Foundry na potrzeby oceny modelu

Dane rejestrowania usługi LLM można wyeksportować jako zestaw danych do oceny modelu w rozwiązaniu Microsoft Foundry. W przypadku oceny modelu można ocenić wydajność generowanych modeli i aplikacji sztucznej inteligencji względem modelu testowego lub zestawu danych przy użyciu wbudowanych lub niestandardowych metryk oceny.

Aby użyć dzienników LLM jako zestawu danych do oceny modelu:

1. Dołącz żądania LLM i komunikaty odpowiedzi do pojedynczego rekordu dla każdej interakcji, jak pokazano w poprzedniej sekcji. Uwzględnij pola, których chcesz użyć do oceny modelu.
2. Wyeksportuj zestaw danych do formatu CSV, który jest zgodny z programem Microsoft Foundry.
3. W portalu Microsoft Foundry utwórz nową ocenę, aby przekazać i ocenić zestaw danych.

Aby uzyskać szczegółowe informacje na temat tworzenia i uruchamiania oceny modelu w rozwiązaniu Microsoft Foundry, zobacz Evaluate generative AI models and applications by using Microsoft Foundry (Ocena generowania modeli i aplikacji sztucznej inteligencji przy użyciu rozwiązania Microsoft Foundry).

Treści powiązane

• Dowiedz się więcej o monitorowaniu usługi API Management
• Dokumentacja usługi Azure Monitor dla usługi API Management
• Samouczek: monitorowanie opublikowanych interfejsów API