Model informacji zwrotnej (przestarzały)

Model opinii umożliwia programowe zbieranie opinii na temat odpowiedzi agenta. Podczas wdrażania agenta przy użyciu narzędzia agents.deploy(), usługa Databricks automatycznie tworzy punkt końcowy modelu sprzężenia zwrotnego wraz z agentem.

Ten punkt końcowy akceptuje ustrukturyzowane opinie (oceny, komentarze, oceny) i rejestruje je w tabelach wnioskowania. Jednak to podejście zostało zastąpione przez solidniejsze funkcje opinii zwrotnej MLflow 3.

Migrowanie do platformy MLflow 3

Zamiast korzystać z przestarzałego modelu opinii, przeprowadź migrację do platformy MLflow 3, aby uzyskać kompleksową opinię i możliwości oceny:

• Rejestrowanie ocen pierwszej klasy z niezawodną walidacją i obsługą błędów
• Integracja śledzenia w czasie rzeczywistym w celu uzyskania natychmiastowej widoczności informacji zwrotnej
• Przegląd integracji aplikacji z rozszerzonymi funkcjami współpracy uczestników projektu
• Obsługa monitorowania produkcji przy użyciu zautomatyzowanej oceny jakości

Aby przeprowadzić migrację istniejących obciążeń do platformy MLflow 3:

1. Uaktualnij program MLflow do wersji 3.1.3 lub nowszej w środowisku projektowym:

   %pip install mlflow>=3.1.3
   dbutils.library.restartPython()
   

2. Aktywuj aplikację Review App do zbierania opinii od interesariuszy.

3. Zastąp wywołania interfejsu API opinii rejestrowaniem ocen MLflow 3.

4. Wdróż agenta za pomocą platformy MLflow 3:

   • Śledzenie w czasie rzeczywistym automatycznie przechwytuje wszystkie interakcje
   • Oceny są dołączane bezpośrednio do śladów w celu uzyskania ujednoliconej widoczności

5. Konfigurowanie monitorowania produkcyjnego (opcjonalnie):

   • Konfigurowanie automatycznej oceny jakości ruchu produkcyjnego

Jak działa interfejs API opinii (przestarzałe)

Model opinii uwidocznił punkt końcowy REST, który zaakceptował ustrukturyzowaną opinię na temat odpowiedzi agenta. Informację zwrotną można wysłać za pośrednictwem żądania POST do punktu końcowego informacji zwrotnej po przetworzeniu żądania przez Twojego agenta.

Przykładowe żądanie opinii:

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '
      {
          "dataframe_records": [
              {
                  "source": {
                      "id": "user@company.com",
                      "type": "human"
                  },
                  "request_id": "573d4a61-4adb-41bd-96db-0ec8cebc3744",
                  "text_assessments": [
                      {
                          "ratings": {
                              "answer_correct": {
                                  "value": "positive"
                              },
                              "accurate": {
                                  "value": "positive"
                              }
                          },
                          "free_text_comment": "The answer used the provided context to talk about pipelines"
                      }
                  ],
                  "retrieval_assessments": [
                      {
                          "ratings": {
                              "groundedness": {
                                  "value": "positive"
                              }
                          }
                      }
                  ]
              }
          ]
      }' \
https://<workspace-host>.databricks.com/serving-endpoints/<your-agent-endpoint-name>/served-models/feedback/invocations

Możesz przekazać dodatkowe lub zupełnie inne pary klucz-wartość w polach text_assessments.ratings i retrieval_assessments.ratings, aby udzielić różnych typów opinii. W tym przykładzie ładunek opinii wskazuje, że odpowiedź agenta na żądanie o identyfikatorze 573d4a61-4adb-41bd-96db-0ec8cebc3744 jest poprawna, dokładna i oparta na kontekście uzyskanym za pomocą narzędzia do pobierania danych.

Ograniczenia interfejsu API opinii

Eksperymentalny interfejs API opinii ma kilka ograniczeń.

• Brak walidacji danych wejściowych; Interfejs API zawsze odpowiada pomyślnie, nawet przy użyciu nieprawidłowych danych wejściowych
• Wymagany identyfikator żądania usługi Databricks: Musisz przekazać identyfikator databricks_request_id z oryginalnego żądania agenta
• Zależność tabeli wnioskowania: Opinie są zbierane przy użyciu tabel wnioskowania z ich nieodłącznymi ograniczeniami
• Ograniczona obsługa błędów: Brak znaczących komunikatów o błędach na potrzeby rozwiązywania problemów

Aby uzyskać wymagany element databricks_request_id, musisz dołączyć {"databricks_options": {"return_trace": True}} do oryginalnego żądania do punktu końcowego obsługiwanego przez agenta.

Następne kroki

• Wycofanie dzienników żądań i dzienników oceny
• Oceny dzienników w narzędziu MLflow 3
• Przeglądanie aplikacji pod kątem opinii ekspertów
• Wdrażanie agentów