Nuta
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować się zalogować lub zmienić katalog.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Zestaw Copilot Studio Kit zapewnia kompleksowy interfejs do analizowania wyników testów.
Szczegóły przebiegu testu
Interfejs uruchamiania testowego agenta pokazuje stan przebiegów testów.
| Stan | Description |
|---|---|
| Stan przebiegu | Główny proces, który uruchamia każdy pojedynczy test agenta względem konfiguracji agenta przy użyciu interfejsu API linii bezpośredniej i tworzy odpowiedni rekord wyników testu agenta. |
| Stan wzbogacania usługi App Insights | Uruchamia się tylko wtedy, gdy opcja Wzbogacanie za pomocą usługi Azure Application Insights jest włączona na powiązanym rekordzie konfiguracji agenta. |
| Wygenerowana analiza odpowiedzi | Uruchamia się tylko wtedy, gdy opcja Analizuj wygenerowane odpowiedzi jest włączona dla powiązanego rekordu konfiguracji agenta. |
| Stan wzbogacania usługi Dataverse | Uruchamia się tylko wtedy, gdy włączono funkcję Wzbogacanie za pomocą transkrypcji konwersacji na powiązanym rekordzie konfiguracji agenta. |
Dowiedz się więcej o ustawieniach konfiguracji agenta w temacie Konfigurowanie agentów w zestawie Copilot Studio.
Na poniższej ilustracji przedstawiono interfejs Przebiegi testów, w którym można wyświetlić szczegóły przebiegu testu.
Zagregowane wyniki
Po uruchomieniu przepływu w chmurze system oblicza zagregowane wyniki.
| Zagregowany wynik | Description |
|---|---|
| # Testy | Liczba wyników testu. |
| Współczynnik powodzenia (%) | Procent rekordów wyników testu z wynikiem „Sukces” w porównaniu z całkowitą liczbą wyników testu. |
| Średnie opóźnienie (ms) | Średni czas w milisekundach, w którym agent wysyła komunikat po otrzymaniu wypowiedzi testowej. |
| # Powodzenie | Liczba rekordów testu zakończonych sukcesem. |
| # Niepowodzenie | Liczba rekordów wyników testu z wynikiem niepowodzeniem. |
| # Oczekujące | Liczba rekordów wyników testu z oczekującym wynikiem. |
| # Nieznany | Liczba rekordów wyników testu z nieznanym wynikiem. |
| # Błąd | Liczba rekordów wyników testu z błędnym wynikiem. |
Szczegółowe wyniki
Przeanalizuj wyniki po wykonaniu każdego kroku, ponieważ niektóre wyniki są dostępne tylko po zakończeniu kroków. Na przykład, testy dopasowania tematów wymagają wzbogacenia przez Dataverse do pełnego uruchomienia, ponieważ tylko ten krok dostarcza informacji o nazwie tematu, który został wyzwolony.
Widok wyników można edytować, aby dostosować wyniki indywidualnie.
Każdy wynik zawiera sekcję Przyczyna wyniku, która jest wypełniana automatycznie wyjaśnieniem wyniku. W przypadku ocen generowanych przez AI zaleca się przejrzenie przez człowieka: „Ocena odpowiedzi wygenerowana przez AI. Przejrzyj.”. Testerzy mogą używać tego atrybutu do dodawania własnych komentarzy i notatek na teście.
Dla każdego z następujących typów testów można użyć filtru Wyniki , aby wyświetlić tylko wyniki określonego typu:
- Wyniki odpowiedzi generatywnej
- Wyniki dopasowania odpowiedzi
- Wyniki zgodności tematów
- Wyniki załącznika
Szczegóły wyników testu agenta
Formularz Rezultat testu agenta zawiera szczegółowe informacje dotyczące każdej wykonanej próby testowej. System automatycznie tworzy te rekordy.
| Nazwa kolumny | Description |
|---|---|
| Identyfikator konwersacji | Identyfikator konwersacji zapewnianej przez interfejs API direct line. |
| Przebieg testu agenta | Przebieg testowy, do którego odnosi się rekord. |
| Test agenta | Przetestuj, czy rekord odnosi się do tego. Szczegóły testu można wyświetlić w widoku szybkiego podglądu. |
| Wynik | Wynik: Success, , FailedUnknown, Error, Pending. |
| Explanation | Automatycznie wygenerowane wyjaśnienie wyniku. |
| Opóźnienie (ms) | Czas w milisekundach, jaki agent potrzebuje, aby odesłać wiadomość po otrzymaniu wypowiedzi testowej. |
| Wiadomość wysłana | Sygnatura czasowa wiadomości wysyłanej przez użytkownika. |
| Odebrano odpowiedź | Sygnatura czasowa wiadomości wysyłanej przez agenta. |
| Odpowiedź | Wiadomość SMS wysyłana przez agenta. |
| Wynik usługi App Insights | Generowanie wyników odpowiedzi z usługi Azure Application Insights (po włączeniu wzbogacania za pomocą usługi Azure Application Insights ). |
| Identyfikator wyzwolonego tematu | Unikatowy identyfikator rekordu podkomponentu czatbota dla wyzwalanego tematu w usłudze Dataverse (po włączeniu Wzbogacanie transkrypcjami konwersacji). |
| Wywołany temat/zdarzenie | Nazwa wyzwolonego tematu (po włączeniu wzbogacenia transkrypcjami konwersacji). Jeśli wiele tematów jest dopasowanych, IntentCandidates. W przypadku pobudzenia konwersacji i powrotu, UnknownIntent. |
| Rozpoznana ocena intencji | Jeśli zostanie rozpoznana intencja, wynikiem jest najwyższa z nich. |
| Transkrypcja konwersacji | Załączanie pliku pełnej transkrypcji konwersacji w formacie JSON (gdy wzbogacenie transkrypcji konwersacji jest włączone i kiedy opcja Pełna Transkrypcja jest ustawiona na tak). |
| Sugerowane akcje | Jeśli jest dostępny, kod JSON sugerowanych akcji zwracanych przez agenta, które kojarzy ze swoją odpowiedzią. |
| Attachments | Jeśli jest dostępny, kod JSON macierzy załączników zwracanych przez agenta, które kojarzy ze swoją odpowiedzią. |
| Cytaty | W przypadku wygenerowanych odpowiedzi JSON-owa tablica cytatów, które agent wykorzystuje do generowania odpowiedzi (gdy opcja Wzbogacanie transkrypcjami konwersacji jest włączona). |
Sprawdzanie transkrypcji
Jeśli włączysz opcję Wzbogacanie za pomocą transkrypcji konwersacji i ustawisz opcję Kopiuj pełną transkrypcję na tak, wynik testu zawiera pełną transkrypcję. Podczas analizowania wyniku testu przejdź do karty Transkrypcja , aby uzyskać szczegółowy widok transkrypcji w formacie JSON z towarzyszącą wizualizacją.
Analizuj wyniki testu wieloturnowego
Widok wyników przedstawia testy wielokrotnych iteracji oraz inne typy testów. Ogólny wynik (powodzenie lub niepowodzenie) zostanie wyświetlony w kolumnie Wynik. Wybierz wartość ID konwersacji, aby wyświetlić szczegóły testu wieloturowego i listę testów podrzędnych, które tworzą test.
W widoku szczegółowym wyników testów wieloturowych można zobaczyć wyniki poszczególnych testów podrzędnych i przejść do szczegółów. Wynik testu wieloturowego zależy od wyników testów cząstkowych, które są oznaczone jako krytyczne. Niekrytyczne testy podrzędne mogą zakończyć się niepowodzeniem, a przypadek testowy z wieloma krokami jest kontynuowany do następnego przypadku testowego. Jeśli którykolwiek z krytycznych testów podrzędnych zakończy się niepowodzeniem, wykonanie testu dla tego testu wieloturowego zostanie zatrzymane, a test zostanie oznaczony jako Niepowodzenie. Jeśli wszystkie krytyczne testy podrzędne kończą się powodzeniem, wynikiem testu wieloturowego jest Sukces.
Przypadki testowe obejmujące wiele przebiegów mogą zawierać niekrytyczne testy, ponieważ dostarczają informacje do orkiestratora generatywnego. Dokładna odpowiedź na przypadek testowy nie ma znaczenia, tylko testy krytyczne, które następują.
Test wieloturowy (i wynik testu wieloturowego) może zawierać dowolne z typów testów regularnych: Dopasowanie odpowiedzi, Załączniki, Dopasowanie tematu i Odpowiedzi generowane.
Gdzie uzyskać pomoc
Jeśli wystąpią problemy, zapoznaj się ze wskazówkami dotyczącymi rozwiązywania problemów lub zgłoś wniosek o pomoc techniczną w usłudze GitHub.