Analizowanie wydajności autonomicznego agenta

Strona Analiza w Copilot Studio zapewnia zagregowane szczegółowe informacje o ogólnej skuteczności agenta w wyzwalaczach wydarzeń w różnych sesjach analitycznych. Na stronie jest również wyświetlany obszar Przegląd, który zawiera ogólne, kluczowe wskaźniki wydajności (KPI) dla agenta, obszar Oszczędności, który analizuje oszczędności czasowe i kosztowe uzyskane dzięki agentowi lub jego narzędziom, oraz obszar Podsumowanie, który dostarcza kluczowych szczegółowych informacji o wydajności działania agenta.

Aby uzyskać więcej informacji o:

• Obszarach Podsumowanie i Przegląd, zobacz temat Analizy — omówienie
• Obszarze Oszczędności, zobacz temat Analizowanie czasu i oszczędności kosztów dla agentów

Istnieją cztery podstawowe obszary, na których należy skupić się podczas przeglądania i zwiększania wydajności agentów autonomicznych:

• Wyniki uruchamiania: znajomość końcowego wyniku sesji rozpoczętej przez wyzwalacz pomaga zacząć identyfikować, gdzie Twój agent odnosi sukcesy, a gdzie wymaga poprawy.
• Użycie wyzwalacza: sprawdzanie, które wyzwalacze są używane i jak często, pomaga zrozumieć, co robi Twój agent i dlaczego.
• Użycie narzędzi: wiedza o tym, jak często narzędzia są używane i wykonują powierzone zadania, może pomóc w zrozumieniu, czy te narzędzia są przydatne i skuteczne dla użytkowników.
• Użycie źródła wiedzy: informacja o tym, jak często są używane poszczególne źródła wiedzy i jak często agent zwracał błędy.

Aby zmienić zakres czasu, wybierz menu rozwijane zakresu u góry strony Analizy. Można wyświetlać analizę sesji, które wystąpiły w ciągu ostatnich 90 dni.

Wyniki przebiegu

W sekcji Wyniki uruchamiania jest wyświetlany wykres, który śledzi typ wyniku dla każdej sesji.

Aby pobrać dane wyników przebiegu (dane wizualizowane na wykresie), wybierz ikonę menu , a następnie pozycję Pobierz plik CSV.

Możesz też zobaczyć zestawienie czasów trwania sesji. Wybierz pozycję Zobacz szczegóły na wykresie Wyniki uruchamiania. Zostanie otwarty panel boczny ze średnim czasem trwania pomyślnych uruchomień i nieudanych sesji oraz zmianą długości sesji w czasie.

Długi czas trwania sesji może powodować opóźnienia w przepływach pracy, w których uczestniczy Twój agent. Możesz zwiększyć szybkość działania agenta, dostarczając bardziej szczegółowe instrukcje na poziomie wyzwalacza lub agenta.

Użycie wyzwalacza

W sekcji Użycie wyzwalacza znajduje się wykres i dane, które śledzą, jak często każdy wyzwalacz inicjował sesję. Wykres przedstawia zmianę użycia wyzwalacza w czasie.

Wybierz pozycję Zobacz szczegóły , aby wyświetlić zestawienie wszystkich wyzwalaczy używanych w wybranym okresie, najczęstszych zdarzeń, które wyzwoliły przebieg, oraz zdarzeń, które spowodowały najwięcej nieudanych przebiegów.

Możesz użyć tych informacji, aby ukierunkować określone przebiegi na ulepszenia i zrozumieć, na jakiego rodzaju zdarzenia agenci reagują najczęściej.

Użycie narzędzi

Sekcja Użycie narzędzi zawiera wykres i metryki, które śledzą, jak często narzędzia są uruchamiane w wybranym okresie i jak często agent z powodzeniem korzystał z tych narzędzi. Pokazuje również wskaźniki trendu dotyczące tego, jak często agent używa każdego narzędzia, oraz procent wywołanych narzędzi wykorzystanych pomyślnie.

Wykres przedstawia pięć najczęściej używanych narzędzi w okresie dat zdefiniowanym u góry strony Analizy.

W legendzie poniżej wykresu umieść kursor na dowolnym z narzędzi, aby wyróżnić to narzędzie na wykresie.

Aby otworzyć panel boczny z listą wszystkich narzędzi używanych w określonym przedziale czasu wraz ze wskaźnikami trendu, na wykresie wybierz pozycję Zobacz szczegóły. W panelu Użycie narzędzi można wyświetlić obliczenia procentowe pytań użyte dla każdego narzędzia. Jeśli agent ma agentów podrzędnych, można wybrać wyświetlanie obliczeń dla agenta głównego i podrzędnych (Wszystko), tylko głównego agenta (Główny agent) lub tylko podrzędnego agenta (Agent podrzędny).

Wykorzystanie źródła wiedzy

W sekcji Użycie źródła wiedzy jest wyświetlany wykres i metryki, które śledzą, jak często źródła wiedzy są używane przez agenta. Pokazuje on również wskaźniki trendu dotyczące tego, jak często źródła są używane, ile błędów jest generowanych i ile razy źródło jest używane.

Wykres przedstawia pięć najczęściej używanych źródeł wiedzy w zakresie dat zdefiniowanym u góry strony Analizy .

W legendzie poniżej wykresu umieść kursor na dowolnym ze źródeł wiedzy, aby wyróżnić je na wykresie.

Wybierz pozycję Zobacz szczegóły, aby otworzyć panel boczny z użyciem źródła wiedzy i współczynnikami błędów w wybranym okresie. Za pomocą tych wykresów można określić, które źródła wiedzy dobrze pomagają użytkownikom, a które należy ukierunkować na ulepszenia.

Jeśli agent ma agentów podrzędnych, na panelu bocznym wybierz pozycję Wszystko, aby wyświetlić metryki dla agenta głównego i podrzędnych, Główny agent dla metryk tylko głównego agenta lub Agent podrzędny dla metryk tylko agentów podrzędnych.

• Wszystkie źródła pokazuje procent sesji, które korzystały z każdego źródła wiedzy, do którego agent ma dostęp.
• Błędy pokazują procent sesji, w których użyto każdego typu źródła wiedzy (na przykład SharePoint), które zakończyły się błędem.

W obszarze Wszystkie źródła wybierz pojedyncze źródło, aby wyświetlić więcej informacji na poziomie dowolnego z wymienionych źródeł wiedzy. Etykietka narzędzia zawiera następujące informacje:

• Całkowita liczba pytań, które odwołały się do tego źródła wiedzy, a także liczba reakcji w postaci kciuka w górę i kciuka w dół.
• Skumulowany wykres słupkowy przedstawiający podział względnych wag jakości odpowiedzi na pytania odwołujące się do tego źródła wiedzy. Umieszczenie wskaźnika myszy na segmencie wykresu słupkowego spowoduje wyświetlenie wartości względnej wagi tego segmentu oraz liczby pytań próbkowanych do otrzymania tej wartości.