Analizowanie efektywności agentów konwersacyjnych

Strona Analizy w Copilot Studio zapewnia zagregowany wgląd w ogólną skuteczność agenta w różnych sesjach analitycznych. Strona jest podzielona na podstawowe obszary, które koncentrują się na różnych kontekstach wydajności. Na stronie jest również wyświetlany obszar Przegląd, który zawiera ogólne, kluczowe wskaźniki wydajności (KPI) dla agenta, obszar Oszczędności, który analizuje oszczędności czasowe i kosztowe uzyskane dzięki agentowi lub jego narzędziom, oraz obszar Podsumowanie, który dostarcza kluczowych szczegółowych informacji o wydajności działania agenta.

Aby uzyskać więcej informacji o:

• Obszarach Podsumowanie i Przegląd, zobacz temat Analizy — omówienie
• Obszarze Oszczędności, zobacz temat Analizowanie czasu i oszczędności kosztów dla agentów

Istnieje sześć podstawowych obszarów, na których należy skupić się podczas przeglądania i zwiększania skuteczności agentów konwersacyjnych:

• Motywy: Motywy ułatwiają uzyskiwanie szczegółowych informacji analitycznych dzięki grupowaniu pytań użytkowników w kategorie sugerowane przez sztuczną inteligencję.
• Wyniki konwersacji: znajomość końcowego wyniku konwersacji pomaga zacząć identyfikować, gdzie Twój agent odnosi sukcesy, a gdzie wymaga poprawy.
• Agenty: zobacz metryki wolumenu wywołań, wskaźniki sukcesu oraz bieżący stan agentów podrzędnych i połączonych.
• Współczynnik i jakość wygenerowanej odpowiedzi: wiedza o tym, kiedy agent ma trudności z udzieleniem odpowiedzi na pytania użytkowników i jak wykorzystuje źródła wiedzy, może pomóc w znalezieniu sposobów na poprawę współczynnika i jakości odpowiedzi agenta.
• Użycie narzędzi: wiedza o tym, jak często narzędzia są używane i wykonują powierzone zadania, może pomóc w zrozumieniu, czy te narzędzia są przydatne i skuteczne dla użytkowników.
• Zadowolenie: przeglądanie opinii użytkowników ułatwia identyfikowanie nowych scenariuszy zastosowania i problemów oraz wprowadzanie ulepszeń w oparciu o realne prośby użytkowników.

Można wyświetlać analizę zdarzeń, które wystąpiły w ciągu ostatnich 90 dni.

Wyniki konwersacji

W sekcji Wyniki konwersacji jest wyświetlany wykres, który śledzi typ wyniku dla każdej sesji pomiędzy agentem a użytkownikami.

Wykres, niezależnie od tego, czy jest wyświetlany jako skumulowany histogram, czy skumulowany wykres warstwowy, wizualizuje względne woluminy wyników, kodowane kolorami i ułożone według typów. Każdy z elementów Rozwiązane, Eskalowane, Porzucone i Niezaangażowane są reprezentowane przez odpowiednie kolory dla każdego punktu danych. Oś y wskazuje liczbę sesji.

Aby wyświetlić metryki dotyczące poszczególnych wyników specyficznych dla jednego punktu danych (określonego dnia), umieść wskaźnik myszy na obszarze reprezentującym kolor interesującego wyniku (na przykład Zielononiebieski dla sesji Porzuconych) w dniu, którym się interesujesz. W tym przykładzie było 90 porzuconych sesji reprezentujących 35,6% wszystkich wyników sesji z 24 listopada.

W legendzie poniżej wykresu umieść kursor na dowolnej z etykiet wyników, aby wyróżnić ten wynik na wykresie.

Wybierz (włączone lub wyłączone) jedną lub kilka etykiet legendy, aby pokazać lub ukryć wyniki na skumulowanym wykresie warstwowym. Można to zrobić, aby zwiększyć przejrzystość wyników, które pozostaną widoczne w następujących przypadkach:

• Poszczególne wiersze wyników są wyświetlane wizualnie blisko siebie.
• Chcesz zobaczyć bardziej wyraźnie, gdy linie trendu mają tendencję rosnącą lub malejącą, ale agregacja skumulowanych wyników na wykresie spłaszcza te linie trendu.

W poniższym przykładzie etykiety Eskalowane i Niezaangażowane zostały usunięte z wykresu. Etykietka narzędzia pokazuje, że w dniu 23 listopada zostało porzuconych 95 sesji, co stanowi 60,5% pozostałych widocznych wyników na wykresie (czyli sumy wyników dla Rozwiązane + Porzucone).

Aby pobrać dane wyników konwersacji (dane wizualizowane na wykresie), wybierz ikonę menu , a następnie pozycję Pobierz plik CSV.

Aby otworzyć panel boczny ze szczegółowymi informacjami na temat wyników konwersacji, wybierz pozycję Zobacz szczegóły na wykresie. Panel boczny Wyniki konwersacji obejmuje:

• Podział wykresu kołowego wyników sesji z względną wagą (wyrażoną jako procent) wyników Rozwiązane, Eskalowane i Porzucone.
• Skumulowany wykres słupkowy przedstawiający względną wagę (wyrażoną jako procent) przyczyny wyniku Rozwiązane i potwierdzone i Rozwiązane w sposób domniemany opisujący wszystkie wyniki rozwiązanych sesji.
• Skumulowany wykres słupkowy przedstawiający względną wagę (wyrażoną jako procent) przyczyny wyniku Zamierzone przez system, Niezamierzone przez system i Na żądanie użytkownika opisujący wszystkie wyniki eskalowanych sesji.
• Najważniejsze tematy, które doprowadziły do każdego wyniku.

Sesja należy do jednego z następujących dwóch stanów:

• Niezaangażowana: Sesja rozpoczyna się, gdy użytkownik wchodzi w interakcję z agent lub gdy agent wysyła proaktywny komunikat do użytkownika. Sesja rozpoczyna się w stanie niezaangażowanym.

• Z Interakcją: użytkownik aktywnie wchodzi w interakcję z agentem. Istnieje różnica w zachowaniu na podstawie trybu orkiestracji agenta.

  • Orkiestracja klasyczna: sesja staje się interakcją, gdy zostanie zainicjowany jeden z następujących tematów:

    • Niestandardowy temat zainicjowany bezpośrednio przez użytkownika
    • Temat eskalacyjny
    • Temat rezerwowy
    • Temat Pobudzanie konwersacji

  • Orkiestracja generatywnej AI: sesja staje się interakcją, gdy użytkownik bezpośrednio inicjuje plan i włącza do niego jeden z następujących elementów:

    • Temat niesystemowy
    • Temat eskalacyjny
    • Temat rezerwowy
    • Źródło wiedzy
    • Narzędzie

Sesja zaangażowana ma jeden z następujących rezultatów:

Wynik dla narzędzi można również ustawić za pomocą parametru conversationOutcome przy użyciu edytora kodu narzędzia. Na przykład conversationOutcome: ResolvedConfirmed dla potwierdzonego powodzenia lub conversationOutcome: ResolvedImplied dla sugerowanego powodzenia.

Zapoznaj się z dokumentacją Mierzenie zaangażowania pomocnika, aby zapoznać się z sugestiami i najlepszymi praktykami dotyczącymi mierzenia i zwiększania zaangażowania.

Agenci

Na liście Agenci są wyświetlane ogólne metryki wolumenu, wydajności i stanu dla połączonych i podrzędnych agentów głównego agenta. Lista identyfikuje typ relacji między agentem na liście a głównym agentem wskazanym w kolumnie Typ. Jeśli agent jest agentem podrzędnym, ma typ Child. Połączeni agenci mają na liście typ odzwierciedlający miejsce ich utworzenia (na przykład Copilot Studio, Azure AI Foundry). Metryka Wywołania dla każdego wymienionego agenta opisuje liczbę wywołań od głównego agenta do połączonego lub podrzędnego agenta. Współczynnik sukcesów odzwierciedla odsetek wywołań (jako % wszystkich wywołań), które zakończyły się pomyślnie. Stan wskazuje stan administracyjny poszczególnych połączonych i podrzędnych agentów.

Domyślnie na liście Agenci jest wyświetlanych pięciu (5) najważniejszych połączonych i podrzędnych agentów głównego agenta, uszeregowanych od najwyższej do najniższej całkowitej liczby pytań. Jeśli istnieje więcej niż pięciu agentów, wybierz pozycję Zobacz wszystko, aby wyświetlić wszystkich agentów.

Współczynnik i jakość wygenerowanej odpowiedzi (wersja zapoznawcza)

Dzięki funkcji generatywnych odpowiedzi agent może używać sztucznej inteligencji do generowania odpowiedzi na zapytania użytkowników przy użyciu źródeł wiedzy i podanych instrukcji. Jednak agent może nie być w stanie odpowiedzieć na wszystkie zapytania użytkowników. Sekcja Współczynnik i jakość wygenerowanej odpowiedzi śledzi, organizuje i analizuje zapytania bez odpowiedzi oraz jakość odpowiedzi, aby przekazać wskazówki dotyczące poprawy wydajności odpowiadania przez agenta.

Wskaźnik odpowiedzi pokazuje liczbę pytań z odpowiedziami i bez odpowiedzi w wybranym przedziale czasu oraz zmianę procentową w czasie.

Jakość odpowiedzi mierzy jakość odpowiedzi udzielonych przy użyciu sztucznej inteligencji. Aplikacja Copilot Studio analizuje zbiór próbek odpowiedzi na pytanie pod kątem różnych cech, w tym kompletności, trafności i poziomu uzasadnienia odpowiedzi. Jeśli odpowiedź spełnia określony standard, aplikacja Copilot Studio oznacza ją jako mającą jakość Dobra. Odpowiedzi, które nie spełniają tego standardu, Copilot Studio oznacza jakością Słaba. W przypadku odpowiedzi Słaba program Copilot Studio przypisuje przyczynę oceny jakości i pokazuje procent odpowiedzi przydzielonych do każdej kategorii.

Umieść kursor na dowolnym segmencie słupka na wykresie, aby zobaczyć względne wagi pojedynczej przyczyny etykiety Dobra lub Niska jakość. Etykietka narzędzia wskazuje również liczbę prób odpowiedzi, które wzięto pod uwagę, żeby uzyskać obliczoną wartość procentową.

W legendzie poniżej wykresu umieść kursor na dowolnej z etykiet powodów, aby wyróżnić ten powód na wykresie.

Można przekazać firmie Microsoft opinię na temat tej sekcji za pomocą ikon Kciuk w górę i Kciuk w dół. Użyj panelu Prześlij opinię firmie Microsoft, aby dodać komentarz i udostępnić powiązane pliki. Przekazując w ten sposób opisową opinię, współpracujesz z nami przy ciągłym ulepszaniu naszego produktu.

1. W panelu Prześlij opinię do Microsoft opisz w naturalnym języku, co lubisz a czego nie lubisz, w zależności od ikony wybranej w celu otwarcia panelu.
2. Wybierz, czy chcesz udostępnić monit, wygenerowaną odpowiedź, odpowiednie próbki zawartości i dodatkowe pliki dziennika.
3. Wybierz Prześlij.

Wybierz pozycję Zobacz szczegóły, aby otworzyć panel boczny ze współczynnikami odpowiedzi na pytania, informacjami o użyciu źródeł wiedzy oraz współczynnikami błędów w wybranym okresie. Za pomocą tych wykresów można określić, które źródła wiedzy dobrze pomagają użytkownikom, a które należy ukierunkować na ulepszenia.

Jeśli agent ma agentów podrzędnych, na panelu bocznym wybierz pozycję Wszystko, aby wyświetlić metryki dla agenta głównego i podrzędnych, Główny agent dla metryk tylko głównego agenta lub Agent podrzędny dla metryk tylko agentów podrzędnych.

• Pytania bez odpowiedzi pokazuje przyczyny, dla których agent nie odpowiedział na zapytanie użytkownika.
• Użycie źródła wiedzy pokazuje procent sesji, które korzystały z każdego źródła wiedzy, do którego agent ma dostęp.
• Wszystkie źródła pokazuje procent pytań, które użyły poszczególnych źródeł wiedzy.
• Błędy pokazuje procent zapytań, które spowodowały błąd związany z wiedzą dla każdego typu źródła wiedzy (na przykład SharePoint).

W obszarze Wszystkie źródła wybierz pojedyncze źródło, aby wyświetlić więcej informacji na poziomie dowolnego z wymienionych źródeł wiedzy. Etykietka narzędzia zawiera następujące informacje:

• Całkowita liczba pytań, które odwołały się do tego źródła wiedzy, a także liczba reakcji w postaci kciuka w górę i kciuka w dół.
• Skumulowany wykres słupkowy przedstawiający podział względnych wag jakości odpowiedzi na pytania odwołujące się do tego źródła wiedzy. Umieszczenie wskaźnika myszy na segmencie wykresu słupkowego spowoduje wyświetlenie wartości względnej wagi tego segmentu oraz liczby pytań próbkowanych do otrzymania tej wartości.

Użycie narzędzi

Sekcja Użycie narzędzi zawiera wykres i metryki, które śledzą, jak często narzędzia są uruchamiane w wybranym okresie i jak często agent z powodzeniem korzystał z tych narzędzi. Pokazuje również wskaźniki trendu dotyczące tego, jak często agent używa każdego narzędzia, oraz procent wywołanych narzędzi wykorzystanych pomyślnie.

Wykres przedstawia pięć najczęściej używanych narzędzi w okresie dat zdefiniowanym u góry strony Analizy.

W legendzie poniżej wykresu umieść kursor na dowolnym z narzędzi, aby wyróżnić to narzędzie na wykresie.

Aby otworzyć panel boczny z listą wszystkich narzędzi używanych w określonym przedziale czasu wraz ze wskaźnikami trendu, na wykresie wybierz pozycję Zobacz szczegóły. W panelu Użycie narzędzi można wyświetlić obliczenia procentowe pytań użyte dla każdego narzędzia. Jeśli agent ma agentów podrzędnych, można wybrać wyświetlanie obliczeń dla agenta głównego i podrzędnych (Wszystko), tylko głównego agenta (Główny agent) lub tylko podrzędnego agenta (Agent podrzędny).

Stopień zadowolenia

Sekcja Zadowolenie przedstawia opinie użytkowników zebrane z reakcji na odpowiedzi agenta i wyniki ankiety dla sesji. Zadowolenie jest podzielone na dwie mniejsze sekcje: sekcja Reakcje, która wyświetla kciuki w górę, kciuki w dół opinii dla określonych odpowiedzi agenta i sekcję Wyniki ankiety, która wyświetla wskaźnik zadowolenia klientów (CSAT) dla całej sesji.

Dane opinii są przechowywane w tabeli transkrypcji konwersacji w usłudze Dataverse. Aby uzyskać listę kanałów obsługujących tę funkcję, zobacz Szczegóły funkcji.

Reakcje

Sekcja Reakcje przedstawia opinie użytkowników zebrane z reakcji na odpowiedzi agenta i wyniki ankiety dla sesji. Wykres zlicza liczbę razy, gdy użytkownicy wybrali kciuki w górę (dodatnie) lub kciuki w dół (ujemne) dostępne dla każdej odpowiedzi otrzymanej od agenta.

Gdy użytkownik zareaguje, może zostawić komentarz. Aby wyświetlić komentarze, wybierz pozycję Zobacz szczegóły. Aby wyfiltrować komentarze, w panelu Reakcje kliknij opcję Wszystko, Kciuk w górę lub Kciuk w dół.

Aby dla każdej reakcji wyświetlić skojarzone zapytanie użytkownika i odpowiedź agenta, wybierz przełącznik obok komentarza. Strona Analizy przechowuje zapytania użytkowników i odpowiedzi agenta przez maksymalnie 28 dni.

Opinie użytkowników są domyślnie włączone. W razie potrzeby można wyłączyć tę funkcję. Można również dodać lub edytować wyłączenie odpowiedzialności dotyczące sposobu korzystania z opinii użytkowników:

1. Otwórz agenta, a następnie przejdź do pozycji Ustawienia i znajdź sekcję Opinie użytkowników.

2. Włącz Pozwól użytkownikom na przekazywanie opinii podczas korzystania z tego agenta albo Włącz albo Wyłącz.

3. Dodaj lub edytuj wyłączenie odpowiedzialności, aby użytkownicy wiedzieli, jak są używane ich opinie. Można również podać informacje o ochronie prywatności i wskazówki.

Wyniki ankiety

Sekcja Wyniki ankiety pokazuje wykres i metryki, które śledzą średnie wyniki satysfakcji klienta (CSAT) dla sesji, w których klienci odpowiadają na prośbę o wypełnienie ankiety na koniec sesji.

Wybierz pozycję Zobacz szczegóły, aby zobaczyć, jak trendy oceny zadowolenia w skonfigurowanym okresie raportu.