Analysieren der Effektivität der dialogfähigen Agenten

Die Seite Analysen in Copilot Studio bietet einen aggregierten Einblick in die Gesamteffektivität Ihres Agenten in allen Analysesitzungen. Die Seite ist in Kernbereiche unterteilt, die sich auf verschiedene Leistungskontexte konzentrieren. Auf der Seite werden außerdem folgende Bereiche angezeigt: Übersicht, der allgemeine KPI-Metriken (Key Performance Indicator) für Ihren Agent bereitstellt, Einsparungen, der Zeit- und Kosteneinsparungen analysiert, die auf Ihren Agent oder die Tools Ihres Agents zurückzuführen sind, sowie Zusammenfassung, der wichtige analytische Einblicke in die Leistung Ihres Agents bietet.

Weitere Informationen:

• Informationen zu den Bereichen Zusammenfassung und Übersicht finden Sie unter Übersicht über die Analyse
• Informationen zum Bereich Einsparungen finden Sie unter Analysieren der Zeit- und Kosteneinsparungen für Agents.

Es gibt sechs Kernbereiche, auf die Sie sich bei der Überprüfung und Verbesserung der Effektivität von dialogfähigen Agents konzentrieren sollten:

• Designs: Designs helfen Ihnen, analytische Einblicke zu gewinnen, indem Sie Benutzerfragen in von der KI vorgeschlagene Kategorien gruppieren.
• Unterhaltungsergebnisse: Wenn Sie das Endergebnis einer Unterhaltung kennen, können Sie erkennen, wo Ihr Agent erfolgreich ist und wo er Verbesserungen benötigt.
• Agents: Anzeigen von Anrufvolumenmetriken, Erfolgsraten und aktueller Status für untergeordnete und verbundene Agents.
• Generierte Antwortrate und -qualität: Verstehen, wann Agent mit Antworten auf Benutzerfragen zu kämpfen hat und wie er Wissensquellen verwendet, können Ihnen helfen, Möglichkeiten zu finden, um die Antwortrate und Qualität Ihres Agent zu verbessern.
• Toolverwendung: Informationen dazu, wie oft Tools verwendet werden und wie oft sie erfolgreich sind, können Ihnen dabei helfen, zu verstehen, ob diese Tools für Benutzer nützlich sind.
• Zufriedenheit: Wenn Sie Benutzerfeedback überprüfen, hilft Ihnen das dabei, neue Benutzerszenarien und -probleme zu identifizieren und Verbesserungen basierend auf dem Feedback Ihrer Benutzer direkt zu verbessern.

Sie können Analysen für Ereignisse anzeigen, die in den letzten 90 Tagen aufgetreten sind.

Unterhaltungsergebnisse

Der Abschnitt Unterhaltungsergebnisse zeigt ein Diagramm, das den Typ des Ergebnisses für jede Sitzung zwischen Ihrem Agent und den Benutzern nachverfolgt.

Das Diagramm, unabhängig davon, ob es sich um ein gestapeltes Histogramm oder ein gestapeltes Flächendiagramm handelt, visualisiert die relativen Ergebnisse farbcodiert und gestapelt nach Typ. Behoben, Eskaliert, Abgebrochen und Nicht aktiviert werden für jeden Datenpunkt in ihrer jeweiligen Farbe dargestellt. Die Y-Achse gibt die Anzahl der Sitzungen an.

Um Metriken zu einzelnen Ergebnissen anzuzeigen, die spezifisch für einen Datenpunkt (bestimmter Tag) sind, bewegen Sie den Mauszeiger über einen Bereich, der die Farbe eines interessanten Ergebnisses (z. B. blaugrün für „Abgebrochen“) für den Tag darstellt, an dem Sie interessiert sind. In dem Beispiel gab es am 24. November 90 abgebrochene Sitzungen, die 35,6 % aller Sitzungsergebnisse darstellen.

Bewegen Sie in der Legende unterhalb des Diagramms den Mauszeiger über eine der Ergebnisbeschriftungen, um dieses Ergebnis im Diagramm hervorzuheben.

Markieren Sie eine oder mehrere Legendenbeschriftungen, um Ergebnisse im gestapelten Flächendiagramm anzuzeigen. Durch Aufheben der Markierung werden sie ausgeblendet. Gehen Sie so vor, um den Ergebnissen mehr Klarheit zu verleihen, wenn:

• einzelne Ergebnislinien visuell nah beieinander angezeigt werden.
• Sie deutlicher sehen möchten, wann Trendlinien positiv oder negativ verlaufen, die Gesamtheit der gestapelten Ergebnisse im Diagramm diese Trendlinien jedoch glätten.

Im folgenden Beispiel wurden die Beschriftungen Eskaliert und Nicht aktiviert aus dem Diagramm entfernt. Die QuickInfo zeigt, dass am 23. November 95 abgebrochene Sitzungen aufgetreten sind, was 60,5 % der verbleibenden sichtbaren Ergebnisse im Diagramm entspricht (Summe der Ergebnisse Behoben + Abgebrochen).

Um Unterhaltungsergebnisdaten herunterzuladen (Daten im Diagramm visualisiert), wählen Sie das Menüsymbol und dann CSV herunterladen aus.

Wenn Sie einen Seitenbereich mit detaillierten Informationen zu Unterhaltungsergebnissen öffnen möchten, wählen Sie im Diagramm die Option Details anzeigen aus. Der Seitenbereich Unterhaltungsergebnisse umfasst:

• Eine Aufschlüsselung in Form eines Kreisdiagramms der Sitzungsergebnisse mit relativer Gewichtung (ausgedrückt in Prozent) der Ergebnisse Behoben, Eskaliert und Abgebrochen.
• Ein gestapeltes Balkendiagramm mit der relativen Gewichtung (ausgedrückt in Prozent) der Ergebnisgründe Abgeschlossen (bestätigt) und Abgeschlossen (angenommen), die alle behobenen Sitzungsergebnisse beschreiben.
• Ein gestapeltes Balkendiagramm, das die relative Gewichtung (ausgedrückt in Prozent) der Ergebnisgründe System beabsichtigt, System unbeabsichtigt und Vom Benutzer angefordert zeigt, die alle eskalierten Sitzungsergebnisse beschreiben.
• Die wichtigsten Themen, die zu jedem Ergebnis geführt haben.

Eine Sitzung fällt in einen der folgenden zwei Zustände:

• Nicht aktiviert: Eine Sitzung beginnt, wenn ein Benutzender mit Ihrem Agenten interagiert oder wenn der Agent eine proaktive Nachricht an den Benutzenden sendet. Die Sitzung beginnt in einem nicht aktiven Zustand.

• Aktiv: Der Benutzer interagiert aktiv mit dem Agent. Es gibt einen Unterschied im Verhalten basierend auf dem Orchestrierungsmodus des Agents.

  • Klassische Orchestrierung: Eine Sitzung wird aktiv, wenn eines der folgenden Themen ausgelöst wird:

    • Benutzerdefiniertes Thema, das direkt vom Benutzer ausgelöst wird
    • Eskalations-Thema
    • Fallbackthema
    • Thema Conversational Boosting

  • Generative KI-Orchestrierung: Eine Sitzung wird aktiv, wenn ein Benutzer einen Plan direkt auslöst und eines der folgenden Elemente enthält:

    • Nicht-Systemthema
    • Eskalations-Thema
    • Fallbackthema
    • Eine Wissensquelle
    • Ein Tool

Eine beteiligte Sitzung hat eines der folgenden Ergebnisse:

Sie können das Ergebnis auch für Tools mit dem conversationOutcome-Parameter mithilfe des Toolcode-Editors festlegen. Zum Beispiel conversationOutcome: ResolvedConfirmed für bestätigten Erfolg oder conversationOutcome: ResolvedImplied für angedeuteten Erfolg.

In der Anleitungsdokumentation Messen des Copilot-Engagements finden Sie Vorschläge und Best Practices zum Messen und Verbessern des Engagements.

Agent

Die Agents-Liste zeigt allgemeine Volumen-, Leistungs- und Statusmetriken für verbundene und untergeordnete Agents Ihres Haupt-Agents an. Die Liste gibt den Beziehungstyp an, den der aufgelistete Agent für Ihren Haupt-Agent in der Spalte Typ hat. Wenn ein Agent ein untergeordneter Agent ist, lautet sein Typ Child. Verbundene Agents verfügen über einen aufgelisteten Typ, der angibt, wo sie erstellt wurden (z. B. Copilot Studio, Azure AI Foundry). Die Metrik Anrufe für jeden aufgelisteten Agent beschreibt das Volumen von Anrufen vom Haupt-Agent an den verbundenen oder untergeordneten Agent. Die Erfolgsquote gibt den Anteil der Anrufe (als % aller Anrufe) an, die erfolgreich abgeschlossen wurden. Status gibt den einzelnen Administrationsstatus für jeden verbundenen und untergeordneten Agent an.

Standardmäßig werden in der Liste Agents die fünf (5) wichtigsten verbundenen und untergeordneten Agents Ihres Haupt-Agents angezeigt, sortiert von der höchsten bis zur niedrigsten Gesamtzahl an Fragen. Wenn mehr als fünf Agents vorhanden sind, wählen Sie Alle anzeigen aus, um alle Agents anzuzeigen.

Rate und Qualität der generierten Antworten (Vorschauversion)

Mit generativen Antworten kann Ihr Agent KI verwenden, um Antworten auf Benutzerabfragen mithilfe von Wissensquellen und den von Ihnen bereitgestellten Anweisungen zu generieren. Ihr Agent kann jedoch möglicherweise nicht alle Benutzerabfragen beantworten. Der Abschnitt Generierte Antwortrate und Qualität verfolgt, organisiert und analysiert unbeantwortete Abfragen und Antwortqualität, um Ihnen Anleitungen zur Verbesserung der Antwortleistung Ihres Agent zu geben.

Die Antwortrate zeigt die Anzahl der beantworteten und nicht beantworteten Fragen innerhalb des ausgewählten Zeitraums und die prozentuale Änderung im Laufe der Zeit an.

Antwortqualität misst die Qualität der Antworten mithilfe von KI. Copilot Studio untersucht einen Beispielsatz von beantworteten Fragen und analysiert unterschiedliche Qualität, einschließlich Vollständigkeit, Relevanz und Ebene der Fundiertheit einer Antwort. Wenn die Antwort einen festgelegten Standard erfüllt, bezeichnet Copilot Studio die Antwort als gute Qualität. Copilot Studio beschriftet Antworten, die diesen Standard nicht erfüllen, als schlechte Qualität. Bei schlechten Antworten weist Copilot Studio einen Grund für die Qualitätsbewertung zu und zeigt den Prozentsatz der Antworten an, die jeder Kategorie zugewiesen wurden.

Bewegen Sie den Mauszeiger über ein beliebiges Segment eines Balkens im Diagramm, um die relative Gewichtung eines einzelnen Grunds für die Qualitätsbezeichnung Gut oder Schlecht anzuzeigen. Die QuickInfo gibt auch die Anzahl der Antworten an, die beim berechneten Prozentwert erfasst werden sollen.

Bewegen Sie in der Legende unterhalb des Diagramms den Mauszeiger über eine der Qualitätsbezeichnungsgründe, um diesen Grund im Diagramm hervorzuheben.

Sie können Microsoft Feedback zu diesem Abschnitt über die Symbole Daumen nach oben und Daumen nach unten geben. Verwenden Sie den Bereich Feedback an Microsoft senden, um einen Kommentar hinzuzufügen und verwandte Dateien zu teilen. Durch beschreibendes Feedback wie dieses können wir zusammen daran arbeiten, unser Produkt kontinuierlich zu verbessern.

1. Beschreiben Sie im Bereich Feedback an Microsoft senden in natürlicher Sprache Ihre Vorlieben oder Abneigungen, je nachdem, welches Symbol Sie zum Öffnen des Bereichs ausgewählt haben.
2. Wählen Sie aus, ob der Prompt, die generierte Antwort, relevante Inhaltsbeispiele und zusätzliche Protokolldateien freigegeben werden sollen.
3. Wählen Sie Übermitteln aus.

Wählen Sie Details anzeigen aus, um einen Seitenbereich mit Frage-/Antwortquoten, Wissensquellennutzung und Fehlerquoten im ausgewählten Zeitraum zu öffnen. Anhand dieser Diagramme können Sie ermitteln, welche Wissensquellen gut geeignet sind, um Benutzern zu helfen, und welche für Verbesserungen in Betracht gezogen werden sollten.

Wenn Ihr Agent über untergeordnete Agents verfügt, wählen Sie im Seitenbereich Alle aus, um Metriken für den Haupt-Agent und die untergeordneten Agents anzuzeigen, Haupt-Agent für Metriken nur für den Haupt-Agent oder Untergeordneter Agent für Metriken nur für untergeordnete Agents.

• Nicht beantwortete Fragen zeigt die Gründe an, warum der Agent eine Benutzerabfrage nicht beantwortet hat.
• Wissensquellenverwendung zeigt den Prozentsatz der Sitzungen an, in denen die einzelnen Wissensquellen verwendet werden, auf die der Agent Zugriff hat.
• Alle Quellen zeigt den Prozentsatz der Fragen an, die jede Wissensquelle verwendet haben.
• Fehler zeigt den Prozentsatz der Abfragen an, die zu einem wissensbezogenen Fehler für jeden Wissensquellentyp (z. B. SharePoint) geführt haben.

Wenn Sie unter Alle Quellen weitere Informationen auf der Ebene einer der aufgelisteten Wissensquellen anzeigen möchten, wählen Sie eine einzelne Quelle aus. Die QuickInfo enthält folgende Elemente:

• Die Gesamtzahl der Fragen, die auf diese Wissensquelle verwiesen haben, sowie die Anzahl der Reaktionen mit Daumen nach oben und Daumen nach unten.
• Ein gestapeltes Balkendiagramm mit der Aufschlüsselung der Qualität der relativen Antwortgewichtungen für Fragen, die auf diese Wissensquelle verweisen. Bewegen Sie den Mauszeiger über ein Segment im Balkendiagramm, um den Wert der relativen Gewichtung dieses Segments und die Anzahl der Fragen anzuzeigen, die zur Ermittlung dieses Wertes herangezogen wurden.

Toolverwendung

Der Abschnitt Toolnutzung zeigt ein Diagramm und Metriken an, mit denen nachverfolgt wird, wie oft Ihre Tools im Laufe der Zeit gestartet werden und wie oft Ihr Agent diese Tools erfolgreich verwendet hat. Außerdem werden Trendindikatoren für die Häufigkeit der Verwendung der einzelnen Tools durch den Agent und der Prozentsatz der aufgerufenen Tools angezeigt, die erfolgreich verwendet werden.

Die Grafik zeigt die fünf meistgenutzten Tools im oben auf der Seite Analysen definierten Zeitraum an.

Bewegen Sie in der Legende unterhalb des Diagramms den Mauszeiger über eines der Tools, um dieses Tool im Diagramm hervorzuheben.

Wenn Sie einen Seitenbereich mit einer Liste aller Tools öffnen möchten, die in dem angegebenen Zeitraum verwendet wurden, zusammen mit Trendindikatoren, wählen Sie im Diagramm Details anzeigen aus. Im Bereich Toolnutzung können Sie Berechnungen des Prozentsatzes der für jedes Tool verwendeten Fragen anzeigen. Wenn Ihr Agent über untergeordnete Agents verfügt, können Sie festlegen, dass Berechnungen sowohl für den Haupt-Agent als auch für untergeordnete Agents angezeigt werden sollen (Alle) oder nur für den Haupt-Agent oder nur für den Untergeordneten Agent.

Zufriedenheit

Im Abschnitt Zufriedenheit wird Benutzerfeedback angezeigt, die von Reaktionen auf Agent-Antworten und Umfrageergebnissen für eine Sitzung erfasst wurden. Die Zufriedenheit wird in zwei kleinere Abschnitte unterteilt: ein Abschnitt Reaktionen, der Daumen nach oben anzeigt, Daumen nach unten für bestimmte Agent-Antworten und einen Abschnitt Umfrageergebnisse, in dem die Bewertung der Kundenzufriedenheit (Customer Satisfaction, CSAT) für die gesamte Sitzung angezeigt wird.

Feedbackdaten werden in der Unterhaltungstranskript-Tabelle in Dataverse gespeichert. Eine Liste der Kanäle, die diese Funktion unterstützen, finden Sie unter Details zu der Funktion.

Reaktionen

Im Abschnitt Reaktionen werden Benutzerfeedback angezeigt, die von Reaktionen auf Agent-Antworten und Umfrageergebnissen für eine Sitzung gesammelt wurden. Das Diagramm zählt, wie oft Benutzer entweder die Schaltfläche Daumen nach oben (positiv) oder die Daumen nach unten (negativ) ausgewählt haben, die für jede Antwort verfügbar sind, die sie von Ihrem Agent erhalten haben.

Nachdem ein Benutzer eine Reaktion bereitgestellt hat, kann er einen Kommentar hinterlassen. Um Kommentare anzuzeigen, wählen Sie Details anzeigen aus. Wählen Sie im Bereich Reaktionen die Option Alle, Daumen nach oben oder Daumen nach unten aus, um Kommentare zu filtern.

Wählen Sie für jede Reaktion den Umschalter neben dem Kommentar aus, um die zugehörige Benutzerabfrage und Agent-Antwort anzuzeigen. Auf der Seite Analysen werden Benutzerabfragen und Agent-Antworten für bis zu 28 Tage gespeichert.

Benutzerfeedback ist standardmäßig aktiviert . Sie können dieses Feature bei Bedarf deaktivieren. Sie können auch einen Haftungsausschluss für Benutzer hinzufügen oder bearbeiten, in dem dargelegt ist, wie ihr Feedback verwendet wird:

1. Öffnen Sie den Agent, gehen Sie zu Einstellungen und suchen Sie den Abschnitt Benutzer-Feedback.

2. Lassen Sie Benutzer Feedback geben, wenn Sie diesen Agent verwenden, entweder Ein oder Aus.

3. Fügen Sie einen Haftungsausschluss hinzu (oder bearbeiten Sie einen vorhandenen Haftungsausschluss), damit Benutzer wissen, wie ihr Feedback verwendet wird. Sie können auch Datenschutzinformationen und Tipps bereitstellen.

Umfrageergebnisse

Der Abschnitt Umfrageergebnisse zeigt die grafische Ansicht des Durchschnitts der Kundenzufriedenheitsergebnisse (CSAT) für Sitzungen, in denen Kunden auf eine Anfrage zum Ende der Sitzung antworten, um an der Umfrage teilzunehmen.

Wählen Sie Details anzeigen aus, um zu sehen, wie die Zufriedenheitsbewertungstrends im konfigurierten Zeitraum des Berichts liegen.