Freigeben über


Analysieren von Benutzerfragen nach Thema (Vorschau)

[Dieser Artikel ist Teil der Dokumentation zur Vorabversion und kann geändert werden.]

Themen sind Gruppierungen von Fragen aus dem Pool der Benutzerfragen, die generative Antworten auslösen. Themen gruppieren verwandte Benutzerfragen in intelligent organisierte, aber weniger und leichter verwaltbare Gruppen. Mit Themen können Sie Einblicke auf Ebene der Kategorien zu Kundenabsichten erhalten, häufige Themen identifizieren und sich auf Bereiche konzentrieren, die Verbesserung erfordern. Sie können dann tiefer in die einzelnen Fragen zu einem Thema einsteigen und die Leistung auf dieser detaillierteren Ebene überwachen, um Metriken auf Themenebene besser zu verstehen.

Von Bedeutung

Dieser Artikel enthält die Vorschaudokumentation von Microsoft Copilot Studio und kann geändert werden.

Vorschaufeatures sind nicht für die Produktionsverwendung vorgesehen und verfügen möglicherweise über eingeschränkte Funktionen. Diese Features sind vor einer offiziellen Version verfügbar, damit Sie frühzeitig Zugriff erhalten und Feedback geben können.

Wenn Sie einen produktionsfähigen Agent erstellen, lesen Sie die Übersicht über Microsoft Copilot Studio.

Wichtigstes Wertversprechen

Das Feature "Designs" analysiert automatisch alle nicht klassifizierten Fragen, die generierte AI-Antworten in der letzten Woche ausgelöst haben, und schlägt Designs basierend auf dieser Analyse vor. Dieser Vorgang wird wöchentlich ausgeführt. Zwischen wöchentlichen Designvorschlagsläufen führt das Feature tägliche Klassifizierung aller neuen Fragen durch, die generative KI-Antworten auslösen und diese Daten zu den Designmetriken hinzufügen. Die Liste "Vorgeschlagene Designs " wird regelmäßig aktualisiert, damit Ihre Designs relevant bleiben und die neuesten Benutzerdaten widerspiegeln. Diese automatische Aktualisierung spart Ihnen Zeit, indem Sie:

  • Fortlaufende Bewertung der Themenrelevanz in Bezug auf neue Daten
  • Automatisches Klassifizieren einzelner Fragen in Themen
  • Automatisieren des Abrufs von Rohdaten von Metriken für jedes Thema
  • Berechnung von aggregierten Metrikdaten für jedes Thema

Voraussetzungen

Um den Wert des Features Thema zu optimieren, einschließlich der Möglichkeit, einen Drilldown zu den Fragen und Antworten der Komponenten der einzelnen Theme auszuführen:

Vorgeschlagene Themen und klassifizierte Fragen

Copilot Studio schlägt Designs basierend auf Datensätzen von Fragen vor, die in der letzten Vergangenheit gestellt wurden. Indem Sie jedes vorgeschlagene Thema an die Struktur Ihrer Organisation und Ihre Kundenerfahrungsstrategie anpassen, können Sie durch themenspezifische Key Performance Indicators (KPIs) einen besseren Einblick gewinnen. Diese tiefere Granularität erleichtert das Auffinden von Bereichen, in denen Agenten unterdurchschnittlich abschneiden.

Themen helfen Entwicklern zu verstehen, welche Fragen Benutzer dem Agenten stellen und wie der Agent funktioniert. Bei der ersten Ausführung der designbasierten Analyse untersucht Copilot Studio alle Fragen aus der letzten Woche und schlägt bis zu 10 Designs vor, die Benutzerfragen basierend auf Ähnlichkeiten miteinander gruppieren. Jedes Thema enthält Metriken wie die Gesamtzahl der Fragen, die Antwortrate und die Nutzerreaktion. Die in der Themenliste angezeigten Daten werden basierend auf einem ausgewählten Analysezeitraum angepasst.

Nach der ersten Ausführung klassifiziert Copilot Studio neue Fragen zu bestehenden Themen täglich fortlaufend und generiert wöchentlich eine neue Liste der vorgeschlagenen Themen.

Hinweis

  • Es müssen mindestens 50 Fragen mit generativen Antworten vorhanden sein, die in den letzten sieben Tagen protokolliert wurden, bevor Copilot Studio vorgeschlagene Designs generiert.
  • Es ist möglich, dass eine Frage, die eine generative KI-Antwort auslöst, in mehr als ein Thema eingeteilt wird. Dieses Szenario kann im Modus der generativen Orchestrierung häufiger auftreten, da eine Agentantwort aus mehreren verschiedenen Quellen stammen kann.
  • Alle Fragen, die nicht klassifiziert bleiben, werden in ein unklassifiziertes Design eingefügt.
  • Die wöchentliche Ausführung der Vorschläge kann einige Minuten dauern. Während dieser Zeit ist der Abschnitt "Designs " für die Verwendung nicht verfügbar.

Die Themenliste

Standardmäßig werden in der Liste "Themen" die fünf wichtigsten (5) Themen angezeigt, sortiert nach der Gesamtzahl der Fragen, die den einzelnen Themen zugeordnet sind. Wählen Sie Alle anzeigen aus, um die Liste zu erweitern und alle Designs anzuzeigen.

Mit automatischen wöchentlichen Themenvorschlägen und der täglichen Frageklassifizierung entwickelt sich die Themenfunktion automatisch weiter und passt sich an Änderungen des Benutzerverhaltens an.

Screenshot der Liste

In der Liste "Designs " werden Metriken für jedes aufgelistete Theme angezeigt.

Kolumne Description
Name Name des Themas.
Gesamtfragen Die Gesamtanzahl der Fragen, die in diesem Thema für den konfigurierten Zeitraum eingeteilt wurden.
Beantwortete Fragen Anteil der Gesamtfragen , die zu einer Antwort auf die Benutzerfrage geführt haben.
Reaktionen Unformatierte Anzahl positiver Reaktionen (Daumen nach oben) und negative Reaktionen (Daumen nach unten) aus den Fragen, die für jedes Thema klassifiziert wurden.

Hinweis

Warum gibt es "Nicht beantwortete Fragen" in meinem Thema, wenn alle klassifizierten Fragen generierte generative KI-Antworten ausgelöst haben?

Per Definition können nur Fragen, die eine generative KI-Antwort ausgelöst haben, in ein Thema eingeordnet werden. Das Auslösen eines Aufrufs an generative Antworten ist jedoch nicht identisch mit der Antwort auf eine Benutzerabfrage.

Es ist z. B. üblich, dass es ein Unterhaltungsförderungsthema gibt, das mit einer Wissensquelle verbunden ist. Wenn in diesem Fall keine Absicht erkannt wird, wird dieses Thema möglicherweise ausgelöst, das die Wissensquelle aufruft, obwohl in dieser Wissensquelle keine Antwort auf die Frage vorhanden ist.

Eingehende Untersuchung eines Themas

Um einen Drilldown zu den Fragen durchzuführen, die in einem bestimmten Thema gruppiert sind, wählen Sie das Thema in der Liste Themen aus. Wenn Sie einen Drilldown ausführen, öffnet sich ein speziell auf das ausgewählte Thema zugeschnittenes Panel, das Metriken auf den Ebenen des Themas und einzelner Fragen anzeigt.

Hinweis

Die Liste der Themen umfasst:

  • Bis zu den letzten 100 Fragen, die in jedes Thema unterteilt sind.
  • Fragen aus den letzten 30 Tagen, unabhängig vom konfigurierten Zeitraum. Wenn der konfigurierte Zeitraum vollständig außerhalb der letzten 30 Tage liegt, zeigt Copilot Studio eine Benachrichtigung an, dass die Liste nicht verfügbar ist.

Screenshot eines Design-Detailansichtspanels.

Im Drilldown-Bereich eines Themas werden Metriken auf Themenebene zuerst angezeigt.

Metrik auf Themenebene Description
Gesamtfragen Gesamtanzahl der Fragen, die in diesem Thema klassifiziert sind und generative KI-Antworten für den konfigurierten Zeitraum ausgelöst haben.
Beantwortete Fragen Anteil der Gesamtfragen dieses Themas, die zu einer Antwort auf die Benutzerfrage geführt haben.
Unbeantwortete Fragen Anteil der Gesamtfragen dieses Themas, die nicht zu einer Antwort auf die Benutzerfrage führten.
Reaktionen Rohanzahl positiver Reaktionen (Daumen nach oben) und negativer Reaktionen (Daumen nach unten) aus den Fragen, die in diesem Thema klassifiziert wurden, wie im Learn Feedback-Mechanismus aufgezeichnet.

Um eine Aufschlüsselung der Antwortqualität für eine Stichprobe der beantworteten Fragen und aller referenzierten Wissensquellen in diesem Thema anzuzeigen, wählen Sie Mehr anzeigen aus.

Screenshot eines gestapelten Balkendiagramms mit relativen Gewichtungen der Antwortqualität der stichprobenierten Fragen für ein Thema.

Um weitere Informationen zu einem beliebigen Wert der Antwortqualität auf der Ebene des Designs anzuzeigen, bewegen Sie den Mauszeiger unter Antwortqualität auf ein einzelnes Balkensegment. Die QuickInfo enthält den Wert der relativen Gewichtung dieses Segments und die Anzahl der Fragen, die zur Ermittlung dieses Wertes herangezogen wurden.

Screenshot der relativen Gewichtung der Antwortqualität für ein bestimmtes Thema, wobei der Tooltip für einen Qualitätswert angezeigt wird.

Um weitere Informationen auf der Ebene einer der aufgelisteten Wissensquellen anzuzeigen, wählen Sie unter Verwendung von Wissensquellen eine einzelne Wissensquelle aus. Der Tooltip enthält:

  • Die Gesamtzahl der Fragen in diesem Thema, die auf diese Wissensquelle verwiesen haben, sowie die Anzahl der Reaktionen mit Daumen hoch und Daumen runter .
  • Ein gestapeltes Balkendiagramm, das die Aufschlüsselung der relativen Gewichtung der Qualität der Antworten für Fragen zeigt, die sich auf diese Wissensquelle im Thema beziehen. Bewegen Sie den Mauszeiger über ein beliebiges Segment des Balkendiagramms, um den Wert der relativen Gewichtung dieses Segments und die Anzahl der Fragen anzuzeigen, die zur Ermittlung dieses Werts ausgewählt wurden.

Screenshot der relativen Gewichtung der Antwortqualität für eine bestimmte Wissensquelle innerhalb eines Themas, wobei der Tooltip für einen Qualitätswert angezeigt wird.

Im Drilldown-Bereich eines einzelnen Themas listet der Abschnitt Benutzerfragen alle Fragen auf, die im konfigurierten Zeitraum generative KI-Antworten ausgelöst haben und in dieses Thema klassifiziert wurden, und zeigt Metriken pro Frage an. Metriken auf Frageebene umfassen:

Dimension oder Metrik auf Frageebene Description
Frage (Dimension) Frage (die eine generative KI-Antwort ausgelöst hat), die diesem Thema zugeordnet wurde.
Beantwortet? Antwort auf die Frage, ob die Benutzerabfrage beantwortet wurde oder nicht. Mögliche Werte sind Answered und Unanswered.
Antwortqualität1 Antwort auf die Frage, welche Qualität der Antwort auf die Benutzerabfrage war. Mögliche Werte sind Poor und Good.
Reaktion Zwei Parameter, nämlich die boolesche Metrik Thumbs up / Thumbs down und ein textbasierter Kommentar-Parameter.
Wissensquelle Kommagetrennte Liste der Wissensquellen, auf die in diesem Thema in dieser Frage verwiesen wird.

1 Antwortqualität ist nicht immer verfügbar und wird nur angezeigt, wenn die Frage zur Qualitätsanalyse untersucht wurde.

Wählen Sie eine beliebige Frage in der Liste aus, um weitere Informationen zu der Frage in einem Fragedetailsbereich anzuzeigen. Dieses Panel umfasst:

Detaillierter Parameter auf Frageebene Description
Zeitstempel Zeitstempel des letzten Zeitpunkts, an dem die Frage beantwortet wurde.
Benutzerabfrage Die Frage gestellt.
Antwort Die generative KI-Antwort.
Daumen nach oben / Daumen nach unten Wert für die neueste Instanz dieser Frage für den Daumen hoch/Daumen runter-Parameter.
Kommentar Optionaler zusätzlicher textbasierter Kommentar, der vom Benutzer zusätzlich zur Reaktion "Daumen hoch/Daumen runter" bereitgestellt wird.
Antwortqualität1 Antwort auf die Frage, welche Qualität der Antwort auf die Benutzerabfrage war. Mögliche Werte sind Poor und Good.
Grund2 In dem Fall, in dem die Antwortqualität lautet Poor, erklärt dieser Parameter, warum.

1 Antwortqualität ist nicht immer verfügbar und wird nur angezeigt, wenn die Frage zur Qualitätsanalyse untersucht wurde.

2 Wenn die Antwortqualität ist Good oder wenn die Frage nicht stichprobeniert wurde, wird dem Parameter Reason kein Wert zugewiesen.

Screenshot von Details zu Metriken auf Frageebene innerhalb eines Themes.