Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Diese häufig gestellten Fragen (FAQ) beschreiben die KI-Auswirkungen von Analyseunterstützungsfunktionen in Copilot Studio.
Wie wird generative KI für Analysen verwendet?
Copilot Studio nutzt KI, um die Qualität der generativen Antworten zu messen und Cluster zu erstellen. Diese werden verwendet, um Einblicke in die Agent-Leistung zu liefern.
Generative Antworten verwenden Wissensquellen Ihrer Wahl, um eine Antwort zu generieren. Die Funktion sammelt auch Feedback, das Sie bereitstellen. Analysen verwenden große Sprachmodelle (Large Language Models, LLMs), um die Chatnachrichten zwischen Benutzern und Agents in Ebenen zu klassifizieren, die die Qualität der generativen Antworten angeben. Copilot Studio kompiliert diese Indikatoren, um den Erstellenden eine Zusammenfassung der Gesamtleistung eines Agents zu geben.
Bei der Gruppierung (Clustering) kommen LLMs zum Einsatz, um die Nachrichten von Benutzern basierend auf freigegebenen Themen in Gruppen zu sortieren und jeder Gruppe einen beschreibenden Namen bereitzustellen. Copilot Studio verwendet die Namen dieser Cluster, um verschiedene Arten von Erkenntnissen bereitzustellen, die Sie verwenden können, um Ihren Agent zu verbessern.
Qualität der Antworten für generative Antworten
Was ist der beabsichtigte Verwendungszweck der Qualität der Antwort?
Erstellende nutzen die Analysen zur Antwortqualität, um Einblicke in die Nutzung und Leistung von Agents zu erhalten und dann Aktionen zur Verbesserung des Agents zu erstellen. Derzeit können Analysen verwendet werden, um nachzuvollziehen, ob die Qualität der generativen Antworten eines Agents den Erwartungen der Erstellenden entspricht.
Neben der allgemeinen Qualität identifiziert die Analyse der Antwortqualität Bereiche, in denen ein Agent schlecht abschneidet oder in denen er die beabsichtigten Ziele der Erstellenden nicht erfüllt. Auf dieser Grundlage kann der Erstellende Bereiche definieren, in denen generative Antworten schlecht ausgeführt werden und Maßnahmen zur Verbesserung ihrer Qualität ergreifen.
Darüber hinaus gibt es bei der Identifizierung schlechter Leistung bewährte Methoden, mit denen die Qualität verbessert werden kann. Beispielsweise können Erstellende nach der Identifizierung von Wissensquellen mit schlechter Leistung die Wissensquelle bearbeiten oder die Wissensquelle in mehrere, fokussiertere Quellen für eine höhere Qualität aufteilen.
Welche Daten werden verwendet, um Analysen der Antwortqualität zu erstellen?
Die Analyse der Antwortqualität wird anhand einer Stichprobe von generativen Antworten berechnet. Sie benötigt die Benutzerabfrage, die Agent-Antwort und die relevanten Wissensquellen, die das generative Modell für die generative Antwort verwendet.
Die Analyse der Antwortqualität verwendet diese Informationen, um zu bewerten, ob die Qualität der generativen Antwort gut ist, und wenn dies nicht der Fall ist, warum die Qualität schlecht ist. Beispielsweise kann die Qualität der Antwort auf unvollständige, irrelevante oder nicht vollständig fundierte Antworten hinweisen.
Welche Einschränkungen gelten für die Analyse der Antwortqualität und wie können Benutzer die Auswirkungen der Einschränkungen minimieren?
Die Analyse der Antwortqualität wird nicht unter Verwendung aller generativen Antworten berechnet. Stattdessen bewertet die Analyse eine Stichprobe von Benutzer-Agent-Sitzungen. Für Agents unter einer Mindestanzahl von erfolgreichen generativen Antworten ist keine Zusammenfassung einer Analyse der Antwortqualität möglich.
Es gibt Fälle, in denen Analysen eine einzelne Antwort nicht genau bewerten. Auf aggregierter Ebene sollte sie jedoch für die meisten Fälle genau sein.
Die Analyse der Antwortqualität bietet keine Aufschlüsselung der spezifischen Abfragen, die zu einer niedrigen Qualität geführt haben. Sie bieten auch keine Aufschlüsselung allgemeiner Wissensquellen oder Themen, die bei Antworten mit niedriger Qualität verwendet wurden.
Analysen werden nicht für Antworten berechnet, die generatives Wissen verwenden.
Ein Teil der Metrikqualität der Antwortanalysebewertungen ist die Vollständigkeit der Antwort. Hierbei wird ausgewertet, bis zu welchem Grad die Antwort im Zusammenhang mit dem abgerufenen Dokument abgeschlossen ist.
Wenn ein relevantes Dokument, das zusätzliche Informationen zu der gegebenen Frage enthält, nicht abgerufen wird, wird die Vollständigkeitsmetrik nicht gemäß diesem Dokument ausgewertet.
Welche Schutzmaßnahmen gibt es in Copilot Studio für verantwortungsvolle KI?
Benutzer von Agents sehen keine Analyseergebnisse; diese sind nur für Agent-Erstellende und -Administrierende verfügbar.
Erstellende und Administrierende können Analysen der Antwortqualität nur verwenden, um den Prozentsatz der Antworten guter Qualität und alle vordefinierten Gründe für schlechte Leistung anzuzeigen. Erstellende können nur den Prozentsatz der Antworten guter Qualität und die vordefinierten Gründe einsehen.
Wir haben Analysen der Antwortqualität während der Entwicklung gründlich getestet, um eine gute Leistung sicherzustellen. In seltenen Fällen können die Bewertungen der Antwortqualität jedoch ungenau sein.
Designs von Benutzerfragen
Was ist der beabsichtigte Verwendungszweck von Designs?
Diese Funktion analysiert automatisch große Mengen von Benutzerabfragen und gruppiert sie in allgemeinen Themen, die als Designs bezeichnet werden. Jedes Design stellt ein einzelnes allgemeines Thema dar, zu denen Benutzer Fragen gestellt haben. Designs stellen eine unbeaufsichtigte, datengesteuerte Ansicht von Benutzerinhalten bereit. Diese Ansicht hilft Teams zu verstehen, was Benutzer am meisten interessiert, ohne den manuellen Schritt der Überprüfung von Tausenden von Abfragen ausführen zu müssen.
Welche Daten werden zum Erstellen von Clustern verwendet?
Die Funktion „Designs“ verwendet Benutzerabfragen, die generative Antworten auslösen. Designs analysieren alle Abfragen aus den letzten sieben Tagen, um neue vorgeschlagene Designs zu generieren.
Designs verwenden semantische Ähnlichkeit mit Gruppenabfragen. Anschließend wird ein Sprachmodell verwendet, um den Titel und die Beschreibung für jeden Cluster zu generieren. Feedback von Erstellenden (z. B. Daumen nach oben/unten) wird ebenfalls erfasst, um die Qualität der Gruppierung (Clustering) zu verbessern.
Was sind die Einschränkungen der Gruppierung für Designs, und wie können Benutzer diese Einschränkungen minimieren?
Das erfolgreiche Gruppieren in Designs hängt vom Abfragevolume ab. Wenn nicht genügend Abfragen vorhanden sind oder die Abfragen zu wenig miteinander verknüpft sind, gruppiert Copilot Studio möglicherweise Abfragen in Designs, die übermäßig breit oder eng gefasst sind.
Designs können gelegentlich ähnliche Themen aufteilen oder nicht verwandte Themen zusammenführen.
Sprachverschiebungen in Abfragen wirkt sich möglicherweise im Laufe der Zeit auf die Konsistenz von Clustern aus.
Erstellende können Designs regelmäßig überprüfen und Feedback geben, um die Benennungsqualität zu verbessern.
Welche Schutzmaßnahmen für Designs gibt es in Copilot Studio im Hinblick auf verantwortungsvolle KI?
Designs sind nur für Erstellende und Administrierende sichtbar. Beim Generieren von Namen und Beschreibungen wird die Inhaltsmoderation angewendet, um das Risiko schädlicher oder unangemessener Ausgaben zu verringern.