Erstellen Sie Testsätze für Auswertungen

[Dieser Artikel ist Teil der Dokumentation zur Vorabversion und kann geändert werden.]

In Copilot Studio können Sie eine Testreihe von Testfällen erstellen, um die Leistung Ihrer Agenten zu bewerten. Mithilfe von Testfällen können Sie reale Szenarien für Ihren Agenten simulieren, sodass Sie die Genauigkeit, Relevanz und Qualität der Antworten auf die Fragen messen können, die der Agent basierend auf den zugänglichen Informationen erhält. Mit den Ergebnissen aus dem Testset können Sie das Verhalten Ihres Maklers optimieren und bestätigen, dass Ihr Makler Ihre Geschäfts- und Qualitätsanforderungen erfüllt.

Bewertungen funktionieren, indem sie Ihrem Agenten Nachrichten senden, die Antworten aufzeichnen und diese mit erwarteten Antworten oder einem Qualitätsstandard vergleichen. Mehr Nachrichten, die als Testfälle verwendet werden, können Ihnen einen besseren Eindruck davon geben, wie Ihr Agent verschiedene Anwendungsfälle handhabt.

Sie können Testfälle manuell erstellen, sie mit einer Tabelle importieren oder KI nutzen, um Nachrichten basierend auf dem Design und dem Wissen Ihres Agenten zu generieren. Sie können dann wählen, wie Sie die Qualität der Antworten Ihres Agenten für jeden Testfall innerhalb eines Testsets messen möchten. Weitere Informationen zur Erstellung von Testfällen finden Sie unter Erstellen eines Testsets.

Erstellen eines neuen Testsatzes

1. Gehe auf die Bewertungsseite deines Agenten .

2. Wählen Sie Neues Testset.

   

3. Wählen Sie auf der Seite Neuer Testsatz die Methode aus, mit der Sie Ihren Testsatz erstellen möchten:

   • Kurze Fragestellung , damit Copilot Studio automatisch Testfälle basierend auf der Beschreibung, den Anweisungen und den Fähigkeiten deines Agenten erstellt. Diese Option generiert 10 Fragen für kleine, schnelle Bewertungen oder zum Aufbau eines größeren Testsets.
   • Vollständige Fragestellung, damit Copilot Studio Testfälle mit den Wissensquellen oder Themen deines Agenten generiert.
   • Nutzen Sie Ihre Testchat-Konstruktation , um das Testset automatisch mit den Fragen zu füllen, die Sie im Testchat gestellt haben. Diese Methode verwendet Fragen aus dem neuesten Testchat. Sie können auch eine Bewertung im Testchat starten, indem Sie den Bewerten-Button verwenden.
   • Importiere Testfälle aus einer Datei , indem du deine Datei in den vorgesehenen Bereich ziehst, Browsen auswählst, um eine Datei hochzuladen, oder eine der anderen Upload-Optionen auswählst.
   • Oder schreibe selbst ein paar Fragen , um manuell ein Testset zu erstellen. Befolgen Sie die Schritte, um ein Testset zu bearbeiten , um Testfälle hinzuzufügen und zu bearbeiten.

4. Bearbeite die Details der Testfälle. Alle Testfälle, die Methoden außer der allgemeinen Qualität verwenden, erfordern erwartete Antworten. Weitere Informationen zum Bearbeiten finden Sie unter Modifizieren eines Testsets.

5. Geben Sie unter Name einen Namen für den Testsatz ein.

6. Wählen Sie Benutzerprofil aus, dann wählen oder fügen Sie das Konto hinzu, das Sie für diese Testgruppe verwenden möchten, oder fahren Sie ohne Authentifizierung fort. Die Bewertung nutzt dieses Konto, um während des Tests mit Wissensquellen und Werkzeugen zu verbinden. Informationen zum Hinzufügen und Verwalten von Benutzerprofilen finden Sie unter Benutzerprofile und Verbindungen verwalten.

1. Wählen Sie Speichern , um das Testset zu aktualisieren, ohne die Testfälle auszuführen, oder Evaluieren , um das Testset sofort auszuführen.

Einschränkung der Testfallgenerierung

Wenn Sie eine Gruppe von Testfällen erstellen, kann die Erstellung scheitern, weil eine oder mehrere Fragen gegen die Inhaltsmoderationseinstellungen Ihres Agenten verstoßen. Gründe sind folgende:

• Die Anweisungen oder Themen des Agenten führen dazu, dass das Modell Inhalte generiert, die markiert werden
• Die verbundene Wissensquelle enthält sensible oder eingeschränkte Inhalte
• Die Inhaltsmoderationseinstellungen des Agenten sind übermäßig streng

Sie müssen möglicherweise verschiedene Maßnahmen ausprobieren, um das Problem zu lösen, wie zum Beispiel Wissensquellen anzupassen, Anweisungen zu aktualisieren oder Moderationseinstellungen zu ändern.

Erstellen Sie ein Testset aus Wissen oder Themen

Sie können Ihren Makler testen, indem Sie Fragen mit den Informationen und Gesprächsquellen erstellen, die Ihr Makler bereits hat. Diese Testmethode eignet sich gut, um zu testen, wie dein Agent das bereits vorhandene Wissen und die Themen nutzt, aber nicht, um Informationslücken zu überprüfen.

Sie können Testfälle mit diesen Wissensquellen erstellen:

• Text
• Microsoft Word
• Microsoft Excel

Man kann Dateigrößen bis zu 293 KB verwenden, um Testfragen zu erstellen.

Um einen Testsatz zu erzeugen:

1. Auf der Seite "Neuer Testsatz" wählen Sie vollständige Fragestellung.

2. Wählen Sie entweder Wissen oder Themen.

   • Wissen funktioniert am besten für Agenten, die generative Orchestrierung verwenden. Diese Methode erstellt Fragen, indem sie eine Auswahl der Wissensquellen Ihres Agenten verwendet.
   • Topics funktioniert am besten für Agenten, die klassische Orchestrierung verwenden. Diese Methode erstellt Fragen, indem man die Themen Ihres Agenten verwendet.

3. Für Wissen wählen Sie die Wissensquellen aus, die Sie in die Fragestellung einbeziehen möchten.

1. Für Wissen und Themen wählen und ziehen Sie den Schieberegler, um die Anzahl der zu generierenden Fragen zu bestimmen.

1. Wählen Sie Generieren aus.

2. Bearbeite die Details der Testfälle. Alle Testfälle, die Methoden außer der allgemeinen Qualität verwenden, erfordern erwartete Antworten. Weitere Informationen zum Bearbeiten finden Sie unter Modifizieren eines Testsets.

3. Wählen Sie das Profil verwalten , um das Konto auszuwählen oder zu verknüpfen, das Sie für dieses Testset verwenden möchten. Du kannst auch weitermachen, ohne ein Konto zur Authentifizierung hinzuzufügen.

1. Wählen Sie Speichern , um das Testset zu aktualisieren, ohne die Testfälle auszuführen, oder Evaluieren , um das Testset sofort auszuführen.

Erstellen Sie eine Testsatzdatei zum Importieren

Anstatt Ihre Testfälle direkt in Copilot Studio zu erstellen, können Sie eine Tabellenkalkulationsdatei mit allen Ihren Testfällen erstellen und importieren, um Ihren Testsatz zu erstellen. Sie können jede Testfrage verfassen, die zu verwendende Testmethode bestimmen und die erwarteten Antworten für jede Frage angeben. Wenn Sie die Erstellung der Datei abgeschlossen haben, speichern Sie sie als .csv oder .txt Datei, und importieren Sie sie in Copilot Studio.

Zum Erstellen der Importdatei:

1. Öffnen Sie eine Tabellenkalkulationsanwendung (z. B. Microsoft Excel).

2. Fügen Sie die folgenden Überschriften in dieser Reihenfolge in der ersten Zeile hinzu:

   • Frage
   • Erwartete Antwort
   • Testmethode

3. Geben Sie Ihre Testfragen in der Spalte Frage ein. Jede Frage kann maximal 1.000 Zeichen lang sein, einschließlich Leerzeichen.

4. Geben Sie eine der folgenden Testmethoden für jede Frage in der Spalte Testmethode ein:

   • Allgemeine Qualität
   • Bedeutung vergleichen
   • Ähnlichkeit
   • Genaue Übereinstimmung
   • Teilweise Übereinstimmung

5. Geben Sie die erwarteten Antworten für jede Frage in der Spalte Erwartete Antwort ein. Erwartete Antworten sind optional zum Importieren eines Testsatzes. Sie benötigen jedoch erwartete Antworten, um Übereinstimmungen, Ähnlichkeiten und Vergleich von Bedeutungstestfällen auszuführen.

6. Speichern Sie die Datei als CSV- oder TXT-Datei.

7. Importiere die Datei, indem du den Schritten in Create a new test set folgst.