Freigeben über


Bearbeiten Sie einen Testsatz

[Dieser Artikel ist Teil der Dokumentation zur Vorabversion und kann geändert werden.]

Während oder nach der Erstellung eines Testsets können Sie die Testfälle bearbeiten, indem Sie die Formulierung der Fragen ändern, verschiedene Testmethoden wählen oder die erwarteten Antworten bei Bedarf anpassen. Sie können mehrere Testfälle auswählen, um sie in Massen zu bearbeiten, indem Sie die Kontrollkästchen neben jedem Testfall aktivieren.

Sie haben die Wahl zwischen drei Testmethoden, die auch als Bewerter bezeichnet werden, um Antworten des Agent auszuwerten: Qualität, Ähnlichkeit, Textabgleich. Weitere Informationen zu den verschiedenen Testmethoden finden Sie unter Testmethoden.

Von Bedeutung

Dieser Artikel enthält die Vorschaudokumentation von Microsoft Copilot Studio und kann geändert werden.

Vorschaufeatures sind nicht für die Produktionsverwendung vorgesehen und verfügen möglicherweise über eingeschränkte Funktionen. Diese Features sind vor einer offiziellen Version verfügbar, damit Sie frühzeitig Zugriff erhalten und Feedback geben können.

Wenn Sie einen produktionsfähigen Agent erstellen, lesen Sie die Übersicht über Microsoft Copilot Studio.

Bearbeiten Sie die Details eines Testsets

Du kannst die grundlegenden Details eines Testsatzes und das verwendete Konto für die Authentifizierung ändern.

  1. Wählen Sie auf der Bewertungsseite Ihres Agenten das Testset aus.

  2. Wählen Sie im Testsatz den Testfall aus, den Sie bearbeiten möchten.

  3. Optional kann der Name des Testsets geändert werden.

  4. Wählen Sie Profil verwalten , um ein Konto hinzuzufügen, oder wählen Sie das aktuelle Profil, um Verbindungen zu verwalten, oder wählen Sie ein anderes Profil. Automatisiertes Testen verwendet die Authentifizierung des ausgewählten Testkontos. Wenn Ihr Agent Wissensquellen oder Tools hat, die eine spezifische Authentifizierung erfordern, können Sie das passende Konto für Ihre Tests auswählen.

Hinweis

Wenn Copilot Studio Testfälle erstellt oder eine Bewertung durchführt, verwendet es die Authentifizierungsdaten eines verbundenen Kontos, um auf die Wissensquellen und Tools Ihres Agenten zuzugreifen. Die generierten Testfälle oder Ergebnisse können sensible Informationen enthalten, auf die das verbundene Konto Zugriff hat, und diese Informationen sind für alle Hersteller, die auf das Testset zugreifen können, sichtbar.

Screenshot zeigt den Button Profil verwalten.

Benutzerprofile und Verbindungen verwalten

Sie können Testsätze durchführen, indem Sie die Authentifizierung eines Benutzerkontos verwenden. Diese Authentifizierungsmethode ermöglicht es Ihrem Agenten, auf die Wissensquellen und Werkzeuge zuzugreifen, die er benötigt, um seine Ziele zu erreichen.

Du kannst auch Profile nutzen, um bestimmte Nutzererfahrungen zu simulieren. Zum Beispiel kann das Benutzerprofil eines Direktors auf andere Wissensquellen zugreifen als das eines Praktikanten, und der Agent sollte unterschiedliche Ergebnisse liefern.

Die Testergebnisse zeigen, welches Benutzerprofil verwendet wurde.

Hinweis

Wenn Copilot Studio Testfälle erstellt oder eine Bewertung durchführt, verwendet es die Authentifizierungsdaten eines verbundenen Kontos, um auf die Wissensquellen und Tools Ihres Agenten zuzugreifen. Die generierten Testfälle oder Ergebnisse können sensible Informationen enthalten, auf die das verbundene Konto Zugriff hat, und diese Informationen sind für alle Hersteller, die auf das Testset zugreifen können, sichtbar.

Agentenbewertungen, die Benutzerauthentifizierung verwenden, benötigen Zugriff über den Microsoft Copilot Studio Connector. Wenn dein Administrator diese Verbindung abschaltet, kannst du keine Tests mit dem Bewertungstool durchführen. Weitere Informationen finden Sie unter Copilot Studio Connectors and Data Groups.

Um ein Benutzerprofil in einem Testsatz hinzuzufügen oder zu ändern:

  1. Öffne einen Testsatz und wähle dann Profil verwalten aus.

Screenshot zeigt den Button Profil verwalten.

  1. Wählen Sie das Benutzer-Dropdown-Menü und dann:
  • Wählen Sie das Benutzerkonto aus, das Sie verwenden möchten, oder
  • Wählen Sie Konto hinzufügen und melden Sie sich dann beim Konto an.

Screenshot, der zeigt, wie man ein Benutzerkonto auswählt.

  1. Für Verbindungen mit Warnung wählen Sie die Verbindung aus. Ändere die bestehende Verbindung zu einer funktionierenden Verbindung, wähle Verbinden , um die bestehende Verbindung wiederherzustellen, oder wähle Neue Verbindung erstellen , um eine neue Verbindung zu versuchen.

Für neue Verbindungen geben Sie die gewünschten Verbindungsdetails ein und wählen Sie dann Verbinden.

  1. Wenn alle Verbindungen funktionieren, wähle Speichern.

Testfälle innerhalb eines Testsatzes bearbeiten

  1. Wählen Sie auf der Bewertungsseite Ihres Agenten das Testset aus.

  2. Wählen Sie im Testsatz den Testfall aus, den Sie bearbeiten möchten.

Screenshot der Liste der Testfälle.

  1. Ändern Sie im rechten Bereich den Wortlaut einer Frage, indem Sie den Text im Fragefeld bearbeiten.

lScreenshot des Fragetextfelds.

  1. Wählen Sie die Testmethode aus, die Sie verwenden möchten.

Screenshot der Auswahl der Testmethode.

  • Qualität:

    • Wählen Sie Allgemeine Qualität aus, um die Antwort basierend auf Relevanz, Fundiertheit und Vollständigkeit zu bewerten.

    • Wählen Sie Bedeutung vergleichen aus, um die Antwort basierend darauf zu bewerten, wie gut sie die Bedeutung der erwarteten Antwort erfasst. Unter Score bestehen können die Schwelle für das Bestehen erforderlicher Ergebnis für eine Antwort festlegen.

      Geben Sie im Feld Erwartete Antwort die Antwort an, mit der die Testmethode die Antwort des Agents auswertet.

  • Ähnlichkeit: Verwendet eine Kosinus-Ähnlichkeitsmetrik, um zu bewerten, wie ähnlich die Antwort des Agenten mit dem Wortlaut und der Bedeutung der erwarteten Antwort ist. Es bestimmt ein Score zwischen 0 und 1, wobei 1 bedeutet, dass es eng übereinstimmt und 0 bedeutet, dass es überhaupt nicht übereinstimmt. Unter Score bestehen können die Schwelle für das Bestehen erforderlicher Ergebnis für eine Antwort festlegen.

    Geben Sie im Feld Erwartete Antwort die Antwort an, mit der die Testmethode die Antwort des Agents auswertet.

  • Text-Übereinstimmung:

    • Wählen Sie Genaue Übereinstimmung aus, um die Antwort des Agents anhand der erwarteten Antwort auszuwerten. Dabei bedeutet eine Übergabebewertung, dass die Antwort des Agents genau mit der definierten erwarteten Antwort übereinstimmt.

      Geben Sie im Feld Erwartete Antwort die Antwort an, mit der die Testmethode die Antwort des Agents auswertet.

    • Wählen Sie Teilübereinstimmung aus, um die Antwort des Agents anhand der erwarteten Antwort auszuwerten. Dabei bedeutet eine bestandenes Score, dass die Antwort des Agents einige der Wörter oder Ausdrücke aus der definierten erwarteten Antwort enthielt.

      Geben Sie im Feld Erwartete Antwort einen Ausdruck oder ein Schlüsselwort an, mit der die Testmethode die Antwort des Agents auswertet. Wenn Sie mehrere Schlüsselwörter oder Ausdrücke hinzufügen möchten, wählen Sie Hinzufügen, wählen Sie den Operator und oder oder zwischen den Feldern aus und geben Sie das Schlüsselwort oder den Ausdruck an.

      Screenshot, der zeigt, wie man Schlüsselwörter einfügt, um teilweise mit der erwarteten Antwort übereinzustimmen.

  1. Wählen Sie Anwenden.

  2. Wenn du mit deinen Änderungen fertig bist, wähle Speichern , um dein Testset zu speichern, oder Evaluieren , um den Test auszuführen.

Fügen Sie einem Testsatz weitere Testfälle hinzu

Beim Erstellen oder Bearbeiten eines Testsatzes können Sie weitere Testfälle hinzufügen.

  1. Wählen Sie auf der Bewertungsseite Ihres Agenten das Testset aus.

  2. Generiere oder füge manuell weitere Testfälle hinzu.

Screenshot mit den Buttons

  1. Wählen Sie alle neuen Testfälle aus und bearbeiten sie, um Details hinzuzufügen.

Löschen Sie einen Testfall oder Testsatz

Du kannst einen Testfall oder Testsatz löschen, den du nicht mehr brauchst.

  1. Gehe auf die Bewertungsseite deines Agenten .
  2. Im Abschnitt Testsätze können Sie eine Testmenge löschen, indem Sie eine der folgenden Methoden tun:
    • Wählen Sie die drei Punkte (...) der Testset-Karte aus und wählen Sie dann Löschen.
    • Wählen Sie das Testset aus, um es zu öffnen, dann die drei Punkte (...) im Menü "Testsatz konfigurieren " und wählen Sie anschließend Löschen.
  3. Im Abschnitt "Letzte Ergebnisse " können Sie einen Testfall löschen, indem Sie eines von Folgenden tun:
    • Fahren Sie mit der Maus über den Testfall, den Sie löschen möchten, wählen Sie die drei Punkte (...) und wählen Sie dann Test löschen.
    • Wählen Sie den Testfall, um ihn zu öffnen, dann die drei Punkte (...) im Bewertungszusammenfassungsfenster und wählen Sie anschließend Löschen.