Créer des ensembles de tests pour les évaluations

[Cet article fait partie de la documentation en version préliminaire et peut faire l’objet de modifications.]

Dans Copilot Studio, vous pouvez créer un ensemble de cas de test pour évaluer la performance de vos agents. Les cas de test vous permettent de simuler des scénarios réels pour votre agent, afin de mesurer la précision, la pertinence et la qualité des réponses aux questions posées par l’agent, en fonction des informations auxquelles l’agent peut accéder. En utilisant les résultats du test set, vous pouvez optimiser le comportement de votre agent et valider qu’il répond à vos exigences commerciales et de qualité.

Les évaluations fonctionnent en envoyant des messages à votre agent, en enregistrant les réponses et en comparant ces réponses aux réponses attendues ou à un niveau de qualité. Plus de messages, utilisés comme cas test, peuvent vous donner une meilleure idée de la manière dont votre agent gère différents cas d’usage.

Vous pouvez créer des cas de test manuellement, les importer via un tableur, ou utiliser l’IA pour générer des messages basés sur la conception et les connaissances de votre agent. Vous pouvez ensuite choisir comment mesurer la qualité des réponses de votre agent pour chaque cas de test au sein d’un ensemble de tests. Pour plus d’informations sur la création de cas de test, voir Créer un ensemble de tests.

Créer un ensemble de test

1. Rendez-vous sur la page d’évaluation de votre agent.

2. Sélectionnez Nouvel ensemble de test.

   

3. Dans la page Nouveau jeu de tests, choisissez la méthode que vous souhaitez utiliser pour créer votre jeu de tests :

   • Question rapide configurée pour que Copilot Studio crée automatiquement des cas de test en fonction de la description, des instructions et des capacités de votre agent. Cette option génère 10 questions pour effectuer de petites évaluations rapides ou pour commencer à construire un ensemble de tests plus grand.
   • Question complète configurée pour que Copilot Studio génère des cas de test en utilisant les sources de connaissances ou les sujets de votre agent.
   • Utilisez votre conversation de chat test pour remplir automatiquement l’ensemble de tests avec les questions que vous avez fournies dans votre chat. Cette méthode utilise les questions issues du dernier chat test. Vous pouvez également commencer une évaluation depuis le chat de test en utilisant le bouton d’évaluation .
   • Importez des cas de test d’un fichier en glissant votre fichier dans la zone désignée, en sélectionnant Parcourir pour télécharger un fichier, ou en sélectionnant l’une des autres options de téléversement.
   • Ou alors, écris toi-même quelques questions pour créer manuellement un ensemble de tests. Suivez les étapes pour modifier un ensemble de tests afin d’ajouter et modifier des cas de test.

4. Modifier les détails des cas de test. Tous les cas de test utilisant des méthodes sauf la qualité générale nécessitent des réponses attendues. Pour plus d’informations sur l’édition, voir Modifier un ensemble de test.

5. Sous Nom, entrez un nom pour votre jeu de tests.

6. Sélectionnez le profil utilisateur, puis sélectionnez ou ajoutez le compte que vous souhaitez utiliser pour cet ensemble de test, ou continuez sans authentification. L’évaluation utilise ce compte pour se connecter aux sources de connaissances et aux outils lors des tests. Pour des informations sur l’ajout et la gestion des profils utilisateurs, voir Gérer les profils et connexions utilisateurs.

1. Sélectionnez Enregistrer pour mettre à jour l’ensemble de test sans lancer les cas de test ou Évaluer pour exécuter immédiatement l’ensemble de test.

Limitation de génération de cas test

Lorsque vous générez un groupe de cas de test, la génération peut échouer car une ou plusieurs questions enfreignent les paramètres de modération de contenu de votre agent. Les raisons sont les suivantes :

• Les instructions ou sujets de l’agent conduisent le modèle à générer du contenu signalé
• La source de connaissances associée inclut des contenus sensibles ou restreints
• Les paramètres de modération de contenu de l’agent sont trop stricts

Vous devrez peut-être essayer différentes actions pour résoudre le problème, comme ajuster les sources de connaissances, mettre à jour les instructions ou modifier les paramètres de modération.

Générez un ensemble de tests à partir de connaissances ou de sujets

Vous pouvez tester votre agent en générant des questions en utilisant les informations et les sources de conversation dont il dispose déjà. Cette méthode de test est utile pour tester comment votre agent utilise les connaissances et les sujets qu’il possède déjà, mais n’est pas efficace pour détecter les lacunes d’information.

Vous pouvez générer des cas de test en utilisant ces sources de connaissances :

• Texto
• Microsoft Word
• Microsoft Excel

Vous pouvez utiliser des fichiers allant jusqu’à 293 Ko pour générer des questions d’examen.

Pour générer un ensemble de test :

1. Sur la page Nouveau jeu de test , choisissez Ensemble complet de questions.

2. Sélectionnez soit Connaissances , soit Sujets.

   • La connaissance fonctionne mieux pour les agents qui utilisent l’orchestration générative. Cette méthode soulève des questions en utilisant une sélection des sources de connaissances de votre agent.
   • Les sujets fonctionnent mieux pour les agents qui utilisent l’orchestration classique. Cette méthode soulève des questions en utilisant les sujets de votre agent.

3. Pour la Connaissance, sélectionnez les sources de connaissances que vous souhaitez inclure dans la génération de questions.

1. Pour Connaissances et Sujets, sélectionnez et faites glisser le curseur pour choisir le nombre de questions à générer.

1. Sélectionnez Générer.

2. Modifier les détails des cas de test. Tous les cas de test utilisant des méthodes sauf la qualité générale nécessitent des réponses attendues. Pour plus d’informations sur l’édition, voir Modifier un ensemble de test.

3. Sélectionnez Gérer le profil pour sélectionner ou connecter le compte que vous souhaitez utiliser pour cet ensemble de test. Vous pouvez aussi continuer sans ajouter de compte pour l’authentification.

1. Sélectionnez Enregistrer pour mettre à jour l’ensemble de test sans lancer les cas de test ou Évaluer pour exécuter immédiatement l’ensemble de test.

Créez un fichier de test à importer

Au lieu de créer vos incidents de test directement dans Copilot Studio, vous pouvez créer un fichier de feuille de calcul avec tous vos incidents de test et les importer pour créer votre jeu de tests. Vous pouvez composer chaque question de test, déterminer la méthode de test que vous souhaitez utiliser et indiquer les réponses attendues pour chaque question. Lorsque vous avez terminé de créer le fichier, enregistrez-le en tant que fichier .csv ou .txt et importez-le dans Copilot Studio.

Créez le fichier à importer en procédant comme suit :

1. Ouvrez une application de feuille de calcul (par exemple, Microsoft Excel).

2. Ajoutez les en-têtes suivants, dans cet ordre, dans la première ligne :

   • Question
   • Réponse attendue
   • Méthode de test

3. Entrez vos questions de test dans la colonne Question. Chaque question peut comporter 1 000 caractères ou moins, y compris des espaces.

4. Entrez l’une des méthodes de test suivantes pour chaque question dans la colonne Méthode de test :

   • Qualité générale
   • Comparer la signification
   • Similarité
   • Correspondance exacte
   • Correspondance partielle

5. Entrez les réponses attendues pour chaque question dans la colonne Réponse attendue. Les réponses attendues sont facultatives pour l’importation d’un jeu de tests. Toutefois, vous avez besoin de réponses attendues pour exécuter les incidents de test de correspondance, de similarité et de comparaison du sens.

6. Enregistrez le fichier au format .csv ou .txt.

7. Importez le fichier en suivant les étapes de Créer un nouvel ensemble de test.