Agenttests verbeteren met Copilot Studio Kit

De Power CAT Copilot Studio Kit is een gebruiksvriendelijke toepassing waarmee u reacties van agents kunt verifiëren. Het bevat ook systeemeigen mogelijkheden zoals Excel-export en -import voor bulksgewijs maken en bijwerken.

Configureren, uitvoeren en analyseren

Configureer en voer tests uit op basis van de Copilot Studio-API's (Direct Line API) om agentreacties te evalueren op basis van verwachte resultaten.

Als u resultaten wilt verrijken, haalt u extra gegevenspunten op uit Azure Application Insights en Dataverse door gesprektranscriptierecords te analyseren (zoals de exacte geactiveerde onderwerpnaam en scores voor intentieherkenning).

Voor door AI gegenereerde antwoorden, die van nature niet-deterministisch zijn, gebruikt u prompts om het gegenereerde antwoord te vergelijken met een voorbeeldantwoord of validatie-instructies.

Testtypen

Het hulpprogramma ondersteunt deze typen tests:

• Antwoordovereenkomst
• Bijlagen zoals adaptieve kaarten
• Onderwerpovereenkomst (vereist Dataverse)
• Generatieve antwoorden (vereist AI Builder voor antwoordanalyse en Application Insights voor meer informatie over waarom er geen antwoord is gegenereerd)
• Testtype met meerdere beurten is een speciaal testtype. Het bestaat uit een reeks testcases van reguliere typen die worden uitgevoerd in een opgegeven volgorde in dezelfde gesprekscontext. Gebruik tests met meerdere beurten om scenario's end-to-end te testen en aangepaste agents te testen met generatieve orkestratie.
• Met planvalidatie kunnen makers valideren dat hun aangepaste agents die gebruikmaken van generatieve indeling de verwachte hulpprogramma's bevatten. In plaats van te evalueren wat de agent zegt, controleert dit testtype of het dynamische plan van de agent de verwachte hulpprogramma's (hulpprogramma's, acties en verbonden agents) bevat met een vooraf vastgestelde drempelwaarde.

Meer informatie over testtypen in Configure tests in Copilot Studio Kit.

Volgende stap

Verwante informatie

• Testen en implementeren van Copilot Studio-agents automatiseren met behulp van pijplijnen in Power Platform
• AI Builder-documentatie
• Dataverse-documentatie
• Documentatie voor Application Insights