Het optimaliseren van een agent stopt niet bij de lancering. Copilot Studio biedt uitgebreide analyses die je helpen te begrijpen hoe gebruikers met je agent omgaan, waar gesprekken slagen of mislukken, en hoe goed de agent zijn tools en kennis gebruikt. Dit artikel biedt een gestructureerde checklist en best practices om je te helpen je makelaar continu te evalueren en te verbeteren.
Valideer je voorbereiding op verbetering en analytics
Gebruik deze vragen tijdens reguliere reviews, zoals sprintceremonies, maandelijkse optimalisaties of pre-release gereedheid.
Thema's en patronen van gebruikersintentie
| Klaar? |
Opdracht |
| ✓ |
Beoordeel je thema's om clusters van gebruikersvragen en opkomende intenties te identificeren? |
| ✓ |
Voeg je vaak voorkomende thema's toe aan je backlog voor toekomstige verbeteringen? |
Gespreksresultaten
| Klaar? |
Opdracht |
| ✓ |
Analyseer je opgeloste, geëscaleerde, verlaten en niet-betrokken gesprekken om verbeterpunten te vinden? |
| ✓ |
Zorg je ervoor dat gesprekken eindigen met het onderwerp Einde van het gesprek, zodat de uitkomsten correct worden vastgelegd? |
| ✓ |
Onderzoek je pieken in afgebroken sessies om onduidelijke antwoorden of ontbrekende logica te identificeren? |
| ✓ |
Bevestig je dat escalatiepaden alleen worden geactiveerd wanneer dat gepast is? |
Gegenereerde antwoordsnelheid en kwaliteit
| Klaar? |
Opdracht |
| ✓ |
Bekijk je het gegenereerde antwoordpercentage om kennishiaten of ontbrekende dekking te identificeren? |
| ✓ |
Controleer je de kwaliteit van antwoorden zoals volledigheid, gegrondheid en relevantie? |
| ✓ |
Onderzoek je slechte antwoordkwaliteit en behandel je de redenen die in analytics worden gesignaleerd? |
| Klaar? |
Opdracht |
| ✓ |
Houd je in de gaten hoe vaak tools en acties worden ingezet en of ze slagen of falen? |
| ✓ |
Identificeer je onderbenutte of foutgevoelige tools en bepaal je of je ze moet optimaliseren of verwijderen? |
| ✓ |
Valideer je dat tools die in generatieve orkestratie worden gebruikt betrouwbaar presteren? |
| Klaar? |
Opdracht |
| ✓ |
Bekijk je het gebruik en de foutpercentages van alle kennisbronnen? |
| ✓ |
Geef je prioriteit aan updates voor kennisbronnen met hoge foutpercentages of inconsistente resultaten? |
| ✓ |
Controleer je of de juiste kennisbronnen de scenario's ondersteunen waarvoor ze bedoeld zijn? |
Tevredenheid en gebruikersfeedback
| Klaar? |
Opdracht |
| ✓ |
Verzamel je gebruikerssentiment via duimen omhoog/omlaag en CSAT-enquêtes? |
| ✓ |
Analyseer je feedbacktrends om onduidelijke antwoorden of zwakke gespreksstromen te detecteren? |
| ✓ |
Voeg je interactiepatronen met lage tevredenheid toe aan je backlog voor herontwerp? |
Best practice callouts
-
Behandel analytics als een iteratieve verbeteringsloop: Gebruik analytics om incrementele veranderingen te stimuleren. Gebruik thema's, onvolledige antwoorden en faalpatronen om sprintplanning te ondersteunen en prioriteit te geven aan backlog-items.
-
Focus op de kwaliteit van de uitkomsten, niet alleen volume: Een gezond systeem maximaliseert opgeloste gesprekken en minimaliseert escalaties en verlating. Gebruik uitkomstverhoudingen als leidende indicator voor duidelijkheid en effectiviteit.
-
Versterk kennisbronnen proactief: Hoge foutenkansen of antwoorden van lage kwaliteit wijzen vaak op onduidelijke, verouderde of niet overeenkomende kennisbronnen. Werk deze bronnen regelmatig bij en herstructureer deze bronnen voor een betere aarding.
-
Optimaliseer tools voor stabiliteit en succes: Onbetrouwbare toolcalls verzwakken het vertrouwen. Volg succespercentages en refactoren die vaak falen of inconsistente data opleveren.
-
Gebruik thema's om nieuwe kansen te identificeren: Thema's benadrukken opkomende intenties. Gebruik ze om nieuwe onderwerpen, kennisbronnen of integratiebehoeften te informeren.
-
Zorg dat gesprekken schoon eindigen: Gebruik altijd het onderwerp 'Einde van het gesprek' om de oplossing en CSAT vast te leggen. Zonder dit onderwerp worden analyses onvolledig en misleidend.
-
Aparte evaluatie van autonome en door de gebruiker geïnitieerde agenten: autonome agenten zijn sterk afhankelijk van triggers en gereedschapsketens. Bekijk de uitkomsten en triggers los van door gebruikers geïnitieerde stromen.
-
Volg sentiment in de tijd: Geïsoleerde feedback is nuttig, maar sentimenttrends over meerdere weken onthullen systemische problemen. Onderzoek aanhoudende dips vroeg.