Analyser l’efficacité des assistants conversationnels

La page Analyse dans Copilot Studio fournit des informations agrégées sur l’efficacité globale de votre assistant dans les sessions d’analyse. La page est divisée en zones principales qui se concentrent sur différents contextes de performances. La page affiche également une zone Vue d’ensemble qui fournit des métriques d’indicateur de performance clés (KPI) de haut niveau pour votre assistant, une zone Économies qui analyse les économies de temps et de coûts attribuables aux outils de votre assistant ou de votre assistant, ainsi qu’une zone Résumé qui fournit des informations d’analyse clés sur les performances de votre assistant.

Le cas échéant, consultez les références suivantes :

• Les zones Résumé et Vue d’ensemble, voir Vue d’ensemble d’Analytics
• La zone Économies, voir Analyser les économies de temps et de coût pour les assistants

Il y a six domaines principaux sur lesquels se concentrer lors de l’examen et de l’amélioration de l’efficacité des assistants conversationnels :

• Thèmes: Les thèmes vous aident à obtenir des informations d’analyse en répartissant les questions utilisateur en catégories suggérées par l’IA.
• Résultats de la conversation : connaître le résultat final d'une conversation vous aide à identifier les points forts de votre assistant et ceux qu'il doit améliorer.
• Assistants : consultez les métriques du volume d’appels, les taux de réussite et l’état actuel des assistants enfants et connectés.
• Taux de réponses générés et qualité : comprendre quand l'assistant a du mal à répondre aux questions des utilisateurs et comment il utilise les sources de connaissances peut vous aider à trouver des moyens d'améliorer le taux de réponse et la qualité des réponses de votre assistant.
• Utilisation des outils : découvrir à quelle fréquence les outils sont utilisés et à quelle fréquence ils réussissent peut vous aider à comprendre si ces outils sont utiles et efficaces pour les utilisateurs.
• Satisfaction : l’examen des commentaires des utilisateurs vous aide à identifier les nouveaux scénarios et problèmes des utilisateurs, et à apporter des améliorations directement en fonction de ce que vos utilisateurs demandent.

Vous pouvez afficher l’analyse des événements qui se sont produits au cours des 90 derniers jours.

Résultats de la conversation

La section Résultats de la conversation affiche un graphique qui suit le type de résultat de chaque session entre votre assistant et les utilisateurs.

Le graphique, qu´il soit affiché sous forme d´histogramme empilé ou de graphique en aires empilées, visualise les volumes relatifs des résultats, codés par couleur et empilés par type. Chacun des états Résolu, Réaffecté, Abandonné et Sans interaction est représenté par une couleur spécifique pour chaque point de données. L’axe y indique le nombre de sessions.

Pour voir les métriques associées à un résultat individuel spécifique à un point de données (un jour spécifique), pointez sur une zone représentant la couleur d’un résultat d’intérêt (par exemple, le bleu sarcelle pour Abandonné) à la date qui vous intéresse. Dans l’exemple, 90 sessions abandonnées représentant 35,6 % de l´ensemble des résultats de session le 24 novembre.

Dans la légende située sous le graphique, pointez sur l’une des étiquettes de résultats pour mettre en évidence ce résultat dans le graphique.

Sélectionnez (activez ou désactivez) l’une ou plusieurs des étiquettes de légende pour afficher ou masquer les résultats du graphique en aires empilées. Procédez ainsi pour ajouter plus de clarté aux résultats restants lorsque :

• Les lignes de résultat individuelles apparaissent visuellement proches.
• Vous souhaitez voir plus clairement quand les courbes de tendance sont positives ou négatives, mais que l’agrégation des résultats empilés sur le graphique aplatit ces lignes de tendance.

Dans l’exemple suivant, les étiquettes Réaffecté et Sans interaction ont été supprimées du graphique. L’info-bulle montre qu’il y avait 95 sessions abandonnées le 23 novembre, ce qui représente 60,5 % des résultats visibles restants sur le graphique (étant la somme des résultats Résolus + Abandonnés).

Pour télécharger les données de résultat de conversation (données visualisées dans le graphique), sélectionnez l’icône du menu et sélectionnez Télécharger le fichier CSV.

Pour ouvrir un panneau latéral avec des informations détaillées sur les résultats de conversation, sélectionnez Afficher les détails du graphique. Le panneau latéral des résultats de Conversation comprend les éléments suivants :

• Répartition en secteurs des résultats de session , montrant une pondération relative (exprimée sous la forme d’un pourcentage) des résultats résolus, réaffectés et abandonnés .
• Graphique à barres empilées montrant la pondération relative (exprimée sous la forme d’un pourcentage) des raisons de résultats résolus et confirmés et résolus implicites décrivant tous les résultats de session résolus.
• Graphique à barres empilées montrant la pondération relative (exprimée sous la forme d’un pourcentage) du système prévu, du système involontaire et des raisons de résultat demandées par l’utilisateur décrivant tous les résultats de session réaffectés.
• Les principales rubriques qui ont conduit à chaque résultat.

Une session est définie sur l’un des deux états suivants :

• Non engagé : une session démarre lorsqu’un utilisateur interagit avec votre assistant ou que l’assistant envoie un message proactif à l’utilisateur. La session commence dans un état non engagé .

• Engagé : l’utilisateur interagit activement avec l’assistant. Il existe une différence de comportement en fonction du mode d’orchestration de l’assistant.

  • Orchestration classique : une session devient engagée quand l’une des rubriques suivantes est déclenchée :

    • Rubrique personnalisée déclenchée directement par l’utilisateur
    • Escalader la rubrique
    • Rubrique de base
    • Rubrique Conversational boosting

  • Orchestration de l’IA dégénérative : une session devient engagée lorsqu’un utilisateur déclenche directement un plan et inclut l’un des éléments suivants :

    • Rubrique hors système
    • Escalader la rubrique
    • Rubrique de base
    • Une source de connaissance
    • Un outil

Une session engagée a l’un des résultats suivants :

Vous pouvez également définir le résultat pour les outils avec le paramètre conversationOutcome à l’aide de l’éditeur de code d’outil. Par exemple, conversationOutcome: ResolvedConfirmed pour un succès confirmé ou conversationOutcome: ResolvedImplied pour un succès implicite.

Consultez la documentation de référence Mesure de l’engagement du copilote pour obtenir des suggestions et des pratiques recommandées sur la façon de mesurer et d’améliorer l’engagement.

Assistants

La liste Assistants affiche des métriques de volume, de performances et d’état de haut niveau pour les assistants connectés et enfants de votre assistant principal. La liste identifie le type de relation que l’assistant répertorié doit à votre assistant principal dans la colonne Type. Si un assistant est un assistant enfant, son type est Child. Les assistants connectés ont un type listé qui reflète l’emplacement où ils ont été créés (par exemple, Copilot Studio, Azure AI Foundry). La métrique Appels pour chaque assistant répertorié décrit le volume d’appels de l’assistant principal vers l’assistant connecté ou enfant. Le taux de réussite reflète la proportion d’appels (sous la forme d’un % de tous les appels) qui ont réussi. Le statut indique le statut administratif individuel de chaque assistant connecté et enfant.

Par défaut, la liste Assistants affiche les cinq principaux assistants connectés et enfants de votre assistant principal, classés du plus haut au plus bas nombre de questions. S’il y a plus de cinq assistants, sélectionnez Afficher tout pour afficher tous les assistants.

Taux et qualité des réponses générées (version préliminaire)

Avec des réponses génératives, votre assistant peut utiliser l’IA pour générer des réponses aux requêtes utilisateur à l’aide de sources de connaissances et des instructions que vous fournissez. Toutefois, votre assistant peut ne pas pouvoir répondre à toutes les requêtes utilisateur. La section Générer le taux de réponses et la qualité effectue le suivi, l’organisation et l’analyse des requêtes et de la qualité des réponses non résolues pour vous donner des conseils pour améliorer les performances de réponse de votre assistant.

Le Taux de réponse indique le nombre de réponses et de questions non résolues au cours de la période sélectionnée et le pourcentage change au fil du temps.

La qualité des réponses mesure la qualité des réponses à l’aide de l’IA. Copilot Studio examine un exemple d’ensemble de questions ayant reçu des réponses et analyse différentes qualités, notamment l’exhaustivité, la pertinence et le niveau de base d’une réponse. Si la réponse répond à une norme définie, Copilot Studio étiquette la réponse en tant que de Bonne qualité. Copilot Studio étiquettes les réponses qui ne répondent pas à cette norme comme de mauvaise qualité. Pour les réponses de mauvaise qualité, Copilot Studio attribue une raison pour l’évaluation de la qualité et affiche le pourcentage de réponses affectées à chaque catégorie.

Pointez sur n’importe quel segment d’une barre dans le graphique pour voir la pondération relative d’une raison individuelle associée à une étiquette de qualité positive ou négative. L’info-bulle indique également le nombre de réponses échantillonné pour arriver à la valeur de pourcentage calculé.

Dans la légende située sous le graphique, pointez sur l’une des raisons d´étiquette de qualité pour mettre en évidence cette raison dans le graphique.

Vous pouvez fournir des commentaires à Microsoft à propos de cette section avec les icônes Pouce vers le haut et Pouce vers le bas. Utilisez le volet Envoyer des commentaires à Microsoft pour ajouter un commentaire et partager des fichiers associés. En fournissant des commentaires descriptifs comme celui-ci, nous pouvons collaborer pour améliorer continuellement notre produit.

1. Dans le volet Envoyer des commentaires à Microsoft, décrivez en langage naturel vos commentaires ou vos envies, selon l’icône que vous avez sélectionnée pour ouvrir le volet.
2. Choisissez de partager ou non l’invite, la réponse générée, les exemples de contenu pertinents et des fichiers journaux supplémentaires.
3. Cliquez sur Envoyer.

Sélectionnez Voir les détails pour ouvrir un volet latéral avec les taux de réponses aux questions, l’utilisation des sources de connaissances et les taux d’erreur sur la période sélectionnée. Vous pouvez utiliser ces graphiques pour identifier les sources de connaissances qui fonctionnent bien pour aider les utilisateurs et celles qui doivent être améliorées.

Si votre assistant a des assistants enfants, sur le volet latéral, sélectionnez Tout pour afficher les métriques pour l’assistant principal et les assistants enfants, Assistant principal pour les métriques sur l’assistant principal uniquement, ou Assistant enfant pour les métriques concernant les assistants enfants uniquement.

• Les questions sans réponse montrent les raisons pour lesquelles l’assistant n’a pas répondu à une requête utilisateur.
• Utilisation des sources de connaissances indique le pourcentage de sessions qui ont utilisé chaque source de connaissances à laquelle l’assistant a accès.
• Toutes les sources affiche le pourcentage de questions qui ont utilisé chaque source de connaissances.
• Erreurs affiche le pourcentage de requêtes ayant abouti à une erreur liée à la connaissance pour chaque type de source de connaissances (par exemple, SharePoint).

Sous Toutes les sources, pour afficher plus d’informations au niveau de l’une des sources de connaissances répertoriées, sélectionnez une source individuelle. L’info-bulle inclut :

• Nombre total de questions ayant référencé cette source de connaissances ainsi que le nombre de réactions de type Pouce vers le haut et Pouce vers le bas.
• Graphique à barres empilées montrant la répartition de la qualité des pondérations relatives à la réponse pour les questions référençant cette source de connaissances. Pointez sur n’importe quel segment du graphique à barres pour voir la valeur de la pondération relative de ce segment et le nombre de questions échantillonnées pour arriver à cette valeur.

Outil utilise

La section Utilisation des outils affiche un graphique et des métriques qui suivent la fréquence de démarrage de vos outils au fil du temps et la fréquence à laquelle votre assistant a utilisé ces outils avec succès. Elle affiche également des indicateurs de tendance pour la fréquence à laquelle votre assistant utilise chaque outil et le pourcentage d’outils appelés utilisés avec succès.

Le graphique affiche les cinq principaux outils utilisés au cours de la période définie en haut de la page Analyse.

Dans la légende située sous le graphique, pointez sur l’un des outils pour mettre en évidence cet outil dans le graphique.

Pour ouvrir un volet latéral contenant la liste de tous les outils utilisés au cours de la période spécifiée, ainsi que les indicateurs de tendance, sélectionnez Afficher les détails sur le graphique. Dans le volet Utilisation des outils, vous pouvez afficher les calculs du pourcentage de questions utilisées pour chaque outil. Si votre assistant a des assistants enfants, vous pouvez choisir d’afficher les calculs pour l’assistant principal et les assistants enfants (Tout), l’Assistant principal uniquement, ou l’Assistant enfant uniquement.

Satisfaction

La section Satisfaction montre les commentaires des utilisateurs recueillis à partir des réactions aux réponses de l’assistant et des résultats d’enquête pour une session. La satisfaction est divisée en deux plus petites sections : une section Réactions, qui affiche des pouces vers le haut ou des pouces vers le bas selon la réaction à des réponses spécifiques de l'assistant, et une section Résultats de l’enquête, qui affiche le score de satisfaction des clients (CSAT) pour l’ensemble de la session.

Les données de commentaires sont stockées dans la table de transcription de conversation dans Dataverse. Pour obtenir la liste des canaux qui prennent en charge cette fonctionnalité, consultez Détails de la fonctionnalité.

Réactions

La section Réactions montre les commentaires des utilisateurs recueillis à partir des réactions aux réponses de l’assistant et des résultats d’enquête pour une session. Le graphique compte le nombre de fois où les utilisateurs ont sélectionné les boutons pouce vers le haut (positif) ou pouce vers le bas (négatif) disponibles sur chaque réponse qu’ils ont reçue de votre assistant.

Une fois qu’un utilisateur a fourni une réaction, il peut laisser un commentaire. Pour afficher les commentaires, sélectionnez Afficher les détails. Dans le volet Réactions, sélectionnez Tout, Pouce vers le haut, ou Pouce vers le bas pour filtrer les commentaires.

Pour chaque réaction, pour afficher la requête utilisateur associée et la réponse de l’assistant, sélectionnez le bouton bascule en regard du commentaire. La page Analyse stocke les requêtes utilisateur et les réponses de l’assistant pendant jusqu’à 28 jours.

Les commentaires des utilisateurs sont activés par défaut. Vous pouvez désactiver cette fonctionnalité, si vous le souhaitez. Vous pouvez également ajouter ou modifier une clause de non-responsabilité pour les utilisateurs concernant la manière dont leurs commentaires sont utilisés :

1. Ouvrez l’assistant, puis accédez à Paramètres et trouvez la section Commentaires des utilisateurs.

2. Activez ou Désactivez l’option Laisser les utilisateurs faire part de leurs commentaires lorsqu’ils utilisent cet assistant.

3. Ajoutez ou modifiez une clause de non-responsabilité afin que les utilisateurs sachent comment leurs commentaires sont utilisés. Vous pouvez également fournir des informations et des conseils sur la confidentialité.

Résultats de l’enquête

La section Résultats de l’enquête affiche un graphique et des mesures qui suivent les scores moyens de satisfaction du client (CSAT) pour les sessions au cours desquelles les clients répondent à une demande de fin de session pour répondre à l’enquête.

Sélectionnez Afficher les détails pour voir les tendances du score de satisfaction au cours de la période configurée du rapport.