分析对话代理有效性

通过 Copilot Studio 中的分析页面，可以综合了解您的智能体在分析会话中的整体效率。 页面划分为侧重于不同性能上下文的核心区域。 该页还显示一个 概述 区域，该区域为代理提供高级、关键绩效指标（KPI）指标、分析代理或代理工具所导致的时间和成本 节省的节省 区域，以及提供对代理性能的关键分析见解的 摘要 区域。

有关以下内容的详细信息：

• “ 摘要 ”和 “概述 ”区域，请参阅 分析概述
• “ 节省 ”区域，请参阅 “分析代理的时间和成本节省”

查看和改进聊天代理有效性时，有六个核心领域需要关注：

• 主题： 主题 通过将用户问题聚类化为 AI 建议的类别来帮助你获取分析见解。
• 对话结果：了解会话的最终结果有助于开始确定代理成功的位置以及需要改进的位置。
• 代理：请参阅子代理和连接的代理的呼叫量指标、成功率和当前状态。
• 生成的答案率和质量：了解代理何时难以为用户问题提供答案，以及它如何使用知识源来帮助你找到提高代理的答案率和质量的方法。
• 工具使用：了解工具的使用频率及其成功频率可帮助你了解这些工具是否对用户有用且成功。
• 满意度：查看用户反馈有助于识别新的用户方案和问题，并根据用户要求的内容直接做出改进。

可以查看过去 90 天内发生的事件的分析。

对话结果

“ 对话结果 ”部分显示一个图表，用于跟踪代理和用户之间的 每个会话 的结果类型。

若要下载聊天结果数据（图形中可视化的数据），请选择菜单图标 ，然后选择“ 下载 CSV”。

要打开一个侧边面板，查看会话结果的饼图细目，以及导致每个结果的首要主题，请选择图表上的查看详情。

会话属于以下两种状态之一：

• 未参与：当用户与您的智能体交互或智能体向用户发送主动消息时，会话将启动。 会话以未参与状态开始。

• 参与：用户主动与代理交互。 基于代理的编排模式，行为表现存在差异。

  • 经典协调机制：当以下任一主题被触发时，会话即被激活：

    • 用户直接触发的自定义主题
    • 升级主题
    • 回退主题
    • 扩大对话范围主题

  • 生成性AI编排：当用户直接触发计划并包含以下元素之一时，会话将变为活动的：

    • 非系统主题
    • 升级主题
    • 回退主题
    • 知识来源
    • 工具

参与的会话具有以下结果之一：

• 升级：当触发升级主题或运行转移至坐席节点时，会话将结束并被视为升级（当前分析会话结束，无论对话是否转移至实时坐席）。

• 已解决：会话成功完成。 已解决会话分为两类：确认解决与默认解决。

  • 已确认解决：当触发对话结束主题时，会话被视为“已确认解决”，用户确认该交互是否成功。

  • 隐式解析：当会话在不需用户确认的情况下通过代理的逻辑完成时，被称为隐式解决。 解析的隐含状态取决于您的代理是使用经典还是生成式AI编排：

    • 经典编排：当触发结束对话主题且用户未确认即让会话超时时，该会话被视为隐含解决。
    • 生成式 AI 编排：当会话超时且无剩余活动计划时，视为隐含解决。 活动计划是正在等待用户输入的计划。

• 已放弃：当参与的会话在 30 分钟后超时且未达到已解决或已升级状态时，会话将结束，被视为已放弃。

您还可以通过工具代码编辑器，使用参数 conversationOutcome 设置工具的结果。 例如，conversationOutcome: ResolvedConfirmed 表示确认成功或 conversationOutcome: ResolvedImplied 表示暗示成功。

有关如何衡量和提高参与度的建议和最佳实践，请参阅指导文档衡量助手参与度。

Agents

代理列表显示主代理的已连接代理和子代理的高级卷、性能和状态指标。 该列表 在类型列 中标识列出的座席与主座席的关系类型。 如果代理是子代理，则其类型为 Child。 连接的代理具有反映其创建位置的列出类型（例如， Copilot Studio， Azure AI Foundry）。 列出的每个座席的 呼叫量 描述了从主座席到连接的座席或子座席的呼叫量。 成功率 反映了成功完成的呼叫（占所有呼叫的 %）的比例。 状态表示 每个连接的代理和子代理的单独管理状态。

默认情况下， 代理 列表显示主代理的前五 （5） 个连接的代理和子代理，按问题总数从高到低排序。 如果有五个以上的代理，请选择查看 全部 以显示所有代理。

生成的答案率和质量（预览版）

借助生成性答案，代理可以使用 AI 通过知识源和提供的说明生成用户查询的答案。 但是，代理可能无法回答所有用户查询。 生成的答案率和质量部分跟踪、组织和分析未回答的查询和答案质量，以指导你提高代理的答案性能。

答案率显示所选时间段内已回答和未回答的问题数，以及一段时间内的百分比变化。

答案质量 使用 AI 衡量答案的质量。 Copilot Studio 查看一组回答的问题示例，并分析不同的质量，包括响应的完整性、相关性和基础性。 如果答案符合设定的标准，Copilot Studio 会将答案标记为 “质量良好 ”。 Copilot Studio 将不符合该标准的答案标记为 “质量差 ”。 对于 差 答案，Copilot Studio 会分配质量分级的原因，并显示分配给每个类别的答案百分比。

可以使用“ 竖起大拇指” 和“ 竖起大拇指” 图标 向 Microsoft 提供有关此部分的反馈。 使用 “向 Microsoft 提交反馈” 面板添加注释并共享相关文件。 通过提供这样的描述性反馈，我们可以共同努力不断改进我们的产品。

1. 在 “向 Microsoft 提交反馈” 面板上，用自然语言描述你喜欢或不喜欢的内容，具体取决于你选择的打开面板的图标。
2. 选择是否共享提示、生成的响应、相关内容示例和其他日志文件。
3. 选择提交。

选择“ 查看详细信息 ”以打开一个侧面板，其中包含问题解答率、知识源使用情况和所选时间段内的错误率。 您可以使用这些图表来确定哪些知识源可以很好地帮助用户，以及哪些知识源可以针对用户进行改进。

在侧面板上，选择 全部 以显示主座席和子座席的指标，选择主 座席 以显示仅有关主座席的指标，或 选择子座席 以显示仅有关子座席的指标。

• 未回答的问题 显示了代理未回答用户查询的原因。
• 知识源使用显示使用智能体可访问的每个知识源的会话百分比。
• 所有来源 显示使用每个知识源的问题百分比。
• 错误 显示导致每个知识源类型的知识相关错误的查询百分比（例如 SharePoint）。

见解(预览版)

Analytics 使用 AI 提供有关代理如何成功回答用户查询的自定义见解。 Copilot Studio 分析未答复的查询，按主题将它们分组，然后生成关于可通过采取措施提升每个组性能的上下文见解。 Copilot Studio 每天使用此见解类型生成群集，使用过去七天内所有未完成的用户查询。 可以查看前五个见解。

1. 在“答案率和质量”部分中选择“见解”。

2. 使用<箭头和>箭头在分析之间切换。

3. 选择引文以查看有关见解的更多详细信息。

还可以选择获取对话信息来下载出现这些未回答用户查询的对话 ID 的 CSV 列表。

工具使用

“工具使用”部分显示一个图表和指标，用于跟踪工具随时间推移启动的频率，以及代理成功使用这些工具的频率。 它还显示了代理使用每个工具的频率趋势指标，以及成功使用的被调用工具的百分比。

该图表显示 分析 页面顶部定义的日期期间中使用的前五个工具。

若要打开侧面板，其中包含指定时间段内使用的所有工具的列表以及趋势指示器，请选择图表上的 “查看详细信息 ”。 在 工具使用 面板上，您可以显示每个工具使用的问题百分比的计算结果，包括主座席和子座席（全部）、仅 主座席 或仅 子座席 。

满意度

“满意度”部分显示从对代理响应和会话调查结果的反应中收集的用户反馈。 满意度分为两个小部分：反应部分，显示针对特定智能体响应的好评、差评反馈，和调查结果部分，显示整个会话的客户满意度 (CSAT) 分数。

反馈数据存储在 Dataverse 中的对话脚本表中。 有关支持此功能的渠道列表，请参阅功能详细信息。

反应

反应部分显示从对会话智能体响应和调查结果的反应收集的用户反馈。 图表计算用户对智能体收到的每个响应选择好评（正）或差评（负）按钮的次数。

用户提供反应后，他们可以留下评论。 若要查看批注，请选择“ 查看详细信息”。 在 “反应” 面板中，选择 “全部”、“点赞” 或 “踩” 以筛选批注。

对于每个反应，若要查看关联的用户查询和代理响应，请选择注释旁边的切换开关。 “分析”页最多存储用户查询和代理响应 28 天。

用户反馈默认为打开。 如果需要，您可以关闭此功能。 您还可以为用户添加或编辑关于如何使用其反馈的免责声明：

1. 打开智能体，然后进入设置，找到用户反馈部分。

2. 将让用户在使用此智能体时提供反馈设置为开或 关。

3. 添加或编辑免责声明，让用户了解其反馈的使用情况。 您还可以提供隐私信息和提示。

调查结果

调查结果部分显示的图表和指标可追踪会话的平均客户满意度（CSAT）得分，客户在会话结束时会响应调查问卷的请求。

选择查看详细信息可以查看报告配置的时间段内满意度分数的趋势。