Copilot Studio 智能体报告 (预览)

重要

此功能仅适用于公共预览版客户。 预览版中的功能可能不完整,并且可能会在更广的版本中推出之前进行更改。

Copilot Studio 智能体报告可帮助你了解跨组织内各种渠道部署的内置Microsoft Copilot Studio代理的采用和影响。

此报告可帮助你回答以下问题:

  • 使用哪些顶级代理?
  • 什么是顶级代理的高级 KPI 类会话、满意度分数和成功率?
  • 各个代理的影响是什么,例如参与的会话和主题分布的拆分,以及代理协助的小时数的影响?

示例代理 KPI

此报告涵盖的内容:

在频道中部署的内置Microsoft Copilot Studio代理,例如:

  • 自定义和演示网站
  • Microsoft Teams 和 Microsoft 365 Copilot
  • 移动应用程序
  • Facebook
  • Azure 机器人服务通道,如 Skype、Twilio 和 Microsoft Cortana

此报告中 涵盖的内容:

  1. Copilot Studio 中内置的声明性代理

  2. 使用 Microsoft 365 Copilot 中的 Agent Builder 生成的代理

  3. 主动响应整个业务中的信号并启动任务的自治代理,这些任务可以配置为在没有人工干预的情况下对事件或触发器做出响应。 了解详细信息

  4. 使用生成 AI 而不是经典业务流程的代理。 详细了解生成业务流程与经典业务流程

  5. 在 Microsoft Copilot Studio 外部构建的代理,例如在 sharepoint 或第三方应用中Microsoft

先决条件

此报告是为满足以下资格条件的租户启用的:

  1. 租户必须具有至少 50 个 Copilot 许可证。
  2. 租户必须至少有一个Microsoft Copilot Studio许可证(独立、即用即付或与 Copilot 捆绑在一起),并且已创建至少一个代理并在“生产”环境中发布它。 了解详细信息

此外,在 Power BI 中运行查询和填充报表之前,需要:

报表设置

运行查询

  1. “Viva Insights分析体验”中,选择“创建分析”。

  2. “Power BI 模板”下,导航到“Copilot Studio 智能体报告”,然后选择“设置分析”。 还可以在 Copilot 部分下找到模板。

  3. 在“查询设置”下:

    1. 输入 查询名称
    2. 选择“ 时间段”,默认为 “过去 1 个月”。

    注意

    首先,你只能运行涵盖上个月的分析,但最终你将能够选择更宽的时间段,因为Microsoft Copilot Studio收集更多数据。

    1. 设置“自动刷新”(可选)。 可以通过选择“ 自动刷新”将查询设置为自动更新。 选择此选项时,每次Viva Insights获取更新的代理数据时,查询都会自动运行并计算新结果。

    2. 输入 “说明 ” (可选) 。

    注意

    更多设置 ”窗格还包含 分组依据指标规则 设置。 此 Power BI 查询设置为 “按周分组”,你无法更改此设置,也不能更改 指标规则 设置。

  4. “预定义模板指标”下,查看预选指标的列表,这些指标显示为灰色标记。 这些指标是设置 Power BI 报表所必需的,你无法删除它们。 无法为此报表添加其他指标。 了解 Copilot 指标的数据可用性

  5. “选择要包含在查询中的代理”下,添加筛选器以缩小报表范围内的代理范围。 可以按代理名称、代理图面和代理类型进行筛选。

  6. “选择要包含在查询中的代理属性”下,将自动选择属性。 查询运行后,可以使用这些属性对报表进行分组和筛选。

    重要

    此 Power BI 查询需要一些特定的属性才能运行,我们已为你预选它们。 这些属性以灰色显示,无法将其删除。 无法通过选择“添加属性”来添加其他属性

  7. 选择右上角的“ 运行 ”。 运行查询可能需要几分钟时间。

访问查询结果

可以通过两种方式访问报表:

  • 在浏览器中查看报表。 如果只想查看报表,请使用此选项。 

  • 在 Power BI 桌面中打开 Power BI 模板并连接到查询结果。 如果要自定义报表或通过将报表发布到 Power BI 服务,与组织中的其他人共享报表,请使用此选项。

在浏览器中查看报表

若要在浏览器中查看报表,请转到 “查询结果”页 ,然后选择“视图”列中的眼睛图标。 如果要在分析体验中执行其他任务时将报表保留在后台,请选择 “在新选项卡中打开 ”。

在 Power BI Desktop 中打开 Power BI 模板

  1. 转到“查询结果”页,然后选择“操作”列中的 Power BI 图标,下载 Power BI 模板并获取查询和分区标识符。 稍后需要这些标识符。 

  2. 打开已下载的模板。 

  3. 如果系统提示选择程序,请选择“Power BI”。 

  4. 当 Power BI 提示时:

    1. 粘贴分区和查询标识符。 
    2. 选择“载入”,以将查询结果导入至 Power BI 中。
  5. 如果 Power BI 提示,请使用组织帐户登录。 然后,Power BI 将加载和准备数据。 对于大型文件,此过程可能需要几分钟时间。

    重要

    需要使用用于访问 Viva Insights 的相同帐户登录到 Power BI。 如果可用,请从左侧选择“组织帐户”。 可能需要多次登录。

    显示在“组织帐户”选项卡上登录到 Power BI 的屏幕截图

页面级设置

每个报表页在顶部包含以下设置:

  • 报表的时间段 – 选择要查看的数据的开始和结束日期。

  • 应用筛选器 – 选择“类别”、“代理名称”和“代理使用类型”以筛选报表中显示的代理。

关于此报表

Copilot Studio 智能体报告包括以下报表页,可帮助你更好地了解整个组织的代理采用和 KPI。

代理概述

此页初步概述了为所选筛选器在整个组织中采用代理。 左侧卡显示基于参与会话的活动代理总数。 左侧还有一张卡片,其中显示了参与的代理会话总数以及基于代理协助小时数的代理的影响。 详细了解如何衡量 代理参与度结果

页面中间的卡显示活动代理数、会话数和代理辅助小时数如何随时间变化。 使用下拉列表在指标之间切换。

右侧卡根据每月参与的会话数确定前五名代理。

在页面顶部,还可以按类别和使用情况类型进行筛选。 对于“使用情况类型”,请选择“ 内部 ”以查看面向内部员工的方案的指标。 选择“ 外部 ”以查看外部使用的代理的指标,例如在公共网站上。

常见问题解答

问题 1. 此期间有多少代理处于活动状态?

“活动代理”定义为用户在所选时间段内至少与其进行了一个会话的任何代理。

问题 2. 参与的代理会话总数是多少,这些会话节省了多少时间或资金?

参与的代理会话总数表示用户与上述问题 1 中确定的代理的互动次数。 

为了确定协助的小时数,报表将查看请求类型并做出估计。  例如,与简单的问答相比,具有多个知识源引用的请求估计可以节省更多的时间。 默认情况下,报告假定每个知识源引用或会话没有知识源引用 6 分钟。 若要查看此细分或调整此假设,请选择“计算器”按钮。 

无论是查看辅助时间还是辅助值,请务必认识到,这些估算值有助于更好地了解代理通过提高效率和节省时间的相对影响。

问题 3. 活动代理数、会话数和代理协助小时数如何随时间变化?

趋势线说明了关键指标随时间的变化。 使用下拉菜单在指标之间切换。

随时间推移上升的趋势线不仅表示代理数的增长,还表明代理的使用和影响。 

请注意每个图表顶部的百分比,这些百分比指示上个月的变化。 查看会话数和辅助小时数的百分比,以及它们与代理数的比较情况。 如果代理数量的增长速度超过这些使用情况并影响指标,则表明更专注于提升和启用现有代理。

问题 4. 基于每月使用情况的前五个代理是什么?

这些是组织中当前最常用的代理。 选择“ 浏览更多 ”可查看更深入的指标并查看可用代理的完整列表。 

确定整个组织中使用的顶级代理

通过此页面,可以专注于根据每月参与的会话数按降序排序的顶级代理,并浏览关键的代理 KPI。

可以使用类别、代理名称和使用情况类型(例如组织内部或外部)在此页上筛选代理。

解释指南

如何使用参与会话数、满意度分数和解决率获取可作见解

使用下表评估代理的有效性和满意度,并确定可能的后续步骤。 通过分析成功的代理,可以提升那些表现不佳的代理的性能。

还要考虑评估中的会话量。 使用代理是否足以得出有意义的结论? 如果代理使用率较低,则可能需要考虑进一步推广代理、停用代理或重新设计代理。

可以使用“类别”、“代理名称”和“使用情况类型”字段(如组织内部或外部)筛选此页上的代理。 

使用“类别”字段(如“销售”、“支持”或“内部”)比较类似代理类型中的性能。 这有助于避免不公平的比较,并有助于建议每个领域的最佳做法。

解决率 满意度分数 - 低 满意度分数 - 高
此代理未提供价值

  • 查看代理的配置以确认是否已正确设置
  • 重新设计或停用的优先级
  • 采访用户或查看日志以了解故障点
  • 考虑代理的用途是否仍然相关
  • 用户喜欢体验,但没有得到所需的内容

  • 调查代理的范围是否过于有限或无法访问所需数据
  • 查看代理的配置以确认是否已正确设置
  • 扩展功能或改进升级路径
  • 考虑重新训练模型或优化意向
  • 任务正在完成,但体验可能会令人沮丧或令人困惑

  • 查看对话日志,了解语气、长度或复杂性等摩擦点
  • 提高用户体验元素,如清晰度、同理心或速度
  • 考虑用户反馈机制以查明不满
  • 此代理性能良好,满足用户需求

  • 将其用作基准,并分析成功是什么,例如语气、流程或内容
  • 考虑更广泛地缩放或提升它
  • 在性能不佳的代理中复制其设计模式
  • 单个代理深入探讨

    本页使用所选筛选器深入了解特定代理的特定 KPI。 左侧图表显示一段时间内参与的会话数,可以根据“解决”、“放弃”和“升级”在此会话结果和代理会话结果之间切换。

    页面中间的图表还显示了所选时间范围中的代理满意度分数,以及在整个组织中部署代理可以获得的代理辅助小时数。 对于对话代理会话中的每个任务,该指标比较了人工花费的时间与代理实际花费的时间之间的差异,并汇总了所有任务和会话之间的这些差异。

    右侧的图表显示所选时间范围内每个主题代理的会话数。 详细了解 Copilot Studio 中的主题

    代理协助小时数

    代理协助工时估计员工使用代理执行任务所节省的时间。 它使用参与的代理会话数、知识源引用数、会话结果和节省时间乘数来计算代理辅助总小时数。 此指标可帮助企业了解通过部署代理提高效率和节省时间。

    下面是指标的公式:

    代理辅助小时数 = (知识源引用数 + 没有知识源的加权会话数) x 时间节省乘数

    给定的代理可能有多个会话,其中一些会话引用了知识源,另一些会话没有这些引用。 对于每个知识源引用,为员工节省的时间量估计等于节约时间乘数的值。 对于没有知识源引用的会话,可能还会节省时间,根据会话的结果进行估算。 已解决的会话计为完整会话,而升级会话和已放弃会话的权重为 0.7。 这些权重是通过根据对每种结果类型的会话持续时间Microsoft分析来估计任务完成范围的确定的。

    节省时间乘数是可自定义的,默认值基于对 AI 使用情况的研究,包括首席经济学家办公室Microsoft的研究, (看到 “搜索的应变”) 显示涉及信息检索的任务平均节省 6 分钟的时间 (请参阅 博客文章) 第 2 部分中的研究 #4, 以及强调编写任务节省 6 分钟时间的研究 (请参阅 博客文章) 第 2 节中的研究 #1。 有关如何最大程度地提高工作效率的其他指导,请参阅 更改代理。 默认乘数是一个估计值,可能会随着时间推移而随着新数据的可用而优化。

    若要编辑乘数的值,请选择计算器,你将在其中查看如何针对特定代理计算此指标的细目。 如果更改该值,它将针对报表中的所有代理进行更新。

    代理辅助值

    这是对代理在给定时间段内的影响值的估计值,通过将代理辅助小时数乘以平均每小时费率计算得出。 默认情况下,根据美国劳工统计局编制的数据,此每小时费率设置为 72 美元。 若要更新平均每小时费率,请选择“计算器”,可在其中查看使用更新设置计算总值的方式的明细。

    若要在“代理辅助小时数”和“代理辅助值”之间切换,请选择卡右上角的相应符号。

    常见问题解答

    问题 1. 随着时间的推移,此代理的使用情况和满意度有何变化?

    这两个指标指示过去三个月使用代理的人数,以及代理的平均满意度评级。

    使用这些部分可以大致了解特定代理的成功。  根据看到的趋势,使用下表了解要采取的潜在作。

    趋势 潜在解释 建议
    不断上升的会话量 增加采用或成功推出
  • 调查哪些代理或主题正在推动增长
  • 强化成功的模式并跨其他代理复制它们
  • 查看满意度分数,确保质量与数量保持同步
  • 正在减少会话量 可能的用户脱离接触、技术问题或季节性下车
  • 检查代理行为、中断的触发器或用户反馈中的最新更改
  • 通过有针对性的通信或改进重新吸引用户
  • 查看满意度分数,以确定质量下降是否导致了下降
  • 平放或停滞的卷 使用稳定,但可能未充分利用的潜力
  • 考虑推广工作、培训或扩展代理的功能,以推动更多价值
  • 分析满意度分数以确定用户是内容还是无动于衷
  • 低音量 极少数会话可能表示采用率或可发现性低
  • 在内部通信(如新闻稿、Yammer 或 Teams)中推广代理
  • 培训和培训用户
  • 查看有限会话中的满意度分数。 正分数表明代理已步入正轨,你可能需要提高认知度。 负分数表示在更广泛部署之前改进了代理。
  • 突然峰值或音量下降 可能表示市场活动、中断或新功能推出
  • 与内部事件或发布协调
  • 使用这些见解来规划未来的发布或缓解问题
  • 检查满意度分数,以在高峰或低谷期间评估用户情绪
  • 问题 2. 代理成熟度的会话结果趋势是什么?

    选择部分趋势右上角的条形图,在会话结果趋势之间切换。

    很高兴看到积极的趋势,同时从“放弃”转向“已解决”。理想情况下,当存在更多放弃或升级情况时,满意度分数应随着解决率的提高和降低而增加。 将这些分数视为一种确认或质疑基于卷的解释的方法。

    趋势 潜在解释 建议
    增加已解析的会话数 代理正在有效处理用户提示/查询
  • 强化成功的模式并分析哪些主题或流有助于高分辨率并复制它们
  • 查看满意度分数,确认分辨率质量是否符合用户预期
  • 低分辨率 成功结果的低百分比表明代理无法满足用户需求
  • 查看未解决的会话,以确定常见问题,例如误解的意向、缺少内容或无效的响应
  • 增强训练数据和优化对话流,以更好地支持用户目标
  • 分析未解析会话的满意度分数以了解用户情绪。 低分数可能表示挫折感,而中性分数或高分可能会显示用户即使没有正式解决方案也能找到价值。 使用这些见解来确定改进的优先级。 
  • 升级增加 代理在处理提示/查询时遇到限制
  • 查看升级触发器。 他们发射太早了吗?
  • 是否可以在升级之前对代理进行培训以处理更多内容?
  • 查看代理的配置以确认是否已正确设置
  • 高度或不断增长的放弃 用户在获得帮助之前离开,可能是由于混淆、延迟或不相关的响应
  • 审核对话路径。 查找摩擦点或死胡同。
  • 考虑配置,例如添加回退逻辑
  • 查看代理的配置以确认是否已正确设置
  • 持久放弃结果 会话正在启动,但不具有吸引力,用户可能正在测试或不确定如何交互
  • 改进载入或配置。 使用回退逻辑或体验提示引导用户参与有意义的活动。
  • 查看代理的配置以确认是否已正确设置
  • Topics建议

    若要分析主题有效性,请在“ 每个主题的会话数 ”下选择单个主题以了解详细信息。 进一步分析的一些建议包括:

    1. 按主题跟踪解决率:观察特定主题的会话以“已解决”状态结束的频率,指示该主题已得到很好的理解和有效处理。 

    2. 监视升级和放弃:确定导致升级或用户放弃的主题,发出可能的内容差距或用户沮丧的信号。 将这些趋势与满意度分数进行比较,以确定用户是否不满意或只是需要更多指导。 

    3. 评估参与度指标:通过多个步骤或后续提示评估用户参与每个主题的持续时间及其交互。 高参与度和正面满意度分数通常表示设计良好的主题流。 

    4. 使用满意度分数进行情绪分析:查看每个主题的满意度分数,了解超出解决范围的用户情绪。 分数较低的快速解决方法可能表示体验匆忙或不完整。 

    5. 比较一段时间内的主题性能:检查主题有效性如何随时间推移而变化,以优先处理表现不佳的区域的更新或培训。 

    删除Copilot Studio代理数据

    管理员可以使用 PowerShell 删除租户的现有代理数据。 了解如何操作

    删除数据后,查询不会自动刷新,并且一个月内无法运行任何新查询。

    在何处查找 Power Platform 管理中心设置

    1. Microsoft 365 服务设置
    2. 设置从Microsoft Copilot Studio到Viva Insights的数据流
    3. 跨地理位置设置

    Power BI 提示、常见问题解答和疑难解答

    详细了解如何共享报表和其他 Power BI 提示、排查任何问题或查看常见问题解答

    筛选器