[本文是预发行文档,可能会有所更改。]
主题是用户问题库中触发生成式回答的问答组合。 主题功能将相关用户问题智能聚合为更精简易控的分类组。 借助主题,你可以深入了解客户意向、识别频繁的主题,并将精力集中在需要改进的领域上。 然后,可以向下钻取到主题的各个问题,并在此更精细的级别监视性能,以便更好地了解主题级指标。
重要
本文包含 Microsoft Copilot Studio 预览文档,并可能会更改。
预览功能不适用于生产用途,并且可能具有受限功能。 这些功能在正式发布之前可用,以便你可以提前访问并提供 反馈。
如果要生成生产就绪的代理,请参阅 Microsoft Copilot Studio 概述。
关键价值主张
主题功能会自动分析过去一周触发生成 AI 响应的所有未分类问题,并基于此分析建议主题。 此过程每周运行一次。 在每周 主题建议运行之间,该功能对任何触发生成性 AI 响应的新问题执行每日分类,并将这些数据添加到主题指标中。 建议 的主题 列表会定期刷新,以便主题保持相关性并反映最新的用户数据。 此自动刷新可节省时间:
- 持续评估针对新数据的主题相关性
- 自动将各个问题分类为主题
- 自动检索每个主题的原始指标数据
- 计算每个主题的聚合指标数据
先决条件
为优化主题功能价值(包括支持向下钻取各主题的组件问题与回答):
需要 机器人脚本查看器 安全角色才能查看列表及其指标。 只有管理员才能在 代理共享期间分配 机器人脚本查看器 安全角色来授予此角色。
在 Dataverse 中存储对话记录的环境级别设置处于打开状态。
建议的主题和分类问题
Copilot Studio 根据最近一次提出的问题记录建议主题。 通过定制每个建议的主题以满足组织的结构和客户体验策略,你可以通过特定于主题的关键绩效指标(KPI)获得更好的见解。 这种更深入的粒度使得查找代理性能不佳的位置更容易。
主题可帮助创建者了解用户询问代理的问题以及代理的执行方式。 在基于主题的分析的初始运行中,Copilot Studio 将查看过去一周的所有问题,并建议最多 10 个主题根据彼此相似之处对用户问题进行分组。 每个主题包括指标,例如问题总数、答案率和用户反应。 “ 主题” 列表中的显示数据根据所选分析周期进行调整。
首次运行后,Copilot Studio 将新问题分类为现有主题,并每周生成一个新的建议主题列表。
注释
- 在 Copilot Studio 生成建议的主题之前,必须在过去七天中记录至少 50 个问题的生成式答案。
- 触发生成式 AI 响应的问题可能会被分类为多个主题。 这种情况在 生成式编排 模式下可能会变得更加常见,在这种模式下,代理应答可能来自多个不同的来源。
- 未分类的任何问题都放入 未分类 的主题中。
- 每周建议的运行可能需要几分钟完成。 在此期间, “主题” 部分不可用。
主题列表
默认情况下, 主题 列表显示前五 (5) 个主题,按分类到每个主题的问题总数进行排名。 选择“ 查看所有 ”以展开列表以显示所有主题。
借助自动每周 主题建议 运行和每日问题分类,主题功能会自动发展,并适应用户行为的变化。
主题 列表 显示每个列出的主题的指标。
| 列 | Description |
|---|---|
| Name | 主题的名称。 |
| 问题总数 | 在配置的时间段内,按此主题分类的问题总数。 |
| 回答的问题 | 生成用户问题答案的问题总数的比例。 |
| 反应 | 各主题下问题收到的正面(赞)与负面(踩)反馈原始计数。 |
注释
为什么在所有已分类的问题生成了 AI 答案的情况下,我的主题中仍然有“未回答的问题”?
根据定义,只有触发生成式 AI 答案的问题才能归类到某个主题。 但是,触发一个生成式回答的请求并不等同于对用户查询给出答案。
例如,通常存在连接到知识源的对话增强主题。 在这种情况下,如果无法识别意向,则可能会触发本主题来调用知识源,即使该知识源中没有问题的答案。
深入探讨主题
若要向下钻取到分组到任何一个主题中的问题,请在 “主题” 列表中选择主题。 向下钻取时,将打开特定于所选主题的面板,在主题和单个问题级别显示指标。
注释
主题列表包括:
- 最近最多 100 个问题被分类到每个主题中。
- 过去 30 天内的问题,无论配置的时间段如何。 如果配置的时间段完全超出过去 30 天,Copilot Studio 会显示列表不可用的通知。
在主题的详细查看面板中,首先呈现主题级别的指标。
| 主题级指标 | Description |
|---|---|
| 问题总数 | 在配置的时间段内,触发生成式 AI 响应的问题(分类到此主题)总数。 |
| 回答的问题 | 生成用户问题答案的此主题的问题总数的比例。 |
| 未回答的问题 | 不参与生成用户问题答案的此主题的问题总数的比例。 |
| 反应 | 在“学习反馈”机制中记录的分类到此主题的问题的原始正面(好评)和负面(差评)反应计数。 |
若要显示已回答问题样本的响应质量明细,以及此主题中所有引用的知识源,请选择 “显示更多”。
在 主题指标面板 上,要查看有关主题级别的任何一个响应质量值的更多信息,请在 响应质量下,将鼠标悬停在单个条形细分上。 工具提示包括该段的相对权重值,以及为得出该权重值所采样的问题数量。
若要查看列出的任何一个知识源级别的详细信息,请在 知识源使用下,选择单个知识源。 工具提示包括:
- 此主题中引用此知识源的问题总数,以及 竖起大拇指 和 竖起大拇指 的反应数。
- 堆叠条形图,显示主题中引用此知识源的问题的响应质量相对权重明细。 将鼠标悬停在条形图的任何部分上,可查看该部分的相对权重值以及为得出该值而采样的问题数。
在单个主题的向下钻取面板中, “用户问题 ”部分列出了在配置的时间段内触发生成式 AI 响应并分类到此主题中的所有问题,并按 每个问题 显示指标。 问题级指标包括:
| 问题级维度或指标 | Description |
|---|---|
| 问题(维度) | 分类到此主题的问题(触发生成式 AI 响应)。 |
| 是否已回答? | 用户查询是否已得到答复的问题的响应。 可能的值为 Answered 和 Unanswered。 |
| 响应质量1 | 回答用户查询响应质量的问题。 可能的值为 Poor 和 Good。 |
| 回应 | 两个参数,即布尔型 点赞/点踩 指标,以及基于文本的 评论 参数。 |
| 知识来源 | 本主题中此问题引用的知识源的逗号分隔列表。 |
1 响应质量并非始终可用,仅当对问题进行了采样以供质量分析时才会显示。
选择列表中的任何问题,在 “问题详细信息 ”面板中显示有关问题的详细信息。 此面板包括:
| 详细的问题级别参数 | Description |
|---|---|
| 时间戳 | 回答问题的最新实例的时间戳。 |
| 用户查询 | 问题已提出。 |
| 响应 | 生成式 AI 响应。 |
| 赞/踩值 | 该问题最近一次被赞/踩参数标记时的对应数值。 |
| 注释 | 除了 “竖起大拇指”/“竖起大拇指 ”反应外,用户还提供可选的额外基于文本的注释。 |
| 响应质量1 | 回答用户查询响应质量的问题。 可能的值为 Poor 和 Good。 |
| 原因2 | 如果响应质量是 Poor,此参数将解释原因。 |
1 响应质量并非始终可用,仅当对问题进行了采样以供质量分析时才会显示。
2 如果响应质量 Good 或问题未被采样,则 Reason 参数不被赋值。