按主题分析用户问题(预览版)

[本文是预发行文档,可能会有所更改。]

主题是用户问题库中触发生成式回答的问答组合。 主题功能将相关用户问题智能聚合为更精简易控的分类组。 借助主题,你可以深入了解客户意向、识别频繁的主题,并将精力集中在需要改进的领域上。 然后,可以向下钻取到主题的各个问题,并在此更精细的级别监视性能,以便更好地了解主题级指标。

重要

本文包含 Microsoft Copilot Studio 预览文档,并可能会更改。

预览功能不适用于生产用途,并且可能具有受限功能。 这些功能在正式发布之前可用,以便你可以提前访问并提供 反馈

如果要生成生产就绪的代理,请参阅 Microsoft Copilot Studio 概述

关键价值主张

主题功能会自动分析过去一周触发生成 AI 响应的所有未分类问题,并基于此分析建议主题。 此过程每周运行一次。 在每周 主题建议运行之间,该功能对任何触发生成性 AI 响应的新问题执行每日分类,并将这些数据添加到主题指标中。 建议 的主题 列表会定期刷新,以便主题保持相关性并反映最新的用户数据。 此自动刷新可节省时间:

  • 持续评估针对新数据的主题相关性
  • 自动将各个问题分类为主题
  • 自动检索每个主题的原始指标数据
  • 计算每个主题的聚合指标数据

先决条件

为优化主题功能价值(包括支持向下钻取各主题的组件问题与回答):

建议的主题和分类问题

Copilot Studio 根据最近一次提出的问题记录建议主题。 通过定制每个建议的主题以满足组织的结构和客户体验策略,你可以通过特定于主题的关键绩效指标(KPI)获得更好的见解。 这种更深入的粒度使得查找代理性能不佳的位置更容易。

主题可帮助创建者了解用户询问代理的问题以及代理的执行方式。 在基于主题的分析的初始运行中,Copilot Studio 将查看过去一周的所有问题,并建议最多 10 个主题根据彼此相似之处对用户问题进行分组。 每个主题包括指标,例如问题总数、答案率和用户反应。 “ 主题” 列表中的显示数据根据所选分析周期进行调整。

首次运行后,Copilot Studio 将新问题分类为现有主题,并每周生成一个新的建议主题列表。

注释

  • 在 Copilot Studio 生成建议的主题之前,必须在过去七天中记录至少 50 个问题的生成式答案。
  • 触发生成式 AI 响应的问题可能会被分类为多个主题。 这种情况在 生成式编排 模式下可能会变得更加常见,在这种模式下,代理应答可能来自多个不同的来源。
  • 未分类的任何问题都放入 未分类 的主题中。
  • 每周建议的运行可能需要几分钟完成。 在此期间, “主题” 部分不可用。

主题列表

默认情况下, 主题 列表显示前五 (5) 个主题,按分类到每个主题的问题总数进行排名。 选择“ 查看所有 ”以展开列表以显示所有主题。

借助自动每周 主题建议 运行和每日问题分类,主题功能会自动发展,并适应用户行为的变化。

“分析”选项卡上“主题”列表的屏幕截图。

主题 列表 显示每个列出的主题的指标。

Description
Name 主题的名称。
问题总数 在配置的时间段内,按此主题分类的问题总数。
回答的问题 生成用户问题答案的问题总数的比例。
反应 各主题下问题收到的正面()与负面()反馈原始计数。

注释

为什么在所有已分类的问题生成了 AI 答案的情况下,我的主题中仍然有“未回答的问题”?

根据定义,只有触发生成式 AI 答案的问题才能归类到某个主题。 但是,触发一个生成式回答的请求并不等同于对用户查询给出答案。

例如,通常存在连接到知识源的对话增强主题。 在这种情况下,如果无法识别意向,则可能会触发本主题来调用知识源,即使该知识源中没有问题的答案。

深入探讨主题

若要向下钻取到分组到任何一个主题中的问题,请在 “主题” 列表中选择主题。 向下钻取时,将打开特定于所选主题的面板,在主题和单个问题级别显示指标。

注释

主题列表包括:

  • 最近最多 100 个问题被分类到每个主题中。
  • 过去 30 天内的问题,无论配置的时间段如何。 如果配置的时间段完全超出过去 30 天,Copilot Studio 会显示列表不可用的通知。

屏幕截图展示主题细化面板。

在主题的详细查看面板中,首先呈现主题级别的指标。

主题级指标 Description
问题总数 在配置的时间段内,触发生成式 AI 响应的问题(分类到此主题)总数。
回答的问题 生成用户问题答案的此主题的问题总数的比例。
未回答的问题 不参与生成用户问题答案的此主题的问题总数的比例。
反应 在“学习反馈”机制中记录的分类到此主题的问题的原始正面(好评)和负面(差评)反应计数。

若要显示已回答问题样本的响应质量明细,以及此主题中所有引用的知识源,请选择 “显示更多”

堆积条形图的屏幕截图,其中显示了主题的采样问题响应质量的相对权重。

主题指标面板 上,要查看有关主题级别的任何一个响应质量值的更多信息,请在 响应质量下,将鼠标悬停在单个条形细分上。 工具提示包括该段的相对权重值,以及为得出该权重值所采样的问题数量。

给定主题的响应质量相对权重的屏幕截图,显示一个质量值的工具提示。

若要查看列出的任何一个知识源级别的详细信息,请在 知识源使用下,选择单个知识源。 工具提示包括:

  • 此主题中引用此知识源的问题总数,以及 竖起大拇指竖起大拇指 的反应数。
  • 堆叠条形图,显示主题中引用此知识源的问题的响应质量相对权重明细。 将鼠标悬停在条形图的任何部分上,可查看该部分的相对权重值以及为得出该值而采样的问题数。

主题中给定知识源的响应质量相对权重的屏幕截图,显示一个质量值的工具提示。

在单个主题的向下钻取面板中, “用户问题 ”部分列出了在配置的时间段内触发生成式 AI 响应并分类到此主题中的所有问题,并按 每个问题 显示指标。 问题级指标包括:

问题级维度或指标 Description
问题(维度) 分类到此主题的问题(触发生成式 AI 响应)。
是否已回答? 用户查询是否已得到答复的问题的响应。 可能的值为 AnsweredUnanswered
响应质量1 回答用户查询响应质量的问题。 可能的值为 PoorGood
回应 两个参数,即布尔型 点赞/点踩 指标,以及基于文本的 评论 参数。
知识来源 本主题中此问题引用的知识源的逗号分隔列表。

1 响应质量并非始终可用,仅当对问题进行了采样以供质量分析时才会显示。

选择列表中的任何问题,在 “问题详细信息 ”面板中显示有关问题的详细信息。 此面板包括:

详细的问题级别参数 Description
时间戳 回答问题的最新实例的时间戳。
用户查询 问题已提出。
响应 生成式 AI 响应。
赞/踩值 该问题最近一次被赞/踩参数标记时的对应数值。
注释 除了 “竖起大拇指”/“竖起大拇指 ”反应外,用户还提供可选的额外基于文本的注释。
响应质量1 回答用户查询响应质量的问题。 可能的值为 PoorGood
原因2 如果响应质量是 Poor,此参数将解释原因。

1 响应质量并非始终可用,仅当对问题进行了采样以供质量分析时才会显示。

2 如果响应质量 Good 或问题未被采样,则 Reason 参数不被赋值。

主题中问题级指标详细信息的屏幕截图。