在 Microsoft Foundry 门户中查看评估结果

提交评估后，在评估页上查找执行结果。 筛选或调整列以关注感兴趣的运行。 在深入分析之前，一目了然地查看顶层指标。

选择“了解更多关于指标的定义和公式”。

选择一个运行以查看详细信息（数据集、任务类型、提示、参数）以及每个样本的指标。 指标仪表板可视化每个指标的传递率或聚合分数。

在 Foundry 中，引入了组运行的概念。 可以在共享常见特征（如指标和数据集）的组中创建多个运行，以便更轻松地进行比较。 运行评估后，在 “评估 ”页上找到该组，其中包含组评估列表和关联的元数据，例如目标数和上次修改日期。

选择一个组运行以查看组详细信息，包括每个运行和高级指标，例如该组中每个运行的持续时间、令牌和评估器分数。

通过在此组中选择运行，还可以深入查看该特定运行的行详细数据。

选择“了解更多关于指标的定义和公式”。

指标仪表板

在 “指标仪表板 ”部分中，聚合视图按包括 AI 质量（AI 辅助）、 风险和安全（预览版）、 AI 质量（NLP）和 自定义 （如果适用）的指标细分。 根据创建评估时选择的条件，结果以通过/失败的百分比进行度量。 有关指标定义及其计算方式的详细信息，请参阅 什么是计算器？。

• 对于 AI 质量（AI 辅助） 指标，结果通过平均每个指标的所有分数进行聚合。 如果使用 Groundedness Pro，则输出为二进制，聚合分数为传递速率： (#trues / #instances) × 100。
• 对于 风险和安全（预览版） 指标，结果按缺陷率进行聚合。
  • 内容危害：超过严重性阈值的实例百分比（默认值 Medium）。
  • 对于受保护的材料和间接攻击，缺陷率计算为应用公式true时输出结果为(Defect Rate = (#trues / #instances) × 100)的实例百分比。
• 对于 AI 质量（NLP） 指标，按每个指标的平均分数聚合结果。

评估运行结果和通过率

可以在“评估运行与结果通过率”页面中查看组内的每个运行。 此视图显示所选的每个评估器的运行、目标、状态、运行持续时间、令牌和通过率。

如果您想取消运行，可以通过选择各个运行并单击列表顶部的“取消运行”按钮来完成。

详细指标结果表

使用仪表板下方的表格检查每个数据样本。 按指标排序，以显示性能最差的样本并识别系统间隙（错误结果、安全故障、延迟）。 使用搜索功能聚类相关的故障主题。 应用列自定义以专注于关键指标。

典型操作：

• 筛选低分数以检测重复模式。
• 出现系统性差距时，请调整提示或进行微调。
• 导出以供脱机分析。

下面是问答方案的指标结果的一些示例：

某些评估具有子评估器，使你能够查看子评估结果的 JSON。 若要查看结果，请选择 JSON 中的“查看”。

在 JSON 预览版中查看 JSON：

下面是聊天方案的指标结果的一些示例。 若要在整个多轮对话中查看结果，请在“对话”列中选择“按轮次查看评估结果”。

选择 “按轮次查看评估结果”时，会看到以下屏幕：

对于多模式方案中的安全评估（文本和图像），可以通过查看详细指标结果表中的输入和输出中的图像来更好地了解评估结果。 由于目前仅会话方案支持多模式评估，因此可以选择 “查看每个轮次的评估结果 ”来检查每个轮次的输入和输出。

选择要展开的图像并进行查看。 默认情况下，所有图像都是模糊的，以保护你免受潜在有害内容的影响。 若要清楚地查看图像，请打开 “检查模糊图像 ”切换。

评估结果对于不同的受众可能有不同的含义。 例如，安全评估可能会为 暴力内容的低 严重性生成标签，该标签可能与人工审阅者对特定暴力内容有多严重性的定义不一致。 在创建评估期间设置的合格成绩将确定是分配合格还是不合格。 有一个 人工反馈 列，你可以在查看评估结果时选择竖起大拇指或向下拇指图标。 可以使用此列记录人工审阅者批准或标记为错误的实例。

若要了解每个内容风险指标，请在 “报表 ”部分中查看指标定义，或查看“ 指标仪表板 ”部分中的测试。

如果运行出现问题，还可以使用日志调试评估运行。 下面是一些可用于调试评估运行的日志示例：

如果您正在评估提示流，可以选择 “查看流” 按钮以转到已评估的流页面并更新您的流程。 例如，可以添加额外的元提示说明，或更改某些参数并重新计算。

评估运行数据

若要查看单个运行的轮次数据，请选择运行的名称。 这提供了一个视图，使你可以根据所使用的每个评估者逐个查看评估结果。

若要比较两个或两个以上的运行，请选择所需的运行并启动进程。 为详细的仪表板视图选择“ 比较 ”按钮或“ 切换到仪表板视图 ”按钮。 分析和对比多个运行的性能和结果，以做出明智的决策和有针对性的改进。

在仪表板视图中，可以访问两个有价值的组件：指标分布比较 图表 和比较 表。 可以使用这些工具对所选评估运行执行并行分析。 可以轻松准确地比较每个数据样本的各个方面。

以下屏幕截图显示了字段相同时的结果：

当用户在创建评估时未使用相同的 条件名称 时，字段不匹配，这会导致平台无法直接比较结果：

在比较表中，将鼠标悬停在要用作参考点的运行上，并将其设置为基线。 激活“显示增量”开关，以可视化基线运行与其他运行之间的数值差异。 选择“仅显示差异”开关，以仅显示所选运行中的不同行，帮助识别差异。

通过使用这些比较功能，你可以做出明智的决定来选择最佳版本：

• 基线比较：通过设置基线运行，可以识别用于与其他运行进行比较的参考点。 您可以看到每次执行如何偏离您所选择的标准。
• 数值评估：启用 “显示增量 ”选项有助于了解基线与其他运行之间的差异的程度。 此信息可帮助你评估各种运行在特定的评估指标方面的表现。
• 差异隔离： 仅显示差异 功能通过仅突出显示运行之间存在差异的区域来简化分析。 此信息有助于确定需要改进或调整的位置。

使用比较工具选择性能最佳的配置，避免安全性或稳健性方面的回退。

为了便于在两个或多个运行之间进行全面比较，可以选择所需的运行并启动进程。

1. 在评估详细信息页中选择两个或两个以上的运行。
2. 选择“比较”。

它为所有选定的运行生成并排比较视图。

比较是基于统计t检验来计算的，该检验提供更敏感且可靠的结果，以便您做出决策。 可以使用此功能的不同功能：

• 基线比较：通过设置一个基线任务运行，您可以确定一个参考点以此来比较其他任务的运行情况。 您可以看到每次执行如何偏离您所选择的标准。
• 统计 t 检验评估：每个单元格提供使用不同颜色代码且在统计方面具有显著性差异的结果。 还可以将鼠标悬停在单元格上以获取样本大小和 p 值。

测量越狱漏洞

评估越狱漏洞是一种比较度量，而不是 AI 辅助指标。 对两个不同的红队数据集运行评估：基线对抗性测试数据集与第一轮越狱注入的相同对抗性测试数据集。 可以使用对抗性数据模拟器生成包含或不包含越狱注入的数据集。 配置运行时，请确保每个评估指标 的条件名称 值相同。

若要检查应用程序是否容易受到越狱攻击，请指定基线并打开比较表中的 越狱缺陷率 切换。 越狱缺陷率是指在测试数据集中，相对于跨整个数据集的基线，越狱注入对任何内容风险指标产生较高严重性分数的实例的百分比。 在 “比较 ”仪表板中选择多个评估，以查看缺陷率的差异。