交叉验证报告中的度量值

在交叉验证期间,Analysis Services 将数据划分为多个跨部分,然后迭代测试结构和任何关联的挖掘模型。 根据此分析,它将输出一组针对结构和每个模型的标准准确性度量值。

报告包含一些有关数据中的折叠数以及每个折叠中的数据量以及描述数据分布的一组常规指标的基本信息。 通过比较每个跨部分的一般指标,可以评估结构或模型的可靠性。

Analysis Services 还显示一组用于挖掘模型的详细度量值。 这些度量值取决于模型类型和要分析的属性的类型:例如,无论是离散还是连续的。

本部分提供 交叉验证 报告中包含的度量值列表及其含义。 有关如何计算每个度量值的详细信息,请参阅 交叉验证公式

交叉验证报告中的度量值列表

下表列出了交叉验证报表中显示的度量值。 这些度量值按 测试类型进行分组,下表的左侧列中提供。 右侧列列出报表中显示的度量值的名称,并简要说明其含义。

测试类型 度量值和说明
集群 适用于聚类分析模型的度量值:

事例可能性:此度量值通常指示事例属于特定群集的可能性。
对于交叉验证,分数将求和,然后除以事例数,因此此处的分数是平均事例可能性。
分类 适用于分类模型的度量值:

真正阳性
真负/ 假阳性/ 假阳性:在分区中,预测状态与目标状态匹配且预测概率大于指定阈值的行或值的计数。 排除了目标属性缺失值的事例,这意味着所有值的计数可能不会加起来
通过/失败:预测状态与目标状态匹配且预测概率值大于 0 的分区中行或值的计数。
可能性 可能性度量适用于多个模型类型:

提升:实际预测概率与测试用例中边际概率的比率。 排除了目标属性缺少值的行。 此度量值通常显示使用模型时目标结果的概率会提高多少。

根均方误差:所有分区事例均误差的平方根,除以分区中的事例数,不包括目标属性缺少值的行。 RMSE 是预测模型的常用估算器。 评分通过对每个事例的残差求平均,生成一个表示模型误差的单一指标。

日志分数:每个事例的实际概率的对数,求和,然后除以输入数据集中的行数,不包括目标属性缺少值的行数。 由于概率表示为十进制分数,因此日志分数始终为负数。 接近 0 的数字是更好的分数。 虽然原始分数的分布非常不规则或偏斜,但日志分数类似于百分比。
估计 仅适用于估计模型(用于预测连续数值属性)的度量值:

根均方误差:当预测值与实际值进行比较时的平均误差。 RMSE 是预测模型的常用估算器。 分数对每个事例的残差进行平均,以得出模型误差的单一指标。

平均绝对误差:预测值与实际值进行比较时的平均误差,计算为误差绝对总和的平均值。 平均绝对误差对于了解预测总体与实际值的接近程度非常有用。 较小的分数意味着预测更准确。

日志分数:将每个案例的实际概率取对数后求和,再除以输入数据集中行的总数,其中不包括那些目标属性值缺失的行。 由于概率表示为十进制分数,因此日志分数始终为负数。 接近 0 的数字是更好的分数。 虽然原始分数的分布非常不规则或偏斜,但日志分数类似于百分比。
聚合 聚合度量值提供每个分区的结果差异的指示:

平均值:特定度量值的分区值平均值。

标准偏差:某一特定度量值在模型中所有分区的偏差平均数。 对于交叉验证,此分数的较高值意味着分组之间的显著差异。

另请参阅

测试和验证 (数据挖掘)