监视分类模型的公平性和偏差

通过数据分析，可以监视分类模型的预测，以查看模型是否对与不同组关联的数据执行类似作。 例如，可以调查贷款违约分类器是否为来自不同人口统计数据的申请人生成相同的误报率。

运用公平性和偏见指标

若要监视公平性和偏见，请创建布尔切片表达式。 由切片表达式计算出结果为 True 的组被视为受保护的组（也就是您要检查是否存在偏见的组）。 例如，如果创建slicing_exprs=["age < 25"]，则由 slice_key =“age < 25”标识的slice_value = True切片被视为受保护组，并且由 slice_key =“age < 25”标识的slice_value = False切片被视为未受保护的组。

概要文件会自动计算指标，这些指标用于比较组之间分类模型的性能。 概要指标表中报告了以下指标：

• predictive_parity，用于比较模型在组之间的精度。
• predictive_equality，用于比较组之间的误报率。
• equal_opportunity，用于衡量标签是否能同样有效地预测两个组。
• statistical_parity，用于度量组之间预测结果的差异。

仅当分析类型为 InferenceLog 且 problem_type 为 classification 时，才会计算这些指标。

有关这些指标的定义，请参阅以下参考：

• 有关机器学习公平性的维基百科文章： https://en.wikipedia.org/wiki/Fairness_(machine_learning)
• 公平定义解释，Verma和鲁宾，2018

公平性和偏差指标输出

请参阅 API 参考 ，详细了解这些指标以及如何在指标表中查看它们。 所有公平性和偏差指标都共享与下文所示相同的数据类型，显示的是以“一对多”方式计算的所有预测类的公平性得分，作为键值对。

可以针对这些指标创建警报。 例如，当公平性指标超过某个阈值时，模型所有者可以设置警报，然后将该警报路由到呼叫人员或团队进行调查。