Microsoft Foundry 门户中的模型排行榜（预览版）

每当找到喜欢的模型时，都可以将其选中，并放大模型目录中模型 的详细基准测试结果 。 如果对模型感到满意，可以部署模型，在沙盒中试用该模型，或对您的数据进行评估。 排行榜支持跨文本语言模型（大型语言模型（LLM）和小型语言模型（SLM）和嵌入模型进行基准测试。

模型基准评估以下类别的 LLM 和 SLA：质量、安全、成本和吞吐量。 此外，我们还使用标准基准评估嵌入模型的质量。 随着更多更合理的不饱和基准的加入以及新模型添加到模型目录，排行榜会定期更新。

模型基准测试范围

模型排行榜从 Foundry 模型目录中精选了基于文本的语言模型。 模型基于以下条件入选：

• 优先 Azure 直接模型：严格选择 Azure 直接模型，这些模型是推荐用于客户 GenAI 方案且相关性最高的模型。
• 核心基准适用性：模型必须适用于常规用途语言任务，包括推理、知识、问答 (QA)、数学推理和编码功能。 不支持专用模型（例如蛋白质折叠或特定于域的 QA）或其他形式。

此范围可确保排行榜反映当下时兴且与核心 AI 方案相关的高质量模型。

语言模型的质量基准

Foundry 使用标准、综合基准数据集的准确度分数评估 LLM 和 SLM 的质量。这些评分衡量模型的各种能力，例如推理、知识、问答、数学和编码等。

质量指数在零到一的范围内提供。 质量指数值越高越好。 质量索引中包含的数据集包括：

查看准确性分数的更多详细信息：

准确性分数是在零到一的范围内提供的。 值越大越好。

语言模型的安全基准

为了指导选择用于评估的安全基准，我们应用结构化筛选和验证过程，旨在确保相关性和严格性。 如果基准能解决高优先级风险，就符合入职资格。 对于安全排行榜，我们查看不同的基准，这些基准可以被视为足够可靠，以便在与安全相关的某些主题上提供一些信号。 我们选择 HarmBench 来代理模型安全性，并按如下所示组织方案排行榜：

模型有害行为

HarmBench 基准衡量模型有害行为，包括来自模型的非法有害行为的提示。 与安全相关时，基准涵盖行为的七种语义类别：

• 网络犯罪和未经授权的入侵
• 化学和生物武器/药物
• 侵犯版权
• 错误信息与反信息
• 骚扰和欺凌
• 非法活动
• 一般性伤害

这七个类别又可以汇总为三个功能类别

• 标准有害行为
• 上下文有害行为
• 版权违规

每个功能类别都出现在单独的方案排行榜中。 我们使用来自 HarmBench（无攻击）和 HarmBench 评估器的直接提示来计算攻击成功率（ASR）。 ASR 值更低意味着模型更安全。 我们评估中不会探索任何攻击策略，并且执行模型基准测试时已关闭 Foundry 内容安全筛选器。

模型检测有毒内容的能力

Toxigen 是一个大规模计算机生成的数据集，用于对抗和隐式仇恨语音检测。 它包含隐式有毒和良性的句子，提到13个少数民族。 我们使用 Toxigen 的带批注样本进行评估和计算 F1 分数来衡量分类性能。 此数据集的评分更高意味着模型更善于检测有毒内容。 模型基准测试将在 Foundry 内容安全筛选器关闭的情况下执行。

敏感域中的模型知识

大规模杀伤性代理 (WMDP) 基准衡量敏感领域的模型知识，包括生物安全、网络安全和化学安全。 排行榜使用网络安全、生物安全和化学安全的平均准确度分数。 更高的 WMDP 准确度分数表示对危险能力（安全角度更差的行为）的了解。 执行模型基准测试时会开启默认的 Foundry 内容安全筛选器。 这些安全筛选器会检测和阻止涉及暴力、自我伤害、性、仇恨和不公平性的有害内容，但不针对网络安全、生物安全和化学安全类别。

安全基准的限制

我们理解并承认安全是一个复杂的主题，具有多个维度。 目前没有一个开源基准可以测试或表示不同方案中系统的完整安全性。 此外，这些基准中的大多数都遭受了饱和，或基准设计和风险定义之间的不对称，可能缺乏关于目标风险概念化和作化方式的明确文档，因此很难评估基准是否准确捕获风险的细微差别。 这种限制可能导致在实际安全方案中过度估计或低估模型性能。

语言模型的性能基准

性能指标根据每天发送的 24 条跟踪（每条跟踪两个请求，每条跟踪间隔 1 小时）在 14 天内进行汇总计算得出的。 以下默认参数用于向模型终结点发出的每个请求：

LLM 和 SLM 的性能通过以下指标进行评估：

Foundry 还显示延迟和吞吐量的性能指标，如下所示：

对于延迟或吞吐量等性能指标，生成首个令牌的时间和每秒生成的令牌数可以更全面地反映模型的典型性能和行为。 我们定期刷新性能指标。

语言模型的成本基准

成本计算是使用托管在 Foundry 平台上的 LLM 或 SLM 模型终结点的估计成本。 Foundry 支持显示无服务器 API 部署和 Azure OpenAI 模型的成本。 由于这些成本可能会更改，因此我们会定期刷新成本计算。

LLM 和 SLM 的成本通过以下指标进行评估：

Foundry 还按如下所示显示成本：

方案排行榜基准测试

方案排行榜按常见的实际评估目标对基准数据集进行分组，以便你可以根据用例快速确定模型的优缺点。 每个方案会聚合一个或多个公共基准数据集。 下表汇总了可用的方案排行榜及其关联的数据集和说明：

嵌入模型的质量基准

嵌入模型的质量索引定义为面向信息检索、文档聚类分析和摘要任务的综合无服务器 API 基准数据集的平均准确度分数。

查看特定于每个数据集的准确性分数定义的更多详细信息：

分数的计算

个人得分

基准检验结果源自常用于语言模型评估的公共数据集。 在大多数情况下，数据托管在由数据创建者或管护者维护的 GitHub 存储库中。 Foundry 评估管道从原始数据源下载数据，从每个示例行中提取提示，生成模型响应，然后计算相关的准确度指标。

提示构造遵循每个数据集的最佳做法，这些做法由介绍数据集和行业标准的论文定义。 在大多数情况下，每个提示都包含几个样本，即完整问题和答案的示例，以便为任务模型打好基础。 评估管道通过从评估中保留的部分数据对问题和答案进行采样来创建样本。

相关内容

• 使用 Foundry 门户中的模型排行榜比较和选择模型
• Foundry 门户中的模型目录和合集