浏览 Azure 机器学习中的 Microsoft Foundry 模型

Microsoft Foundry 模型是发现、评估和部署功能强大的 AI 模型的一站式目标，无论你是构建自定义 copilot、构建代理、增强现有应用程序还是探索新的 AI 功能。

使用 Foundry 模型，可以：

• 探索来自 Microsoft、OpenAI、DeepSeek、Hugging Face、Meta 等的丰富尖端模型目录。
• 使用实际任务和你自己的数据并排比较和评估模型。
• 借助内置的微调、可观测性和负责任 AI 工具，可以自信地完成部署。
• 选择路径 - 自带模型、使用托管模型或与 Azure 服务无缝集成。
• 无论你是开发人员、数据科学家还是企业架构师，Foundry 模型都为你提供了灵活性和控制，以构建可安全、负责任且快速缩放的 AI 解决方案。

Foundry 提供了一个全面的 AI 模型目录。 有 1900 多个模型，包括基础模型、推理模型、小型语言模型、多模式模型、域特定模型、行业模型等。

我们的目录分为两个主要类别：

• 由 Azure 直接销售的模型
• 来自合作伙伴和社区的模型

了解这些类别之间的区别有助于根据具体的要求和战略目标选择正确的模型。

由 Azure 直接销售的模型

这些模型由Microsoft产品条款下的Microsoft托管和销售。 这些模型经过严格的评估，并深入集成到 Azure 的 AI 生态系统中。 这些模型来自各种顶级提供商，它们提供增强的集成、优化的性能和直接Microsoft支持，包括企业级服务级别协议（SLA）。

这些直接模型的特征：

• 来自Microsoft的官方第一方支持
• 与 Azure 服务和基础结构的高级集成
• 广泛的性能基准测试和验证
• 遵守Microsoft负责任的 AI 标准
• 企业级可伸缩性、可靠性和安全性

这些模型还具有可互换的预配吞吐量的好处，这意味着可以在这些模型中的任何一个灵活使用配额和预留。

来自合作伙伴和社区的模型

这些模型构成了绝大多数的铸造模型。 这些模型由受信任的第三方组织、合作伙伴、研究实验室和社区参与者提供。 这些模型提供专用和多样化的 AI 功能，涵盖各种方案、行业和创新。

来自合作伙伴和社区的模型的特征：

• 由外部合作伙伴和社区参与者开发和支持
• 多样化的专业模型，满足特定或广泛用途
• 通常由提供程序自行验证，并由 Azure 提供集成指南。
• 社区驱动的创新和尖端模型的快速可用性
• 标准 Azure AI 集成，支持和维护由相应提供商管理

模型可部署为托管计算或标准（即用即付）部署选项。 模型提供程序选择模型可部署的方式。

在直接模型与合作伙伴和社区模型之间进行选择

从 Foundry 模型中选择模型时，请考虑以下事项：

• 用例和要求：Azure 直接销售的模型非常适合需要深度 Azure 集成、有保证的支持和企业 SLA 的方案。 Azure 生态系统模型擅长专用用例和创新主导的方案。
• 支持预期：Azure 直接销售的模型附带可靠的Microsoft支持和维护。 这些模型由各自的提供商支持，其服务水平协议（SLA）和支持结构各不相同。
• 创新和专业化：合作伙伴和社区的模型提供快速访问专业创新和利基功能，通常由领先的研究实验室和新兴 AI 提供商开发。

模型集合

模型目录将模型组织到不同的集合中：

• Azure 上独家提供的 Azure OpenAI 模型：通过与 Foundry 模型中的 Azure OpenAI 集成提供旗舰 Azure OpenAI 模型。 Microsoft 将为这些模型提供支持，它们的使用受产品条款和 Foundry 模型中的 Azure OpenAI SLA 约束。

• 来自 Hugging Face 中心的开放模型：来自 Hugging Face 中心的数百个模型，用于在托管计算中进行实时推理。 此集合中列出的模型由 Hugging Face 创建和维护。 如需帮助，请使用 Hugging Face 论坛或 Hugging Face 支持。 在《使用 Foundry 部署开放模型》中了解更多信息。

可以使用此表单来请求将模型添加到模型目录。

模型目录功能的概述

Foundry 门户中的模型目录是发现和使用各种模型以构建生成式 AI 应用程序的中心。 模型目录中展示了来自多个模型提供商（例如 Azure OpenAI、Mistral、Meta、Cohere、NVIDIA 和 Hugging Face）的数百个模型，其中包括微软训练的模型。 来自非 Microsoft 的供应商的模型是 Microsoft 产品条款 中定义的非 Microsoft 产品，需遵循模型附带的条款。

可以通过关键字搜索和筛选器搜索和发现满足需求的模型。 模型目录还提供模型性能排行榜和所选模型的基准指标。 可以通过选择 “浏览排行榜 ”和 “比较模型”来访问它们。 还可以从“模型卡基准”选项卡访问基准数据。

在模型目录筛选器上，你会发现：

• 集合：可以根据模型提供程序集合筛选模型。
• 行业：可以筛选基于行业特定数据集训练的模型。
• 功能：可以筛选唯一的模型功能，例如推理和工具调用。
• 部署选项：可以筛选支持特定部署选项的模型。
  • 标准：此选项允许按 API 调用付费。
  • 预配：最适合用于对大量一致数据进行实时评分。
  • 批处理：最适合用于成本优化的批处理作业，而不是延迟。 不为批量部署提供操场支持。
  • 托管计算：此选项允许在 Azure 虚拟机上部署模型。 你需要支付托管和推理费用。
• 推理任务：可以根据推理任务类型筛选模型。
• 微调任务：可以根据微调任务类型筛选模型。
• 许可证：可以根据许可证类型筛选模型。

在模型卡上，你会看到：

• 速览信息：一目了然地看到有关模型的关键信息。
• 详细信息：此页面包含有关模型的详细信息，包括说明、版本信息、支持的数据类型等。
• 基准：你将找到选择模型的性能基准指标。
• 现有部署：如果已部署模型，可以在“现有部署”选项卡下找到它。
• 许可证：你将找到与模型许可相关的法律信息。
• 工件：此选项卡仅针对开放式模型显示。 可以查看模型资产并通过用户界面下载它们。

模型部署：托管计算和标准部署

除了 Azure OpenAI 模型，模型目录还提供两种不同的方法来部署要使用的模型：托管计算和标准部署。

每个模型的可用部署选项和功能各不相同，如下表中所述。 详细了解如何使用部署选项进行数据处理。

模型部署选项的功能

适用于受支持部署选项的可用模型

模型目录提供两种不同的方法，用于从目录中部署模型以供使用：托管计算和标准部署。 每个模型可用的部署选项各不相同；在下表中详细了解部署选项的功能以及可用于特定模型的选项。 详细了解如何使用部署选项进行数据处理。

托管计算

使用托管计算部署模型的功能基于 Azure 机器学习的平台功能，它能够在整个 GenAIOps（有时称为 LLMOps）生命周期内实现模型目录中广泛模型集合的无缝集成。

可部署为托管计算的模型的可用性

这些模型通过 Azure 机器学习注册表提供，使 ML 第一种方法能够托管和分发机器学习资产，例如模型权重、用于运行模型的容器运行时、用于评估和微调基准和示例的模型和数据集的管道。 这些 ML 注册表基于高度可缩放和企业就绪的基础结构构建，这些基础结构可以：

• 向具有内置异地复制的所有 Azure 区域提供低延迟访问模型项目。

• 支持企业安全要求，如使用 Azure Policy 限制访问模型以及使用托管虚拟网络实现安全部署。

使用托管计算部署用于推理的模型

可用于通过托管计算部署的模型可以部署到 Azure 机器学习联机终结点进行实时推理，或者可用于 Azure 机器学习批量推理以批量数据。 部署到托管计算时，需要在 Azure 订阅中为优化运行模型所需的特定 SKU 设置虚拟机配额。 某些模型允许你部署到临时共享配额以测试模型。 了解有关部署模型的详细信息：

• 部署 Meta Llama 模型
• 部署 Azure AI 创建的开放模型
• 部署 Hugging Face 模型

使用托管计算构建生成式 AI 应用

提示流提供原型制作、试验、迭代和部署 AI 应用程序的功能。 可以借助开放模型 LLM 工具在提示流中使用通过托管计算部署的模型。 还可以将常用 LLM 工具（例如 LangChain）中由托管计算公开的 REST API 与 Azure 机器学习扩展结合使用。

部署为托管计算的模型的内容安全

Azure AI 内容安全 (AACS) 服务可用于部署到托管计算的模型，以筛选各种类别的有害内容（例如性内容、暴力、仇恨和自残）以及高级威胁（例如越狱风险检测和受保护的材料文本检测）。 可以参考此笔记本来参考与 AACS for Llama 2 的集成，或使用提示流中的内容安全（文本）工具将模型响应传递到 AACS 进行筛选。 对于此类使用，将根据 AACS 定价单独计费。

使用标准计费的标准部署

模型目录中的特定模型可部署为使用标准计费的标准部署；此部署方法称为标准部署。 通过 MaaS 提供的模型托管在 Microsoft 管理的基础结构中，这使得对模型提供商模型的基于 API 的访问成为可能。 基于 API 的访问可以大幅降低访问模型的成本，并显著简化预配体验。 大多数 MaaS 模型都附带基于令牌的定价。

如何在 MaaS 中提供第三方模型？

可以用于标准计费的标准部署的模型由模型提供商提供，但托管在由 Microsoft 管理的 Azure 基础设施中，并通过 API 进行访问。 模型提供商定义许可条款并设置其模型的使用价格，而 Azure 机器学习服务管理托管基础结构，使推理 API 可用，并充当通过 MaaS 部署的模型提交的提示和内容输出的数据处理器。 有关 MaaS 数据处理的详细信息，请参阅数据隐私一文。

账单管理

通过 MaaS 部署的模型的发现、订阅和消耗体验位于 Foundry 门户和 Azure 机器学习工作室中。 用户接受使用模型时所要遵守的许可条款。 在部署期间将提供所用模型的定价信息。

非 Microsoft 提供商提供的模型将根据 Microsoft 商业市场使用条款通过 Azure 市场计费。

Microsoft 提供的模型将作为第一方消费服务通过 Azure 计量器计费。 如产品条款中所述，可以使用 Azure 计量器购买第一方消费服务，但它们不受 Azure 服务条款的约束。 使用这些模型须遵守提供的许可条款。

微调模型

对于通过 MaaS 提供并支持微调的模型，用户可利用使用标准计费的托管微调来使用自己提供的数据对模型进行定制。 有关详细信息，请参阅 Foundry 门户中的微调 Llama 2 模型。

包含部署为标准部署的模型的 RAG

Foundry 使用户能够利用矢量索引和检索增强生成。 可部署为标准部署的模型可用于基于自定义数据生成嵌入和推理，从而生成特定于其用例的答案。 有关详细信息，请参阅检索增强生成和索引。

产品/服务和模型的区域可用性

标准计费仅适用于那些 Azure 订阅隶属于在模型提供商已开放该套餐的国家/地区的计费帐户的用户。 如果该产品/服务在相关区域中提供，则用户必须在可部署或微调该模型（如果适用）的 Azure 区域拥有一个中心/项目。 有关详细信息，请参阅 标准部署中的模型的区域可用性 。

通过标准部署部署的模型的内容安全性

对于通过无服务器 API 部署的语言模型，Azure AI 实现 Azure AI 内容安全 文本审查筛选器的默认配置，用于检测有害内容，例如仇恨、自我伤害、性内容和暴力内容。 若要了解有关内容筛选的详细信息，请参阅 Azure 直接销售模型的防护措施与控制。

当服务处理提示生成内容时，内容筛选会同步进行。 你可能需要根据 Azure AI 内容安全定价为这种用法单独付费。 可通过以下方式为单个无服务器终结点禁用内容筛选：

• 首次部署语言模型时
• 以后，可以通过选择部署详细信息页面上的内容筛选切换开关来禁用

假设你决定使用 模型推理 API 以外的 API 来处理通过无服务器 API 部署的模型。 在这种情况下，除非使用 Azure AI 内容安全单独实现内容筛选，否则不会启用内容筛选。

若要开始使用 Azure AI 内容安全，请参阅快速入门：分析文本内容。 如果在处理通过无服务器 API 部署的模型时不使用内容筛选，则面临向有害内容公开用户的风险更高。

通过标准部署部署的模型的网络隔离

部署为标准部署的模型的终结点将遵循部署所在工作区的公用网络访问 (PNA) 标志设置。 若要保护 MaaS 终结点，请在工作区上禁用 PNA 标志。 可以使用工作区的专用终结点来保护从客户端到终结点的入站通信。

若要设置工作区的 PNA 标志，请执行以下操作：

• 转到 Azure 门户。
• 搜索 Azure 机器学习，并从工作区列表中选择你的工作区。
• 在“概述”页上，使用左窗格转到“设置>”。
• 在“公共访问”选项卡下，可以配置公用网络访问标志的设置。
• 保存更改。 你所做的更改最多可能需要五分钟才能传播。

局限性

• 如果在 2024 年 7 月 11 日之前创建了具有专用终结点的工作区，则添加到此工作区的新 MaaS 终结点不会遵循其网络配置。 相反，你需要为工作区创建新的专用终结点并在工作区中创建新的标准部署，以便新部署可以遵循工作区的网络配置。
• 如果在 2024 年 7 月 11 日之前创建了具有 MaaS 部署的工作区，并且已在此工作区上启用专用终结点，则现有的 MaaS 部署不会遵循该工作区的网络配置。 若要使工作区中的标准部署遵循工作区的配置，需要再次创建部署。
• 目前，基于自有数据支持不适用于专用工作区中的 MaaS 部署，因为专用工作区禁用了 PNA 标志。
• 任何网络配置更改（例如启用或禁用 PNA 标志）最多可能需要五分钟才能传播。

相关内容

• Foundry 模型目录中的模型弃用和停用
• 如何使用由 Azure 机器学习策划的开源基础模型