通过

Mosaic AI Model Serving 上支持的基础模型

本文介绍了可以使用 Mosaic AI Model Serving 服务的基础模型。

基础模型是大型、预先训练的神经网络，这些神经网络在大型和广泛的数据上进行训练。 这些模型旨在了解语言、图像或其他数据类型的常规模式，并可以针对具有其他训练的特定任务进行微调。 使用某些基础模型受模型开发人员许可证和可接受的使用策略的约束。 请参阅 适用的模型开发人员许可证和条款。

模型服务提供灵活的选项，用于根据需求托管和查询基础模型：

  • 按令牌付费：非常适合试验和快速探索。 此选项允许在 Databricks 工作区中查询预配置的终结点，而无需预先做出基础结构承诺。
  • AI 函数（批处理推理）：Databricks 托管的模型中有一部分子集被优化用于 AI 函数。 可以使用这些函数及其支持的模型将 AI 应用到数据并大规模运行批量推理生产工作负荷。
  • 预配的吞吐量：建议用于需要性能保证的生产用例。 此选项允许使用优化的服务终结点部署微调的基础模型。
  • 外部模型：此选项允许访问 Databricks 外部托管的基础模型，例如 OpenAI 或 Anthropic 提供的基础模型。 可以在 Databricks 中集中管理这些模型，以便简化治理。

基础模型托管在 Databricks 上

Databricks 托管最先进的开放基础模型，如 Meta Llama。 这些模型是使用 基础模型 API 提供的。

下表总结了在每个区域中基于模型服务功能支持的 Databricks 托管模型和模型系列。

重要说明

  • Meta Llama 4 Maverick 适用于公共预览版中基础模型 API 预配吞吐量工作负荷。

  • 从 2024 年 12 月 11 日起，Meta-Llama-3.3-70B-Instruct 将在 Foundation Model APIs 的按令牌付费终结点中替代对 Meta-Llama-3.1-70B-Instruct 的支持。

  • Meta-Llama-3.1-405B-Instruct 是由 Meta 构建和训练的最大、最先进的公开可用的大型语言模型，通过 AzureML 模型目录使用 Azure 机器学习进行分发。

    • 从 2026 年 2 月 15 日开始，Meta-Llama-3.1-405B-Instruct 将停用按令牌付费工作负荷。
    • 从 2026 年 5 月 15 日开始，Meta-Llama-3.1-405B-Instruct 将停用预配的吞吐量工作负荷。
    • 有关建议的替换模型以及有关如何在弃用期间迁移的指导，请参阅 “停用”模型 。

  • 从 2026 年 2 月 15 日起，与以下模型系列关联的模型将停用，不再可用于任何模型服务功能区域。 有关推荐的替换模型以及有关如何在弃用期间迁移的指南，请参阅 已停用的模型 。

    • DBRX
    • Llama 3 70B
    • Llama 3 8B
    • Llama 2 70B
    • Llama 2 13B
    • Mistral 8x7B
    • Mixtral 8x7B
    • MPT 30B
    • MPT 7B
区域 基础模型 API（按令牌付费） AI 函数（批处理推理） 基础模型 API（预配吞吐量）
australiacentral 不支持 不支持 不支持
australiacentral2 不支持 不支持 不支持
australiaeast 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B*
    • Meta Llama 4 特立独行者（预览版）*
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
australiasoutheast 不支持 不支持 不支持
brazilsouth 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B*
    • OpenAI GPT OSS 20B*
    • Google Gemma 3 12B*
    • Meta Llama 4 特立独行* (预览版)
    • Meta Llama 3.3*
    • Meta Llama 3.2 3B*
    • Meta Llama 3.2 1B*
    • Meta Llama 3.1*
    • GTE v1.5 （英语）*
    • BGE v1.5 （英语）*
canadacentral 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B*
    • OpenAI GPT OSS 20B*
    • Google Gemma 3 12B*
    • Meta Llama 4 特立独行* (预览版)
    • Meta Llama 3.3*
    • Meta Llama 3.2 3B*
    • Meta Llama 3.2 1B*
    • Meta Llama 3.1*
    • GTE v1.5 （英语）*
    • BGE v1.5 （英语）*
canadaeast 不支持 不支持 不支持
centralindia 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B*
    • OpenAI GPT OSS 20B*
    • Google Gemma 3 12B*
    • Meta Llama 4 特立独行* (预览版)
    • Meta Llama 3.3*
    • Meta Llama 3.2 3B*
    • Meta Llama 3.2 1B*
    • Meta Llama 3.1*
    • GTE v1.5 （英语）*
    • BGE v1.5 （英语）*
centralus 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
chinaeast2 不支持 不支持 不支持
chinaeast3 不支持 不支持 不支持
chinanorth2 不支持 不支持 不支持
chinanorth3 不支持 不支持 不支持
eastasia 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B*
    • OpenAI GPT OSS 20B*
    • Google Gemma 3 12B*
    • Meta Llama 4 特立独行* (预览版)
    • Meta Llama 3.3*
    • Meta Llama 3.2 3B*
    • Meta Llama 3.2 1B*
    • Meta Llama 3.1*
    • GTE v1.5 （英语）*
    • BGE v1.5 （英语）*
eastus 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
eastus2 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
francecentral 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
germanywestcentral 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
japaneast 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B*
    • OpenAI GPT OSS 20B*
    • Google Gemma 3 12B*
    • Meta Llama 4 特立独行* (预览版)
    • Meta Llama 3.3*
    • Meta Llama 3.2 3B*
    • Meta Llama 3.2 1B*
    • Meta Llama 3.1*
    • GTE v1.5 （英语）*
    • BGE v1.5 （英语）*
japanwest 不支持 不支持 不支持
koreacentral 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B*
    • OpenAI GPT OSS 20B*
    • Google Gemma 3 12B*
    • Meta Llama 4 特立独行者*
    • Meta Llama 3.3*
    • Meta Llama 3.2 3B*
    • Meta Llama 3.2 1B*
    • Meta Llama 3.1*
mexicocentral 不支持 不支持 不支持
northcentralus 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
northeurope 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
norwayeast 不支持 不支持 不支持
qatarcentral 不支持 不支持 不支持
southafricanorth 不支持 不支持 不支持
southcentralus 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
southeastasia 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B*
    • OpenAI GPT OSS 20B*
    • Google Gemma 3 12B*
    • Meta Llama 4 特立独行* (预览版)
    • Meta Llama 3.3*
    • Meta Llama 3.2 3B*
    • Meta Llama 3.2 1B*
    • Meta Llama 3.1*
    • GTE v1.5 （英语）*
    • BGE v1.5 （英语）*
southindia 不支持 不支持 不支持
swedencentral 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
switzerlandnorth 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
switzerlandwest 不支持 不支持 不支持
uaenorth 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B*
    • OpenAI GPT OSS 20B*
    • Google Gemma 3 12B*
    • Meta Llama 4 特立独行* (预览版)
    • Meta Llama 3.3*
    • Meta Llama 3.2 3B*
    • Meta Llama 3.2 1B*
    • Meta Llama 3.1*
    • GTE v1.5 （英语）*
    • BGE v1.5 （英语）*
uksouth 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B*
    • OpenAI GPT OSS 20B*
    • Google Gemma 3 12B*
    • Meta Llama 4 特立独行* (预览版)
    • Meta Llama 3.3*
    • Meta Llama 3.2 3B*
    • Meta Llama 3.2 1B*
    • Meta Llama 3.1*
    • GTE v1.5 （英语）*
    • BGE v1.5 （英语）*
ukwest 不支持 不支持 不支持
westcentralus 不支持 不支持 不支持
westeurope 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
westindia 不支持 不支持 不支持
westus 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
westus2 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
westus3 不支持 不支持 不支持

* 基于 GPU 可用性支持此模型，需要 启用跨地域路由。

访问 Databricks 外部托管的基础模型

在 Databricks 上也可以使用外部模型访问 LLM 提供商（如 OpenAI 和 Anthropic）创建的基础模型。 这些模型托管在 Databricks 外部，你可以创建一个终结点来查询它们。 可以从 Azure Databricks 集中管理这些终结点，从而简化组织中各种 LLM 提供程序的使用和管理。

下表提供了一个包含支持的模型和相应端点类型的非详尽列表 。 可以使用列出的模型关联来帮助你为任何新发布的模型类型配置终结点，前提是这些模型在给定的提供商处可用。 客户有责任确保遵循适用的模型许可证。

注释

随着 LLM 的快速发展，不能保证此列表随时处于最新状态。 通常支持来自同一提供程序的新模型版本，即使它们不在列表中也是如此。

模型提供商 llm/v1/补全 llm/v1/chat llm/v1/嵌入
OpenAI**
  • gpt-3.5-turbo-instruct
  • babbage-002
  • davinci-002
  • o1
  • o1-mini
  • o1-mini-2024-09-12
  • gpt-3.5-turbo
  • gpt-4
  • gpt-4-turbo
  • gpt-4-turbo-2024-04
  • gpt-4o
  • gpt-4o-2024-05-13
  • gpt-4o-mini
  • text-embedding-ada-002
  • text-embedding-3-large
  • text-embedding-3-small
Azure OpenAI**
  • text-davinci-003
  • gpt-35-turbo-instruct
  • o1
  • o1-mini
  • gpt-35-turbo
  • gpt-35-turbo-16k
  • gpt-4
  • gpt-4-turbo
  • gpt-4-32k
  • gpt-4o
  • gpt-4o-mini
  • text-embedding-ada-002
  • text-embedding-3-large
  • text-embedding-3-small
Anthropic
  • claude-1
  • claude-1.3-100k
  • claude-2
  • claude-2.1
  • claude-2.0
  • claude-instant-1.2
  • claude-3-5-sonnet-latest
  • claude-3-5-俳句-最新
  • claude-3-5-opus-latest
  • claude-3-5-sonnet-20241022
  • claude-3-5-haiku-20241022
  • claude-3-5-sonnet-20240620
  • claude-3-haiku-20240307
  • claude-3-opus-20240229
  • claude-3-sonnet-20240229
Cohere**
  • 指令
  • command-light
  • command-r7b-12-2024
  • command-r-plus-08-2024
  • command-r-08-2024
  • Command-R-Plus
  • command-r
  • 指令
  • command-light-nightly
  • command-light
  • command-nightly
  • embed-english-v2.0（嵌入式英语-v2.0）
  • embed-multilingual-v2.0
  • embed-english-light-v2.0
  • embed-english-v3.0
  • embed-english-light-v3.0
  • embed-multilingual-v3.0
  • embed-multilingual-light-v3.0
Mosaic AI 模型服务 Databricks 服务终结点 Databricks 服务终结点 Databricks 服务终结点
Amazon Bedrock Anthropic：
  • claude-instant-v1
  • claude-v2

Cohere：
  • command-text-v14
  • command-light-text-v14

AI21 实验室：
  • j2-grande-instruct
  • j2-jumbo-instruct
  • j2-mid
  • j2-mid-v1
  • j2-ultra
  • j2-ultra-v1
 Anthropic：
  • claude-3-5-sonnet-20241022-v2：0
  • claude-3-5-haiku-20241022-v1：0
  • claude-3-opus-20240229-v1：0
  • claude-3-sonnet-20240229-v1：0
  • claude-3-5-sonnet-20240620-v1：0

Cohere：
  • command-r-plus-v1:0
  • command-r-v1:0

亚马逊河：
  • nova-lite-v1：0
  • nova-micro-v1：0
  • nova-pro-v1：0
 亚马逊河：
  • titan-embed-text-v2:0
  • titan-embed-text-v1
  • titan-embed-g1-text-02

Cohere：
  • embed-english-v3
  • embed-multilingual-v3
AI21 实验室†
  • j2-mid
  • j2-轻量
  • j2-ultra
Google Cloud 顶点 AI text-bison
  • chat-bison
  • gemini-pro
  • gemini-1.0-pro
  • gemini-1.5-pro
  • gemini-1.5-flash
  • gemini-2.0-flash
  • text-embedding-004
  • text-embedding-005
  • textembedding-gecko

** 模型提供商支持经过微调的补全和聊天模型。 若要查询微调的模型，请使用优化模型的名称填充 name 配置的 external model 字段。

†模型提供商支持自定义补全模型。

创建基础模型服务终结点

若要在 AI 应用程序中查询和使用基础模型，必须先创建提供终结点的模型。 模型服务使用统一的 API 和 UI 来创建和更新基础模型服务终结点。

查询基础模型服务终结点

创建服务终结点后，可以查询基础模型。 模型服务使用与 OpenAI 兼容的统一 API 和 SDK 来查询基础模型。 这种统一体验简化了跨受支持云和提供商进行试验和自定义生产的基础模型的方式。

请参阅使用基础模型。

  • Last updated on