共用方式為


Microsoft Foundry 模型部署概述

備註

本文件指的是 Microsoft Foundry(經典版) 入口網站。

🔍 請參閱 Microsoft Foundry(新)文件 以了解新入口網站。

Microsoft Foundry 中的模型目錄是發現並使用各種 Foundry 模型以建構生成式 AI 應用的樞紐。 您需要部署模型,使其可用於接收推論請求。 Foundry 提供一套完整的 Foundry 模型部署選項,依據您的需求與模型需求而定。

部署選項

Foundry 根據你需要配置的模型類型和資源,提供多種部署選項。 下列部署選項可供使用:

  • Foundry 資源中的標準部署
  • 部署至無伺服器 API 端點
  • 部署至受管理的運算資源

Foundry 入口網站可能會根據你的環境和設定自動選擇部署選項。 盡可能使用 Foundry 資源來部署。 支援多種部署選項的模型預設使用 Foundry 資源來部署。 若要存取其他部署選項,請使用 Azure CLI 或 Azure Machine Learning SDK 進行部署。

Foundry 資源中的標準部署

Foundry 資源(前稱 Azure AI Services 資源)是 Foundry 中首選的部署選項 。 它提供最廣泛的功能範圍,包括區域、數據區或全域處理,並提供標準和 預配置的吞吐量(PTU) 選項。 Foundry Models 中的旗艦模型支援此部署選項。

此部署選項適用於:

  • 鑄造廠資源
  • Azure OpenAI 資源1
  • 當連接到 Foundry 資源時的 Azure AI 中樞

1如果您使用 Azure OpenAI 資源,模型目錄只會在 Foundry 模型中顯示 Azure OpenAI 以進行部署。 你可以透過升級到 Foundry 資源來取得完整的 Foundry 模型清單。

欲開始在 Foundry 資源中進行標準部署,請參閱 「如何:部署模型到鑄造廠模型」。

無伺服器 API 端點

此部署選項適用於 Azure AI 中樞資源。 它可讓您建立專用端點來託管模型,並可透過 API 存取。 Foundry Models 支援無伺服器 API 端點,採用按需付費計費,且可僅為無伺服器 API 端點建立區域部署。

若要開始部署至無伺服器 API 端點,請參閱 將模型部署為無伺服器 API 部署

受控計算

此部署選項適用於 Azure AI 中樞資源。 它可讓您建立專用端點,以在 專用運算中託管模型。 您必須在訂用帳戶中有計算配額用於裝載模型,且會就每個計算可用時間向您收費。

模型集合需要受控計算部署,包括:

  • Hugging Face
  • NVIDIA 推理微服務 (NIM)
  • 產業模型(Saifr、Rockwell、Bayer、Cerence、Sight Machine、Page AI、SDAIA)
  • Databricks
  • 自訂模型

若要開始使用,請參閱如何部署和推斷受控計算部署 (部分內容可能是機器或 AI 翻譯) 和使用隨用隨付計費將 Foundry 模型佈署至受控計算 (部分內容可能是機器或 AI 翻譯)。

部署選項的功能

盡可能在 Foundry 資源中使用標準部署 。 此部署選項在可用的部署選項中提供最多的功能。 下表列出每個部署選項特定功能的詳細資料:

能力 Foundry 資源中的標準部署 無伺服器 API 端點 受控計算
可以部署哪些模型? Foundry 模型 使用隨用隨付計費的 Foundry 模型 開放式和自訂模型
部署資源 鑄造資源 AI 專案 (在 AI 中樞資源中) AI 專案 (在 AI 中樞資源中)
需要 AI 中樞 是的 是的
數據處理選項 地區
資料區域
全球
區域性 區域性
私人網路 是的 是的 是的
內容篩選 是的 是的
自訂內容篩選 是的
無金鑰驗證 是的
計費基礎 令牌使用量和 預設的輸送量單位 代幣使用2 計算核心時數3

2 最低端點基礎結構按分鐘計費。 您不會針對在無伺服器部署中承載模型的資源付費。 刪除端點之後,就不會再產生任何費用。

3 計費是按分鐘計算的,視產品層以及自建立以來部署中使用的執行個體數目而定。 刪除端點之後,就不會再產生任何費用。