共用方式為

模型服務限制和區域

本文摘要說明 Mosaic AI 模型服務和支援的端點類型的限制和區域可用性。

資源和承載限制

Mosaic AI 模型服務會強制執行預設限制，以確保可靠的效能。 如果您對於這些限制有意見，請聯絡您的 Databricks 帳戶團隊。

下表摘要說明服務端點模型的資源和承載限制。

功能 粒度 限制
承載大小 依據要求 16 MB。 針對 基礎模型、外部模型或 AI 代理程式的端點， 限制為 4 MB。
要求/回應大小 依據要求 不會記錄超過 1 MB 的任何要求/回應。
每秒查詢數 (QPS) 每個工作區 200。針對較高的 QPS，啟用 路由優化。
模型執行持續時間 依據要求 297 秒
CPU 端點模型記憶體使用量 每個端點 4GB
GPU 端點模型記憶體使用量 每個端點 大於或等於指派的 GPU 記憶體，具體取決於 GPU 工作負載大小
佈建的預置平行處理 每個模型和每個工作區 200 並發性。 您可以透過聯繫 Databricks 客戶經理來增加其數量。
額外負荷延遲 依據要求 小於 50 毫秒
初始化腳本 不支援 Init 腳本。
基礎模型 API 速率限制 每個工作區 請參閱 基礎模型 API 速率限制和配額 ，以取得每個權杖付費和佈建輸送量限制的詳細資訊。

網路和安全性限制

  • 模型服務端點受到存取控制的保護，並遵守工作區設定的網路相關輸入規則，例如 IP 允許清單及私人連結。
  • 私人連線功能（例如 Azure Private Link）僅支援使用預配置輸送量的模型服務端點，或是提供自訂模型的端點。
  • 根據預設，模型服務不支援外部端點的私人連結 (例如 Azure OpenAI)。 這項功能的支援會根據每個區域進行評估和實作。 如需詳細資訊，請連絡 Azure Databricks 客戶團隊。
  • 模型服務功能不會提供現有模型映像的安全性修補程式，因為這樣可能會導致生產部署的不穩定性風險。 從新模型版本建立的新模型映像會包含最新的更新檔。 如需詳細資訊，請連絡 Databricks 客戶團隊。

合規性安全性配置文件標準：CPU 工作負載

下表列出 CPU 工作負載上核心模型服務功能支援的合規性安全性配置檔合規性標準。

注意

這些合規性標準要求服務容器在最近 30 天內建置。 Databricks 會代表您自動重建過時的容器。 不過，如果此自動化作業失敗，則會出現如下的事件記錄訊息，並提供如何確保您的端點保持在合規性需求內的指引：

"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."

區域 地點 HIPAA HITRUST PCI-DSS I-R-A-P (國際認證計劃) CCCS 中型 （B級保護） 英國 Cyber Essentials Plus
australiacentral AustraliaCentral            
australiacentral2 AustraliaCentral2            
australiaeast 澳大利亞東部 ✓ ✓ ✓      
australiasoutheast 澳大利亞東南部            
brazilsouth 巴西南部 ✓ ✓ ✓      
canadacentral CanadaCentral ✓ ✓ ✓      
canadaeast CanadaEast            
centralindia CentralIndia ✓ ✓ ✓      
centralus 美國中部地区 ✓ ✓ ✓      
chinaeast2 ChinaEast2            
chinaeast3 ChinaEast3            
chinanorth2 ChinaNorth2            
chinanorth3 ChinaNorth3            
eastasia EastAsia ✓ ✓ ✓      
eastus 美國東部（EastUS） ✓ ✓ ✓      
eastus2 EastUS2 ✓ ✓ ✓      
francecentral FranceCentral ✓ ✓ ✓      
germanywestcentral 德國西中部 ✓ ✓ ✓      
japaneast 日本東部 ✓ ✓ ✓      
japanwest 日本西部            
koreacentral 韓國中心 ✓ ✓ ✓      
mexicocentral 墨西哥中心            
northcentralus NorthCentralUS ✓ ✓ ✓      
northeurope 北歐 ✓ ✓ ✓      
norwayeast 挪威東部            
qatarcentral 卡達中心            
southafricanorth 南非北部            
southcentralus SouthCentralUS ✓ ✓ ✓      
southeastasia 東南亞 ✓ ✓ ✓      
southindia 南印度            
swedencentral 瑞典Central ✓ ✓ ✓      
switzerlandnorth 瑞士北部 ✓ ✓ ✓      
switzerlandwest 瑞士西部            
uaenorth UAENorth ✓ ✓ ✓      
uksouth 英國南區 ✓ ✓ ✓     ✓
ukwest UKWest            
westcentralus WestCentralUS            
westeurope 西歐 ✓ ✓ ✓      
westindia WestIndia            
westus WestUS ✓ ✓ ✓      
westus2 WestUS2 ✓ ✓ ✓      
westus3 WestUS3 ✓ ✓ ✓      

基礎模型 API 限制

如需基礎模型 API 的詳細資訊，請參閱：

區域可用性

注意

如果您需要不支援區域中端點，請連絡您的 Azure Databricks 客戶團隊。

如果您的工作區部署在支援模型服務的區域中，但由 不支持區域中的控制平面 提供服務，則工作區不支援模型服務。 如果您嘗試在這類工作區中使用模型服務，您會看到錯誤訊息指出不支援您的工作區。 如需詳細資訊，請連絡 Azure Databricks 客戶團隊。

如需每個模型服務功能區域可用性的詳細資訊，請參閱 模型服務功能可用性。

如需 Databricks 裝載的基礎模型區域可用性，請參閱 Databricks 上裝載的基礎模型。

  • Last updated on