この記事では、Mosaic AI Model Serving の制限および利用可能なリージョンと、サポートされるエンドポイントの種類についてまとめます。
リソースとペイロードの制限
Mosaic AI Model Serving では、信頼性の高いパフォーマンスを確保するために既定の制限事項が適用されます。 これらの制限に関するフィードバックがある場合は、Databricks アカウント チームにお問い合わせください。
次の表は、モデル提供エンドポイントのリソースとペイロードの制限事項をまとめたものです。
| 特徴量 | 粒度 | 制限 |
|---|---|---|
| ペイロードのサイズ | リクエストに応じて | 16 MB。 基盤モデル、外部モデル、または AI エージェント サービスを提供するエンドポイントの場合、制限は 4 MB です。 |
| 要求/応答サイズ | リクエストに応じて | 1 MB を超える要求/応答はログに記録されません。 |
| 1秒あたりのクエリ数 (QPS) | ワークスペースごと | 200. QPS を上げるには、 ルートの最適化を有効にします。 |
| モデルの実行時間 | リクエストに応じて | 297 秒 |
| CPU エンドポイント モデルのメモリ使用量 | エンドポイントあたり | 4 GB |
| GPU エンドポイント モデルのメモリ使用量 | エンドポイントあたり | 割り当てられた GPU メモリ以上 (GPU ワークロードのサイズによって異なります) |
| プロビジョニング済みのコンカレンシー | モデルごとおよびワークスペースごと | 200 個のコンカレンシー。 Databricks アカウント チームに問い合わせて増やすことができます。 |
| オーバーヘッド待機時間 | リクエストに応じて | 50 ミリ秒未満 |
| init スクリプト | init スクリプトはサポートされていません。 | |
| Foundation Model API のレート制限 | ワークスペースごと | トークンごとの支払いおよびプロビジョニングされたスループット制限の詳細については、 Foundation Model API のレート 制限とクォータに関する記事を参照してください。 |
ネットワークとセキュリティの制限事項
- Model Serving エンドポイントは、アクセス制御によって保護され、IP 許可リストや PrivateLink など、ワークスペース上に構成されたネットワーク関連のイングレス ルールを尊重します。
- プライベート接続 (Azure Private Link など) は、プロビジョニングされたスループットを使用するエンドポイントまたはカスタム モデルにサービスを提供するエンドポイントを提供するモデルでのみサポートされます。
- 既定では、Model Serving は外部エンドポイント (Azure OpenAI など) への Private Link をサポートしていません。 この機能のサポートは、リージョンごとに評価および実装されます。 詳細については、Azure Databricks アカウント チームにお問い合わせください。
- 運用環境のデプロイが不安定になるリスクがあるため、Model Serving では、既存のモデル イメージにセキュリティ パッチが提供されません。 最新のパッチは、新しいモデル バージョンから作成された新しいモデル イメージに含まれています。 詳細については、Databricks アカウント チームにお問い合わせください。
コンプライアンス セキュリティ プロファイル標準: CPU ワークロード
次の表に、CPU ワークロードの主要なモデル サービス機能でサポートされているコンプライアンス セキュリティ プロファイルのコンプライアンス標準を示します。
注
これらのコンプライアンス標準では、最新の 30 日以内に提供されたコンテナーを構築する必要があります。 Databricks は、ユーザーに代わって古いコンテナーを自動的に再構築します。 ただし、この自動ジョブが失敗した場合は、次のようなイベント ログ メッセージが表示され、エンドポイントがコンプライアンス要件内に収まるようにする方法に関するガイダンスが提供されます。
"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."
| リージョン | ロケーション | HIPAA | HITRUST（ヒートラスト） | PCI-DSS | IRAP | CCCS ミディアム (Protected B) | 英国 Cyber Essentials Plus |
|---|---|---|---|---|---|---|---|
australiacentral |
オーストラリア中部 | ||||||
australiacentral2 |
AustraliaCentral2 | ||||||
australiaeast |
オーストラリア東部 | ✓ | ✓ | ✓ | |||
australiasoutheast |
オーストラリア南東部 | ||||||
brazilsouth |
ブラジル南部 | ✓ | ✓ | ✓ | |||
canadacentral |
カナダ中部 | ✓ | ✓ | ✓ | |||
canadaeast |
カナダ東部 | ||||||
centralindia |
CentralIndia | ✓ | ✓ | ✓ | |||
centralus |
セントラルUS | ✓ | ✓ | ✓ | |||
chinaeast2 |
ChinaEast2 | ||||||
chinaeast3 |
ChinaEast3 | ||||||
chinanorth2 |
ChinaNorth2 | ||||||
chinanorth3 |
ChinaNorth3 | ||||||
eastasia |
EastAsia | ✓ | ✓ | ✓ | |||
eastus |
イーストUS | ✓ | ✓ | ✓ | |||
eastus2 |
EastUS2 | ✓ | ✓ | ✓ | |||
francecentral |
FranceCentral | ✓ | ✓ | ✓ | |||
germanywestcentral |
ドイツ中西部 | ✓ | ✓ | ✓ | |||
japaneast |
JapanEast | ✓ | ✓ | ✓ | |||
japanwest |
JapanWest | ||||||
koreacentral |
KoreaCentral | ✓ | ✓ | ✓ | |||
mexicocentral |
MexicoCentral | ||||||
northcentralus |
NorthCentralUS | ✓ | ✓ | ✓ | |||
northeurope |
NorthEurope | ✓ | ✓ | ✓ | |||
norwayeast |
ノルウェー東部 | ||||||
qatarcentral |
カタールセントラル | ||||||
southafricanorth |
南アフリカ北部 | ||||||
southcentralus |
SouthCentralUS | ✓ | ✓ | ✓ | |||
southeastasia |
東南アジア | ✓ | ✓ | ✓ | |||
southindia |
南インド | ||||||
swedencentral |
スウェーデンセントラル | ✓ | ✓ | ✓ | |||
switzerlandnorth |
スイス北部 | ✓ | ✓ | ✓ | |||
switzerlandwest |
スイス西部 | ||||||
uaenorth |
UAENorth | ✓ | ✓ | ✓ | |||
uksouth |
UKSouth | ✓ | ✓ | ✓ | ✓ | ||
ukwest |
UKWest | ||||||
westcentralus |
WestCentralUS | ||||||
westeurope |
西ヨーロッパ | ✓ | ✓ | ✓ | |||
westindia |
WestIndia | ||||||
westus |
WestUS | ✓ | ✓ | ✓ | |||
westus2 |
WestUS2 | ✓ | ✓ | ✓ | |||
westus3 |
WestUS3 | ✓ | ✓ | ✓ |
Foundation Model API の制限
Foundation Model API の詳細については、以下を参照してください。
- レート制限とクォータ: Foundation Model API のレート制限とクォータ - TPM の制限、リージョンの可用性、モデル固有の制限が含まれます
- コンプライアンスとセキュリティ: Foundation Model API のコンプライアンスとセキュリティ - コンプライアンス標準、データ処理、およびセキュリティ要件について説明します
利用可能なリージョン
注
サポートされていないリージョンにエンドポイントが必要な場合は、Azure Databricks アカウントチームにお問い合わせください。
ワークスペースがモデルサービスをサポートするリージョンにデプロイされているが、サポートされていないリージョンの コントロール プレーンによって提供されている場合 ワークスペースはモデルサービスをサポートしません。 このようなワークスペースでサービスを提供するモデルを使用しようとすると、ワークスペースがサポートされていないことを示すエラー メッセージが表示されます。 詳細については、Azure Databricks アカウント チームにお問い合わせください。
各モデル サービス機能のリージョン別の可用性の詳細については、「 モデル サービス機能の可用性」を参照してください。
Databricks でホストされる基盤モデルのリージョンの可用性については、 Databricks でホストされている Foundation モデルを参照してください。