Microsoft Foundry 模型中的 Azure OpenAI 配额和限制

本文包含有关 Azure OpenAI 配额和限制的快速参考和详细说明。

配额范围

不会在租户级别强制执行配额和限制。 而是将配额限制的最高级别限定在 Azure 订阅级别。

区域配额分配

每分钟的令牌数（TPM）和每分钟请求数（RPM）的限制被定义为按区域、按订阅以及按模型或部署类型。

例如，如果gpt-4.1列出全局标准模型，配额为 500 万 TPM 和 5,000 RPM，则每个可用模型或部署类型的区域都有自己的专用配额池，每个 Azure 订阅的配额池为该数量。 在单个 Azure 订阅中，只要资源和模型部署分布在多个区域，就可以对给定的模型和部署类型使用更大的 TPM 和 RPM 配额。

配额与限制参考

以下部分提供了适用于 Azure OpenAI 的默认配额和限制的快速指南：

¹ 我们的当前 API 最多允许 10 个自定义标头，这些标头通过管道传递并返回。 某些客户现在超过此标头计数，这会导致 HTTP 431 错误。 除了减少标头量之外，此错误没有其他解决方案。 在未来的 API 版本中，我们不会传递自定义标头。 我们建议客户在未来的系统体系结构中不依赖于自定义标头。

GPT-5.1 系列

GPT-5 系列

模型路由器速率限制

批次限制

批处理配额

该表展示了批次配额限制。 全局批处理的配额值以入队令牌表示。 提交文件以进行批处理时，将计算文件中的令牌数。 在批处理作业达到终端状态之前，这些令牌将计入总入队令牌限制。

全局批处理

B = 十亿 | M = 百万 | K = 千

数据区域批处理

gpt-oss

GPT-4 速率限制

GPT-4.5 全球标准预览版

GPT-4.1 系列全局标准

GPT-4.1 系列数据区域标准版

GPT-4 Turbo

gpt-4 （turbo-2024-04-09） 的速率限制层为某些客户类型设定了更高的限制。

computer-use-preview 全球标准速率限制

o 系列速率限制

o 系列全局标准

O 系列数据区标准

o1-preview 和 o1-mini 标准版

gpt-4o 速率限制

gpt-4o 和 gpt-4o-mini 提供对某些客户类型限制更高的速率限制层。

gpt-4o 全局标准

gpt-4o 数据区域标准

gpt-4o Standard

gpt-4o 音频

GPT-image-1 速率限制

GPT-image-1 全球标准

使用级别

全局标准部署使用 Azure 的全局基础结构。 他们动态地将客户流量路由到具有最佳可用性的数据中心，以满足客户的推理请求。 同样，数据区域标准部署允许使用 Azure 的全局基础结构，以动态将流量路由到Microsoft定义的数据区域中的数据中心，并为每个请求提供最佳可用性。 这种实践为流量级别在低至中等的客户提供更为稳定的一致性延迟。 持续高使用量级别的客户可能会发现响应延迟的可变性更大。

Azure OpenAI 使用层旨在为大多数流量低到中等级别的客户提供一致的性能。 每个使用层都定义了在可预测的延迟下可以达到的最大吞吐量（每分钟的令牌数）。 当使用量保留在分配的层内时，延迟将保持稳定，响应时间是一致的。

如果超出使用层，会发生什么情况？

• 如果请求吞吐量超过使用层（尤其是在高需求期间），则响应延迟可能会显著增加。
• 延迟可能会有所不同，在某些情况下，可能比您在使用层内操作时高出两倍以上。
• 对于持续使用率较高或流量突发模式的客户而言，这种可变性最为明显。

如果超出您的使用层级，建议采取的措施

如果遇到 429 个错误或注意到延迟可变性增加，应执行以下作：

• 请求增加配额：访问 Azure 门户以请求更高的订阅配额。
• 请考虑升级到高级套餐 (PTU)：对于延迟关键型或高流量工作负载，请升级到预配吞吐量单位(PTU)。 PTU 提供专用资源、保证的容量和可预测的延迟，即使在大规模范围内也是如此。 这是需要一致性能的任务关键型应用程序的最佳选择。
• 监视使用情况：定期查看 Azure 门户中的使用情况指标，以确保在层限制内运行。 根据需要调整工作负荷或部署策略。

使用限制确定使用水平，超过该水平后，客户可能会看到更大的响应延迟变动。 每个模型都定义了客户的使用情况。 它是给定租户在所有区域和所有订阅中的所有部署中消耗的令牌总数。

全局标准、数据区标准和标准

其他套餐类型

如果 Azure 订阅链接到某些 产品/服务类型，则最大配额值低于上表中指示的值。

• GPT-5-pro 配额仅适用于 MCA-E 和默认配额订阅。 默认情况下，所有其他产品/服务类型对此模型具有零配额。

• 对于不享有 MCA-E 或默认配额访问权限的所有提供类型，GPT-5 推理模型配额为 20K TPM 和 200 RPM。 对于 GPT-5-chat，限制为每分钟 50,000 个 token 和每分钟 50 个请求。

• 某些产品/服务类型仅限于美国东部 2 和瑞典中部地区的全球标准部署。

^*此限制仅适用于少量旧版 CSP 沙盒订阅。 使用以下查询确定与你的订阅关联的 quotaId 值是什么。

若要确定与订阅关联的产品/服务类型，可以检查你的 quotaId 值。 如果此表中未列出你的 quotaId 值，则订阅符合默认配额。

az login
access_token=$(az account get-access-token --query accessToken -o tsv)

curl -X GET "https://management.azure.com/subscriptions/{subscriptionId}?api-version=2020-01-01" \
  -H "Authorization: Bearer $access_token" \
  -H "Content-Type: application/json"

az rest --method GET --uri "https://management.azure.com/subscriptions/{sub-id}?api-version=2020-01-01"

输出

{
  "authorizationSource": "Legacy",
  "displayName": "Pay-As-You-Go",
  "id": "/subscriptions/aaaaaa-bbbbb-cccc-ddddd-eeeeee",
  "state": "Enabled",
  "subscriptionId": "aaaaaa-bbbbb-cccc-ddddd-eeeeee",
  "subscriptionPolicies": {
    "locationPlacementId": "Public_2014-09-01",
    "quotaId": "PayAsYouGo_2014-09-01",
    "spendingLimit": "Off"
  }
}

保持在速率限制范围内的一般最佳做法

若要最大程度地减少与速率上限相关的问题，可以遵循以下方法：

• 在应用程序中实现重试逻辑
• 避免工作负载的急剧变化。 逐步增大工作负载。
• 测试不同负载增加模式。
• 增加分配给部署的配额。 如有必要，从另一个部署中移动配额。

请求增加配额

可以通过配额增加请求表单提交配额增加请求。 由于需求较高，会接受配额增加请求，并按收到请求的顺序进行填写。 优先考虑使用现有配额分配流量的客户。 如果不符合此条件，可能会拒绝你的请求。

可以 提交服务请求 以获取其他速率限制。

区域配额容量限制

可以在 Foundry 门户中按订阅的区域查看配额可用性。

若要按区域查看特定模型或版本的配额容量，可以查询订阅的 容量 API 。 请提供subscriptionId、model_name和model_version，API将返回该型号在您的订阅中所有区域和部署类型的可用容量。

请参阅 API 参考。

import requests
import json
from azure.identity import DefaultAzureCredential

subscriptionId = "Replace with your subscription ID" #replace with your subscription ID
model_name = "gpt-4o"     # Example value, replace with model name
model_version = "2024-08-06"   # Example value, replace with model version

token_credential = DefaultAzureCredential()
token = token_credential.get_token('https://management.azure.com/.default')
headers = {'Authorization': 'Bearer ' + token.token}

url = f"https://management.azure.com/subscriptions/{subscriptionId}/providers/Microsoft.CognitiveServices/modelCapacities"
params = {
    "api-version": "2024-06-01-preview",
    "modelFormat": "OpenAI",
    "modelName": model_name,
    "modelVersion": model_version
}

response = requests.get(url, params=params, headers=headers)
model_capacity = response.json()

print(json.dumps(model_capacity, indent=2))

相关内容

• 探索如何管理 Azure OpenAI 部署的配额。
• 详细了解 支持 Azure OpenAI 的基础模型。