Azure AI Foundry 模型中的 Azure OpenAI 配额和限制

本文包含有关 Azure OpenAI 配额和限制的快速参考和详细说明。

配额与限制参考

以下部分提供适用于 Azure OpenAI 默认配额和限制的快速指南：

¹ 当前 API 最多允许 10 个自定义标头（通过管道传递并返回）。 一些客户现在超过了此标头计数，从而导致 HTTP 431 错误。 除了减少标头量之外，此错误没有其他解决方案。 在未来的 API 版本中，我们将不再传递自定义标头。 我们不建议客户在未来的系统体系结构中依赖自定义标头。

批次限制

批处理配额

该表展示了批次配额限制。 全局批处理的配额值以入队令牌表示。 提交用于批处理的文件时，会计算文件中存在的令牌数。 在批处理作业达到终端状态之前，这些令牌将计入总入队令牌限制。

全局批处理

B = 十亿 | M = 百万 | K = 千

数据区域批处理

GPT-4 速率限制

GPT-4.5 预览全球标准

GPT-4.1 系列

GPT-4 Turbo

gpt-4 （turbo-2024-04-09） 的速率限制层为某些客户类型设定了更高的限制。

模型路由器速率限制

computer-use-preview 全球标准速率限制

o 系列速率限制

O-系列全球标准

o 系列数据区域标准

o1-preview 和 o1-mini 标准

gpt-4o 速率限制

gpt-4o 和 gpt-4o-mini 提供对某些客户类型限制更高的速率限制层。

gpt-4o 全球标准

M = 百万 | K = 千

gpt-4o 数据区域标准

M = 百万 | K = 千

gpt-4o 标准

M = 百万 | K = 千

gpt-4o 音频

每个 gpt-4o 音频模型部署的速率限制为 100 K TPM 和 1 K RPM。 在预览期间， Azure AI Foundry 门户 和 API 可能会不准确地显示不同的速率限制。 即使尝试设置不同的速率限制，实际速率限制为 100 K TPM 和 1 K RPM。

M = 百万 | K = 千

GPT-image-1 速率限制

GPT0-image-1 全球标准

使用级别

全球标准部署使用 Azure 的全球基础结构，将客户流量动态路由到可用性最好的数据中心，以满足客户的推理请求。 同样，数据区域标准部署允许你使用 Azure 全局基础结构将流量动态路由到Microsoft定义的数据区域中的数据中心，并为每个请求提供最佳可用性。 这样，对于流量低到中等级别的客户，这可实现更一致的延迟。 持续高使用量级别的客户可能会发现响应延迟的可变性更大。

使用限制决定了使用水平，超过该水平客户可能会看到响应延迟的可变性更高。 客户的使用情况按每个模型定义，是指给定租户在所有地区、所有订阅中的所有部署中消耗的令牌总数。

GPT-4o 全球标准、数据区域标准和标准

GPT-4 标准

其他套餐类型

如果 Azure 订阅链接到某些 产品/服务类型，则最大配额值低于上述表中指示的值。

^*这仅适用于少量旧版 CSP 沙盒订阅。 使用以下查询确定与订阅关联的内容 quotaId。

若要确定与订阅关联的产品/服务类型，可以检查订阅的 quotaId。 如果你的 quotaId 未在此表中列出，你的订阅将符合默认配额。

az login
access_token=$(az account get-access-token --query accessToken -o tsv)

curl -X GET "https://management.azure.com/subscriptions/{subscriptionId}?api-version=2020-01-01" \
  -H "Authorization: Bearer $access_token" \
  -H "Content-Type: application/json"

az rest --method GET --uri "https://management.azure.com/subscriptions/{sub-id}?api-version=2020-01-01"

输出

{
  "authorizationSource": "Legacy",
  "displayName": "Pay-As-You-Go",
  "id": "/subscriptions/aaaaaa-bbbbb-cccc-ddddd-eeeeee",
  "state": "Enabled",
  "subscriptionId": "aaaaaa-bbbbb-cccc-ddddd-eeeeee",
  "subscriptionPolicies": {
    "locationPlacementId": "Public_2014-09-01",
    "quotaId": "PayAsYouGo_2014-09-01",
    "spendingLimit": "Off"
  }
}

保持在速率限制范围内的一般最佳做法

若要最大程度地减少与速率上限相关的问题，可以遵循以下方法：

• 在应用程序中实现重试逻辑
• 避免工作负载的急剧变化。 逐步增大工作负载。
• 测试不同负载增加模式。
• 增加分配给部署的配额。 如有必要，从另一个部署中移动配额。

如何请求增加配额

可以通过配额增加请求表单提交配额增加请求。 由于需求较高，会接受配额增加请求，并按接收的顺序进行填充。 将优先考虑生成消耗现有配额分配的流量的客户。如果不满足此条件，你的请求可能会被拒绝。

对于其他速率限制，请提交服务请求。

区域配额容量限制

可以在 Azure AI Foundry 门户中按订阅的区域查看配额可用性。

或者，若要按区域查看特定模型/版本的配额容量，可以查询订阅的 容量 API 。 提供 subscriptionId、model_name 和 model_version，API 将返回该模型在所有区域的可用容量以及订阅的部署类型。

API 参考

import requests
import json
from azure.identity import DefaultAzureCredential

subscriptionId = "Replace with your subscription ID" #replace with your subscription ID
model_name = "gpt-4o"     # Example value, replace with model name
model_version = "2024-08-06"   # Example value, replace with model version

token_credential = DefaultAzureCredential()
token = token_credential.get_token('https://management.azure.com/.default')
headers = {'Authorization': 'Bearer ' + token.token}

url = f"https://management.azure.com/subscriptions/{subscriptionId}/providers/Microsoft.CognitiveServices/modelCapacities"
params = {
    "api-version": "2024-06-01-preview",
    "modelFormat": "OpenAI",
    "modelName": model_name,
    "modelVersion": model_version
}

response = requests.get(url, params=params, headers=headers)
model_capacity = response.json()

print(json.dumps(model_capacity, indent=2))

后续步骤

探索如何管理 Azure OpenAI 部署的配额。 详细了解为 Azure OpenAI 提供支持的基础模型。