在 Microsoft Foundry 模型中開始使用Azure OpenAI 的配置部署

以下指南將引導您了解使用 Microsoft Foundry 資源建立配置部署的關鍵步驟。 如需這裡所討論概念的更多詳細資料，請參閱：

• Foundry 佈建的輸送量上線指南
• Foundry 佈建的輸送量概念

先決條件

• Azure 訂用帳戶 - 建立免費帳戶
• Azure 參與者或認知服務參與者角色

取得/核實PTU配額可用性

佈建輸送量部署是以佈建輸送量單位 (PTU) 為單位來調整大小。 每個佈建部署類型的 PTU 配額會依區域授與訂用帳戶，並限制可在該區域中跨所有模型和版本部署的 PTU 總數。

建立新的部署需要可用 (未使用) 的配額，才能涵蓋所需的部署大小。 例如：如果訂用帳戶在美國中南部具有下列設定：

• 總 PTU 配額 = 500 個 PTU
• 部署：
  • 100 個 PTU：GPT-4o，2024-05-13
  • 100 個 PTU：DeepSeek-R1，1

則會視為已使用 200 個 PTU 的配額，還有 300 個 PTU 可用來建立新的部署。

全域、資料區域和區域佈建配額的預設數量會指派給數個區域中的合格訂用帳戶。

您可以按一下 [請求配額 ] 按鈕來請求其他配額。

建立 Foundry 資源

配置部署是透過 Azure 中的 Foundry 資源物件建立的。 你必須在每個打算建立部署的區域都擁有 Foundry 資源。

使用已配置的部署選項來探索模型

驗證配額之後，您就可以建立部署。 前往 Foundry 模型目錄，發現具備配置部署選項的模型。

建立佈建部署 - 有容量可用時

您可以使用下列 Azure CLI 命令，以程式設計方式建立部署。 若要指定部署類型，請根據預期的部署類型，將修改 sku-name 為 GlobalProvisionedManaged、DataZoneProvisionedManaged 或 ProvisionedManaged。 使用所需的佈建輸送量單位數目來更新 sku-capacity。

az cognitiveservices account deployment create \
--name <myResourceName> \
--resource-group <myResourceGroupName> \
--deployment-name MyModel \
--model-name GPT-4 \
--model-version 0613  \
--model-format OpenAI \
--sku-capacity 100 \
--sku-name ProvisionedManaged

您也可以使用 REST、ARM 範本、Bicep 和 Terraform 來建立部署。 請參閱管理配額操作指南中有關自動化部署的小節，並將 sku.name 取代為 GlobalProvisionedManaged、DataZoneProvisionedManaged 或 ProvisionedManaged，而不是 Standard。

選擇性地購買保留

建立部署之後，您可能想要透過 Azure 保留購買期限折扣。 Azure 保留可為想要使用部署不僅限於幾天的使用者，提供每小時費率的大量折扣。

如需購買模型和保留的詳細資訊，請參閱：

• 使用 Microsoft Foundry 提供的吞吐量預留服務節省成本。
• Foundry 佈建的輸送量上線指南
• Foundry 佈建的輸送量保留指南

進行第一個推斷呼叫

佈建部署的推斷程式碼與標準部署類型相同。 下列程式碼片段顯示向 GPT-4 模型發出的聊天完成呼叫。 如果這是您第一次以程式設計方式使用這些模型，建議您從我們的快速入門開始。 我們建議使用 1.0 版或更新版的 OpenAI 程式庫，因為這包含程式庫內的重試邏輯。

    import os
    from openai import AzureOpenAI

    client = AzureOpenAI(
        azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
        api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
        api_version="2024-10-21"
    )

    response = client.chat.completions.create(
        model="gpt-4", # model = "deployment_name".
        messages=[
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Does Azure OpenAI support customer managed keys?"},
            {"role": "assistant", "content": "Yes, customer managed keys are supported by Azure OpenAI."},
            {"role": "user", "content": "Do other Azure services support this too?"}
        ]
    )

    print(response.choices[0].message.content)

了解預期的輸送量

您可以在端點上達成的輸送量是影響部署的 PTU 數目、輸入大小、輸出大小和呼叫率的一個因素。 並行呼叫數目和已處理的權杖總數可能會根據這些值而有所不同。

測量您的部署使用率

當您部署指定數目的佈建輸送量單位 (PTU) 時，該端點就可以使用一組推斷輸送量。 此輸送量的使用率是根據模型、模型版本呼叫率、提示大小、產生大小而建立的複雜公式。 為了簡化此計算，我們在 Azure 監視器中提供使用率計量。 在使用率上升超過 100% 之後，您的部署會在發生任何新的呼叫時傳回 429。 佈建使用率的定義如下：

PTU 部署使用率 = (時間週期中所耗用的 PTU) / (在時間週期中部署的 PTU)

您可以在資源的 Azure-Monitor 區段中找到使用率量值。 若要存取監視儀表板，請登入 https://portal.azure.com，移至您的 Azure OpenAI 資源，然後從左側導覽中選取 [計量] 頁面。 在 [計量] 頁面上，選取 [佈建受控使用率 V2] 量值。 如果您在資源中有多個部署，請同時按一下 [套用分割] 按鈕來依據每個部署分割值。

處理高使用率

佈建的部署提供您已配置的計算容量，用於執行指定的模型。 Azure 監視器中的「Provisioned-Managed 使用率 V2」指標會以一分鐘的增量測量部署的使用率。 Provisioned-Managed 部署也會進行最佳化，讓接受的呼叫會以一致的「每次呼叫延遲上限」來處理。 當工作負載超過其配置的容量時，服務會傳回 429 HTTP 狀態碼，直到使用率降至 100% 以下為止。 重試前的時間會在 retry-after 和 retry-after-ms 回應標頭中提供，這些標頭分別提供以秒和以毫秒為單位的時間。 此方法會維護「每次呼叫延遲」目標，同時讓開發人員控制如何處理高負載的情況，例如重試或轉移至另一個體驗/端點。

當我收到 429 回應時，該怎麼辦？

429 回應表示呼叫時完全取用已配置的 PTU。 回應包含 retry-after-ms 和 retry-after 標頭，用於告知您可接受下一個呼叫之前須等待的時間。 選擇處理 429 回應的方式取決於您的應用程式需求。 以下是一些考量：

• 如果您能夠接受較長的每次呼叫延遲，請實作用戶端重試邏輯以等候 retry-after-ms 時間並重試。 此方法可讓您將部署的輸送量最大化。 Microsoft 提供的用戶端 SDK 已使用合理的預設值來處理此情況。 您可能仍需要根據使用案例進行進一步調整。
• 請考慮將流量重新導向至其他模型、部署或體驗。 此方法是最低延遲解決方案，因為只要收到 429 訊號，就可以採取此動作。 當推送至高使用率時，429 訊號並不是非預期的錯誤回應，而是設計用來管理佇列和佈建部署高負載的一部分。

修改用戶端程式庫內的重試邏輯

Azure OpenAI SDK 預設會重試 429 回應，並且在用戶端幕後重試 (最多至重試次數上限)。 程式庫會遵循 retry-after 時間。 您也可以修改重試行為，以更符合您的體驗。 以下是 Python 程式庫的範例。

您可以使用 max_retries 選項來設定或停用重試設定：

from openai import AzureOpenAI

# Configure the default for all requests:
client = AzureOpenAI(
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"),
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),
    api_version="2024-10-21",
    max_retries=5,# default is 2
)

# Or, configure per-request:
client.with_options(max_retries=5).chat.completions.create(
    model="gpt-4", # model = "deployment_name".
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Does Azure OpenAI support customer managed keys?"},
        {"role": "assistant", "content": "Yes, customer managed keys are supported by Azure OpenAI."},
        {"role": "user", "content": "Do other Azure services support this too?"}
    ]
)

執行效能評定

執行個體的確切效能和輸送量功能取決於您提出的要求種類和確切的工作負載。 判斷工作負載輸送量的最佳方式是在您自己的資料上執行效能評定。

為了協助您完成這項工作，效能評定工具可讓您輕鬆地在部署上執行效能評定。 此工具隨附數個可能預先設定的工作負載圖形，並輸出關鍵效能計量。 深入了解 GitHub 存放庫中的工具和組態設定：https://github.com/Azure/azure-openai-benchmark。

我們建議使用下列工作負載：

1. 使用容量計算機預估輸送量 PTU。
2. 執行具有此流量圖形的效能評定達一段較長的時間 (10+ 分鐘)，以觀察處於穩定狀態的結果。
3. 從效能評定工具和 Azure 監視器中觀察使用率、權杖處理和呼叫率的值。
4. 使用用戶端實作，以您自己的流量圖形和工作負載執行效能評定。 請務必使用 Azure OpenAI 用戶端程式庫或自訂邏輯來實作重試邏輯。

後續步驟

• 如需雲端應用程式最佳做法的詳細資訊，請參閱雲端應用程式中的最佳做法
• 如需佈建部署的詳細資訊，請參閱什麼是佈建的輸送量？
• 如需每個 SDK 內重試邏輯的詳細資訊，請參閱：
  • Python 參考文件
  • .NET 參考文件
  • Java 參考文件
  • JavaScript 參考文件
  • GO 參考文件