針對用於即時推斷的新部署執行安全推出

• Azure CLI 和 ml Azure CLI 的擴充功能，已安裝並設定。 如需詳細資訊，請參閱 安裝和設定 CLI （v2） 。

• Bash 殼層或相容的殼層，例如 Linux 系統上的殼層或 Windows 子系統 Linux 版 (部分內容可能是機器或 AI 翻譯)。 本文中的 Azure CLI 範例假設您使用這種類型的終端機。

• Azure Machine Learning 工作區。 如需建立工作區的指示，請參閱 設定。

• 至少具有下列其中一個 Azure 角色型存取控制 （Azure RBAC） 角色的用戶帳戶：

  • Azure Machine Learning 工作區的擁有者角色
  • Azure Machine Learning 工作區的參與者角色
  • 具有 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* 許可權的自定義角色

  如需詳細資訊，請參閱 管理 Azure Machine Learning 工作區。

• Docker 引擎選擇性地安裝並在本機執行。 強烈建議使用此必要條件。 您需要它才能在本機部署模型，而且有助於偵錯。

適用於：Python SDK azure-ai-ml v2 (目前)

• Azure Machine Learning 工作區。 如需建立工作區的步驟，請參閱 建立工作區。

• 適用於 Python v2 的 Azure Machine Learning SDK。 若要安裝 SDK，請使用下列命令：

  pip install azure-ai-ml azure-identity
  

  若要將現有的 SDK 安裝更新為最新版本，請使用下列命令：

  pip install --upgrade azure-ai-ml azure-identity
  

  如需詳細資訊，請參閱 適用於 Python 的 Azure Machine Learning 套件用戶端連結庫。

• 至少具有下列其中一個 Azure 角色型存取控制 （Azure RBAC） 角色的用戶帳戶：

  • Azure Machine Learning 工作區的擁有者角色
  • Azure Machine Learning 工作區的參與者角色
  • 具有 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* 許可權的自定義角色

  如需詳細資訊，請參閱 管理 Azure Machine Learning 工作區。

• Docker 引擎選擇性地安裝並在本機執行。 強烈建議使用此必要條件。 您需要它才能在本機部署模型，而且有助於偵錯。

• Azure 訂用帳戶。 如尚未擁有 Azure 訂用帳戶，請在開始之前先建立免費帳戶。

• Azure Machine Learning 工作區。 如需建立工作區的指示，請參閱 建立工作區。

• 至少具有下列其中一個 Azure 角色型存取控制 （Azure RBAC） 角色的用戶帳戶：

  • Azure Machine Learning 工作區的擁有者角色
  • Azure Machine Learning 工作區的參與者角色
  • 具有 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* 許可權的自定義角色

  如需詳細資訊，請參閱 管理 Azure Machine Learning 工作區。

設定環境變數

您可以設定預設值以搭配 Azure CLI 使用。 若要避免多次傳入訂用帳戶、工作區和資源群組的值，請執行下列程序代碼：

az account set --subscription <subscription-ID>
az configure --defaults workspace=<Azure-Machine-Learning-workspace-name> group=<resource-group-name>

複製範例存放庫

如要遵循本文，請先複製範例存放庫 (azureml-examples)。 然後移至存放庫的 cli/ 目錄：

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples
cd cli

本教學課程中的命令位於 cli 目錄中的 deploy-safe-rollout-online-endpoints.sh 檔案中，而 YAML 組態檔位於 endpoints/online/managed/sample/ 子目錄中。

複製範例存放庫

若要執行定型範例，請先複製範例存放庫 (azureml-examples)。 然後移至 azureml-examples/sdk/python/endpoints/online/managed 目錄：

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/sdk/python/endpoints/online/managed

本文中的資訊是以 online-endpoints-safe-rollout.ipynb 筆記本為基礎。 本文包含與筆記本相同的內容，但兩份檔之間的程式代碼區塊順序稍有不同。

連線至 Azure Machine Learning 工作區

工作區是 Azure Machine Learning 的最上層資源。 工作區提供一個集中位置，可用於管理和操作您在使用 Azure Machine Learning 時所創建的所有開發產出。 在本節中，您會連線到執行部署工作的工作區。 若要跟著做，請打開您的 online-endpoints-safe-rollout.ipynb 筆記本。

1. 匯入必要的程式庫：

   # import required libraries
   from azure.ai.ml import MLClient
   from azure.ai.ml.entities import (
       ManagedOnlineEndpoint,
       ManagedOnlineDeployment,
       Model,
       Environment,
       CodeConfiguration,
   )
   from azure.identity import DefaultAzureCredential

   附註

   如果您使用 Kubernetes 線上端點，請從KubernetesOnlineEndpoint程式庫匯入 KubernetesOnlineDeployment 和 azure.ai.ml.entities 類別。

2. 設定工作區設定並取得工作區的控制代碼：

   若要連線到工作區，您需要標識符參數：訂用帳戶、資源群組和工作區名稱。 您會在 MLClient 模組中的 azure.ai.ml 類別使用這項資訊，以取得所需的 Azure Machine Learning 工作區的控制代碼。 此範例會使用預設的 Azure 驗證。

   # enter details of your AML workspace
   subscription_id = "<SUBSCRIPTION_ID>"
   resource_group = "<RESOURCE_GROUP>"
   workspace = "<AML_WORKSPACE_NAME>"

   # get a handle to the workspace
   ml_client = MLClient(
       DefaultAzureCredential(), subscription_id, resource_group, workspace
   )

如果您已在本機電腦上安裝 Git，便可遵循指示複製範例存放庫。 否則，請遵循指示從範例存放庫中下載檔案。

複製範例存放庫

若要遵循本文，請複製 azureml-examples 存放庫，然後移至 azureml-examples/cli/endpoints/online/model-1 資料夾。

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/cli/endpoints/online/model-1

從範例存放庫下載檔案

您可以將存放庫下載到本機電腦，而不是複製範例存放庫：

1. 移至 https://github.com/Azure/azureml-examples/。
2. 選取 [ <> 代碼]，然後移至 [ 本地 ] 索引標籤，然後選取 [ 下載 ZIP]。

建立線上端點

您必須先設定端點名稱，然後加以設定。 在本文中，您會使用 endpoints/online/managed/sample/endpoint.yml 檔案來設定端點。 該檔案包含下列幾行：

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: my-endpoint
auth_mode: key

下表描述端點 YAML 格式所使用的金鑰。 若要查看如何指定這些屬性，請參閱 CLI （v2） 在線端點 YAML 架構。 如需與受控在線端點相關的限制資訊，請參閱 Azure Machine Learning 在線端點和批次端點。

若要建立線上端點：

1. 執行下列 Unix 命令來設定端點名稱。 以唯一名稱取代 YOUR_ENDPOINT_NAME。

   export ENDPOINT_NAME="<YOUR_ENDPOINT_NAME>"
   

   重要事項

   端點名稱在 Azure 區域內必須是唯一的。 例如，在 Azure westus2 區域中，只能有一個名稱為 my-endpoint 的端點。

2. 執行下列程序代碼，在雲端中建立端點。 此程式代碼會使用endpoint.yml檔案來設定端點：

   az ml online-endpoint create --name $ENDPOINT_NAME -f endpoints/online/managed/sample/endpoint.yml
   

建立藍色部署

您可以使用 endpoints/online/managed/sample/blue-deployment.yml 檔案來設定名為 blue部署的主要層面。 該檔案包含下列幾行：

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: blue
endpoint_name: my-endpoint
model:
  path: ../../model-1/model/
code_configuration:
  code: ../../model-1/onlinescoring/
  scoring_script: score.py
environment: 
  conda_file: ../../model-1/environment/conda.yaml
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04:latest
instance_type: Standard_DS3_v2
instance_count: 1

若要使用 blue-deployment.yml 檔案來建立端點的 blue 部署，請執行下列命令：

az ml online-deployment create --name blue --endpoint-name $ENDPOINT_NAME -f endpoints/online/managed/sample/blue-deployment.yml --all-traffic

在blue-deployment.yaml 檔案中，行 path 會指定要上傳檔案的位置。 Azure Machine Learning CLI 會使用此資訊來上傳檔案並註冊模型和環境。 作為生產環境的最佳做法，您應該註冊模型和環境，並在 YAML 程式代碼中個別指定已註冊的名稱和版本。 使用模型格式 model: azureml:<model-name>:<model-version> ，例如 model: azureml:my-model:1。 在環境中，請使用格式environment: azureml:<environment-name>:<environment-version>，例如environment: azureml:my-env:1。

註冊時，您可將 model 和 environment 的 YAML 定義擷取至個別的 YAML 檔案，並使用 az ml model create 與 az ml environment create 命令。 若要深入瞭解這些指令，請執行 az ml model create -h 和 az ml environment create -h。

如需將模型註冊為資產的詳細資訊，請參閱 使用 Azure CLI 或 Python SDK 註冊模型。 如需建立環境的詳細資訊，請參閱 建立自定義環境。

建立線上端點

若要建立受控線上端點，請使用 ManagedOnlineEndpoint 類別。 這個類別可讓您設定端點的主要層面。

1. 設定端點：

   # Creating a unique endpoint name with current datetime to avoid conflicts
   import random
   
   online_endpoint_name = "endpt-moe-" + str(random.randint(0, 10000))
   
   # create an online endpoint
   endpoint = ManagedOnlineEndpoint(
       name=online_endpoint_name,
       description="this is a sample online endpoint",
       auth_mode="key",
       tags={"foo": "bar"},
   )

   附註

   若要建立 Kubernetes 線上端點，請使用 KubernetesOnlineEndpoint 類別。

2. 建立端點：

   ml_client.online_endpoints.begin_create_or_update(endpoint).result()

建立藍色部署

若要建立受控線上端點的部署，請使用 ManagedOnlineDeployment 類別。 這個類別可讓您設定部署的主要層面。

1. 設定 blue 部署：

   # create blue deployment
   model = Model(path="../model-1/model/sklearn_regression_model.pkl")
   env = Environment(
       conda_file="../model-1/environment/conda.yaml",
       image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
   )
   
   blue_deployment = ManagedOnlineDeployment(
       name="blue",
       endpoint_name=online_endpoint_name,
       model=model,
       environment=env,
       code_configuration=CodeConfiguration(
           code="../model-1/onlinescoring", scoring_script="score.py"
       ),
       instance_type="Standard_DS3_v2",
       instance_count=1,
   )

   在此範例中 path ，參數會指定要從何處上傳檔案。 Python SDK 會使用此資訊來上傳檔案，並註冊模型和環境。 最佳生產實務是您應該註冊模型和環境，並在程式碼中分別指定已註冊的名稱和版本。

   如需將模型註冊為資產的詳細資訊，請參閱 使用 Azure CLI 或 Python SDK 註冊模型。

   如需建立環境的詳細資訊，請參閱 建立自定義環境。

   附註

   若要建立 Kubernetes 線上端點的部署，請使用 KubernetesOnlineDeployment 類別。

2. 建立部署：

   ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

   # blue deployment takes 100 traffic
   endpoint.traffic = {"blue": 100}
   ml_client.online_endpoints.begin_create_or_update(endpoint).result()

當您在 Azure Machine Learning Studio 中建立受控在線端點時，您必須定義端點的初始部署。 在您可以定義部署之前，您必須在工作區中註冊模型。 下一節說明如何註冊要用於部署的模型。

註冊您的模型

模型註冊是工作區中的邏輯實體。 此實體可能包含單一模型檔案，或是多個檔案的目錄。 作為生產中的最佳實踐，您應該註冊模型與環境。

若要註冊範例模型，請執行下列各節中的步驟。

上傳模型檔案

1. 移至 [Azure Machine Learning 工作室]。

2. 選取 [模型]。

3. 選取 [註冊]，然後選取 [從本機檔案]。

4. 在 [模型類型] 底下，選取 [未指定的類型]。

5. 選取瀏覽，然後選取瀏覽資料夾。

   

6. 移至您稍早複製或下載之存放庫的本機複本，然後選取 \azureml-examples\cli\endpoints\online\model-1\model。 出現提示時，選取 [上傳 ]，並等候上傳完成。

7. 選取 下一步。

設定和註冊模型

1. 在 [ 模型設定 ] 頁面上的 [ 名稱] 底下，輸入模型的易記名稱。 本文中的步驟假設模型名為 model-1。

2. 選取 [下一步]，然後選取 [ 註冊 ] 以完成註冊。

如需本文稍後的範例，您也需要在存放庫的本機複本中，從 \azureml-examples\cli\endpoints\online\model-2\model 資料夾註冊模型。 若要註冊該模型，請重複前兩節中的步驟，但將模型 model-2命名為 。

如需使用已註冊模型的詳細資訊，請參閱 在 Azure Machine Learning 中使用已註冊的模型。

如需在 Studio 中建立環境的相關信息，請參閱 建立環境。

建立受控線上端點和藍色部署

您可以使用 Azure Machine Learning Studio 直接在瀏覽器中建立受控在線端點。 在工作室建立受控線上端點時，您必須定義初始部署。 您無法建立空的受控線上端點。

在工作室中建立受控線上端點的其中一種方式是從 [模型] 頁面。 此方法也提供將模型新增至現有受控線上部署的簡單方法。 若要部署您先前在 model-1] 區段中註冊的模型，請執行下列各節中的步驟。

選取模型

1. 移至 Azure Machine Learning Studio，然後選取 [模型]。

2. 在清單中，選取 model-1 模型。

3. 選取 [部署]>[即時端點]。

   

   隨即開啟一個視窗，可讓您用來指定端點的詳細資訊。

   

設定初始設定

1. 在 [端點名稱] 底下，輸入端點的名稱。

2. 在 [計算類型] 底下，保留 [受控] 的預設值。

3. 在 [驗證類型] 底下，保留 金鑰型驗證的預設值。

4. 選取 [下一步]，然後在 [ 模型] 頁面上，選取 [ 下一步]。

設定其餘設定並建立部署

1. 在 [ 部署] 頁面上，採取下列步驟：

   1. 在 [部署名稱] 底下，輸入 藍色。
   2. 如果您要稍後在 Studio 中檢視端點活動的圖表：
      1. 在 [推斷數據收集] 底下，開啟切換開關。
      2. 在 [Application Insights 診斷] 下，啟用切換開關。
   3. 選取 下一步。

2. 在 [用於推斷的程式代碼和環境 ] 頁面上，採取下列步驟：

   1. 在 [選取用於推斷的評分腳本] 下，選取 [ 流覽]，然後從您稍早複製或下載的存放庫選取 \azureml-examples\cli\endpoints\online\model-1\onlinescoring\score.py 檔案。
   2. 在環境清單上方的搜尋方塊中，開始輸入 sklearn，然後選取 sklearn-1.5：19 策劃的環境。
   3. 選取 下一步。

3. 在 [ 計算 ] 頁面上，採取下列步驟：

   1. 在 [虛擬機] 底下，保留預設值。
   2. 在 [實例計數] 底下，將預設值取代為 1。
   3. 選取 下一步。

4. 在 [即時流量] 頁面上，選取 [下一步] 以接受將 100% 的預設流量配置至 blue 部署。

5. 在 [ 檢閱] 頁面上，檢閱您的部署設定，然後選取 [ 建立]。

   

從 [端點] 頁面建立端點

或者，您也可以從工作室中的 [端點] 頁面建立受控線上端點。

1. 移至 [Azure Machine Learning 工作室]。

2. 選取端點。

3. 選取 ，創建。

   

   隨即開啟一個視窗，您可以用來指定端點和部署的詳細資訊。

4. 選取模型，然後選擇 [選擇]。

5. 輸入端點和部署的設定，如前兩節所述。 在每個步驟中，使用預設值，然後在最後一個步驟中，選取 [建立 ] 以建立部署。

若要檢視現有端點和部署的狀態，請執行下列命令：

az ml online-endpoint show --name $ENDPOINT_NAME 

az ml online-deployment show --name blue --endpoint $ENDPOINT_NAME 

輸出會列出$ENDPOINT_NAME端點和blue部署的相關資訊。

使用範例數據測試端點

您可以使用 invoke 命令叫用端點。 下列命令會使用 sample-request.json JSON 檔案來傳送範例要求：

az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json

使用下列程式代碼來檢查模型部署的狀態：

ml_client.online_endpoints.get(name=online_endpoint_name)

使用範例數據測試端點

您可以使用先前建立的 MLClient 執行個體來取得端點的控制代碼。 若要叫用端點，您可以使用 invoke 命令搭配下列參數：

• endpoint_name：端點的名稱
• request_file：包含要求數據的檔案
• deployment_name：在端點中測試的部署名稱

下列程式代碼會使用 sample-request.json JSON 檔案來傳送範例要求。

# test the blue deployment with some sample data
ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="blue",
    request_file="../model-1/sample-request.json",
)

檢視受控線上端點

您可以在 Studio 端點頁面中檢視所有受控在線端點。 每個端點頁面的 [ 詳細 數據] 索引標籤會顯示重要資訊，例如端點 URI、狀態、測試工具、活動監視器、部署記錄和範例取用程式代碼。 若要查看這項資訊，請執行下列步驟：

1. 在 Studio 中，選取 端點。 會顯示工作區中所有端點的清單。

2. 或者，在計算實例類型上建立篩選，只顯示受控類型。

3. 選取端點名稱以檢視端點的 [詳細資料] 頁面。

使用範例數據測試端點

在端點頁面上，您可以使用 [ 測試 ] 索引標籤來測試受控在線部署。 若要輸入範例輸入並檢視結果，請執行下列步驟：

1. 在端點頁面上，移至 測試 索引標籤。在 部署 清單中，blue 的部署已經選取。

2. 移至 sample-request.json 檔案 ，並複製其範例輸入。

3. 在 Studio 中，將範例輸入貼到 [ 輸入 ] 方塊中。

4. 選取 [測試]。

在使用 線上端點部署和評分機器學習模型中所述的部署中，您會在部署 YAML 檔案中將 值設定 instance_count 為 1 。 您可以使用 update 命令來擴展。

az ml online-deployment update --name blue --endpoint-name $ENDPOINT_NAME --set instance_count=2

您可以使用稍早建立的 MLClient 實例來取得部署的控制權。 若要調整部署規模，您可以增加或減少 instance_count 的數值。

# scale the deployment
blue_deployment = ml_client.online_deployments.get(
    name="blue", endpoint_name=online_endpoint_name
)
blue_deployment.instance_count = 2
ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

取得端點的詳細資訊

# Get the details for online endpoint
endpoint = ml_client.online_endpoints.get(name=online_endpoint_name)

# existing traffic details
print(endpoint.traffic)

# Get the scoring URI
print(endpoint.scoring_uri)

若要藉由調整實例數目來相應增加或減少部署，請執行下列步驟：

1. 在端點頁面上，移至 [詳細資料] 索引標籤，然後尋找 blue 部署的卡片。

2. 在 blue 部署卡片的標題上，選取編輯圖示。

3. 在 [實例計數] 底下，輸入 2。

4. 選取 [更新]。

建立名為 green 的新部署：

az ml online-deployment create --name green --endpoint-name $ENDPOINT_NAME -f endpoints/online/managed/sample/green-deployment.yml

因為您未明確分配任何流量至 green 部署，因此分配到它的流量為零。 您可以使用下列命令來確認事實：

az ml online-endpoint show -n $ENDPOINT_NAME --query traffic

測試新的部署

即使 green 部署流量已設定為 0%，您仍然可以直接使用 --deployment 選項叫用。

az ml online-endpoint invoke --name $ENDPOINT_NAME --deployment-name green --request-file endpoints/online/model-2/sample-request.json

如果您想要使用 REST 用戶端直接叫用部署，而不透過流量規則，請設定下列 HTTP 標頭：azureml-model-deployment: <deployment-name>。 下列程式代碼使用 Client for URL （cURL） 直接叫用部署。 您可以在 Unix 或 Windows 子系統 Linux 版 （WSL） 環境中執行程式代碼。 如需擷取 $ENDPOINT_KEY 值的指示，請參閱 取得數據平面作業的密鑰或令牌。

# get the scoring uri
SCORING_URI=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query scoring_uri)
# use curl to invoke the endpoint
curl --request POST "$SCORING_URI" --header "Authorization: Bearer $ENDPOINT_KEY" --header 'Content-Type: application/json' --header "azureml-model-deployment: green" --data @endpoints/online/model-2/sample-request.json

為您的受控在線端點建立新的部署，並將部署 green命名為 ：

# create green deployment
model2 = Model(path="../model-2/model/sklearn_regression_model.pkl")
env2 = Environment(
    conda_file="../model-2/environment/conda.yaml",
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
)

green_deployment = ManagedOnlineDeployment(
    name="green",
    endpoint_name=online_endpoint_name,
    model=model2,
    environment=env2,
    code_configuration=CodeConfiguration(
        code="../model-2/onlinescoring", scoring_script="score.py"
    ),
    instance_type="Standard_DS3_v2",
    instance_count=1,
)

# use MLClient to create green deployment
ml_client.online_deployments.begin_create_or_update(green_deployment).result()

測試新的部署

即使 green 部署的流量分配為 0%，您仍然可以叫用該端點和部署。 下列程式代碼會使用 sample-request.json JSON 檔案來傳送範例要求。

ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="green",
    request_file="../model-2/sample-request.json",
)

您可以建立新的部署，以新增至受管控的線上端點。 若要建立名為 green的部署，請執行下列各節中的步驟。

設定初始設定

1. 在端點頁面上，移至 [ 詳細數據] 索引標籤，然後選取 [新增部署]。

2. 在 [ 選取模型] 頁面上，選取 model-2，然後選取 [ 選取]。

3. 在 [ 端點] 頁面和 [ 模型] 頁面上，選取 [ 下一步]。

4. 在 [ 部署] 頁面上，採取下列步驟：

   1. 在 [部署名稱] 底下，輸入 綠色。
   2. 在 [推斷數據收集] 底下，開啟切換開關。
   3. 在 [Application Insights 診斷] 下，啟用切換開關。
   4. 選取 下一步。

5. 在 [用於推斷的程式代碼和環境 ] 頁面上，採取下列步驟：

   1. 在 [ 選取用於推斷的評分腳本] 下，選取 [ 流覽]，然後從您稍早複製或下載的存放庫選取 \azureml-examples\cli\endpoints\online\model-2\onlinescoring\score.py 檔案。
   2. 在環境清單上方的搜尋方塊中，開始輸入 sklearn，然後選取 sklearn-1.5：19 策劃的環境。
   3. 選取 下一步。

6. 在 [ 計算 ] 頁面上，採取下列步驟：

   1. 在 [虛擬機] 底下，保留預設值。
   2. 在 [實例計數] 底下，將預設值取代為 1。
   3. 選取 下一步。

設定其餘設定並建立部署

1. 在 [ 即時流量 ] 頁面上，選取 [ 下一步 ]，以接受將 100% 的預設流量分配給 blue 部署，並將 0% 分配給 green。

2. 在 [ 檢閱] 頁面上，檢閱您的部署設定，然後選取 [ 建立]。

   

從『模型』頁面新增部署

或者，您可以使用 [模型] 頁面來新增部署：

1. 在 Studio 中，選取 [模型]。

2. 選取清單中的模型。

3. 選取 [部署]>[即時端點]。

4. 在 [端點] 底下，選取 [現有]。

5. 在端點清單中，選取您要部署模型的受控在線端點，然後選取 [ 下一步]。

   

6. 在 [ 模型] 頁面上，選取 [ 下一步]。

7. 若要完成部署的 green 建立，請遵循設定 初始設定 一節中的步驟 4 到 6，以及設定 其餘設定和建立部署 一節中的所有步驟。

測試新的部署

雖然 0% 的流量會移至 green 部署，但您仍然可以叫用端點和該部署。 在端點頁面上，您可以使用 [ 測試 ] 索引標籤來測試受控在線部署。 若要輸入範例輸入並檢視結果，請執行下列步驟：

1. 在端點頁面上，移至測試索引標籤。

2. 在 [ 部署] 列表中，選取 綠色。

3. 移至 sample-request.json 檔案 ，並複製其範例輸入。

4. 在 Studio 中，將範例輸入貼到 [ 輸入 ] 方塊中。

5. 選取 [測試]。

使用下列命令來鏡像 10% 的流量，並將其傳送至 green 部署：

az ml online-endpoint update --name $ENDPOINT_NAME --mirror-traffic "green=10"

您可以多次呼叫端點來測試鏡像流量，而不需要指定部署來接收傳入流量。

for i in {1..20} ; do
    az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json
done

您可以藉由檢查部署中的記錄，確認指定百分比的流量已傳送至 green 部署。

az ml online-deployment get-logs --name green --endpoint $ENDPOINT_NAME

測試之後，您可以將鏡像流量設定為零，以停用鏡像：

az ml online-endpoint update --name $ENDPOINT_NAME --mirror-traffic "green=0"

使用下列程式碼來鏡像 10% 的流量，並將其傳送至 green 部署：

endpoint.mirror_traffic = {"green": 10}
ml_client.begin_create_or_update(endpoint).result()

您可以多次呼叫端點來測試鏡像流量，而不需要指定部署來接收傳入流量。

# You can test mirror traffic by invoking the endpoint several times
for i in range(20):
    ml_client.online_endpoints.invoke(
        endpoint_name=online_endpoint_name,
        request_file="../model-1/sample-request.json",
    )

您可以藉由檢查部署中的記錄，確認指定百分比的流量已傳送至 green 部署。

ml_client.online_deployments.get_logs(
    name="green", endpoint_name=online_endpoint_name, lines=50
)

測試之後，您可以將鏡像流量設定為零，以停用鏡像：

endpoint.mirror_traffic = {"green": 0}
ml_client.begin_create_or_update(endpoint).result()

若要鏡像 10% 的流量，並將其傳送至 green 部署，請執行下列步驟：

1. 在端點頁面上，移至 [ 詳細數據] 索引標籤，然後選取 [ 更新流量]。

2. 開啟 [啟用鏡像流量] 切換。

3. 在 [ 部署名稱] 清單中，選取 綠色。

4. 在 [流量配置] %下，保留預設值 10%。

5. 選取 [更新]。

端點詳細資料頁面現在會顯示對 green 部署分配的 10% 鏡像流量。

若要測試鏡像流量，請參閱 [Azure CLI] 或 [Python] 索引標籤以叫用端點數次。 藉由檢查部署中的記錄，確認指定的流量百分比會傳送至 green 部署。 您可以在端點頁面的 記錄 索引標籤中存取部署記錄。

您也可以使用計量和記錄來監視鏡像流量的效能。 如需詳細資訊，請參閱監視線上端點。

測試之後，您可以採取下列步驟來停用鏡像：

1. 在端點頁面上，移至 [ 詳細數據] 索引標籤，然後選取 [ 更新流量]。

2. 關閉 [啟用鏡像流量] 切換按鈕。

3. 選取 [更新]。

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "blue=90 green=10"

endpoint.traffic = {"blue": 90, "green": 10}
ml_client.begin_create_or_update(endpoint).result()

1. 在端點頁面上，移至 [ 詳細數據] 索引標籤，然後選取 [ 更新流量]。

2. 將 10% 配置給 green 部署，並將 90% 配置給 blue 部署，以調整部署流量。

3. 選取 [更新]。

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "blue=0 green=100"

endpoint.traffic = {"blue": 0, "green": 100}
ml_client.begin_create_or_update(endpoint).result()

1. 在端點頁面上，移至 [ 詳細數據] 索引標籤，然後選取 [ 更新流量]。

2. 將 100% 流量配置給 green 部署，並將 0% 配置給 blue 部署，以調整部署流量。

3. 選取 [更新]。

az ml online-deployment delete --name blue --endpoint $ENDPOINT_NAME --yes --no-wait

ml_client.online_deployments.begin_delete(
    name="blue", endpoint_name=online_endpoint_name
).wait()

1. 在端點頁面上，前往 詳細資訊 索引標籤，然後前往 blue 部署卡片。

2. 在部署名稱旁邊，選取刪除圖示。

az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

ml_client.online_endpoints.begin_delete(name=online_endpoint_name)

1. 移至 [Azure Machine Learning 工作室]。

2. 選取端點。

3. 選取清單中的端點。

4. 選取 [刪除] 。

或者，您可以移至 [ 詳細 數據] 索引標籤，然後選取刪除圖示，直接在端點頁面中刪除受控在線端點。