Como implantar pipelines com pontos de extremidade em lote

APLICA-SE A:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (current)

Você pode implantar componentes de pipeline em um ponto de extremidade em lote, fornecendo uma maneira conveniente de operacionalizá-los no Aprendizado de Máquina do Azure. Neste artigo, você aprenderá como criar uma implantação em lote que contém um pipeline simples. Ficará a saber como:

Criar e registrar um componente de pipeline
Criar um ponto de extremidade em lote e implantar um componente de pipeline
Testar a implementação

Sobre este exemplo

Neste exemplo, vamos implantar um componente de pipeline que consiste em um trabalho de comando simples que imprime "hello world!". Esse componente não requer entradas ou saídas e é o cenário de implantação de pipeline mais simples.

O exemplo neste artigo é baseado em exemplos de código contidos no repositório azureml-examples . Para executar os comandos localmente sem ter que copiar ou colar YAML e outros arquivos, use os seguintes comandos para clonar o repositório e vá para a pasta para sua linguagem de codificação:

CLI do Azure
Píton

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/sdk/python

Os arquivos para este exemplo estão em:

cd endpoints/batch/deploy-pipelines/hello-batch

Acompanhe nos cadernos Jupyter

Você pode acompanhar a versão do SDK do Python deste exemplo abrindo o bloco de anotações sdk-deploy-and-test.ipynb no repositório clonado.

Pré-requisitos

Uma subscrição do Azure. Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar.
Uma área de trabalho do Azure Machine Learning. Para criar um espaço de trabalho, consulte Gerenciar espaços de trabalho do Azure Machine Learning.
As seguintes permissões no espaço de trabalho do Azure Machine Learning:
- Para criar ou gerenciar pontos de extremidade e implantações em lote: use um Proprietário, Colaborador ou função personalizada que tenha recebido as Microsoft.MachineLearningServices/workspaces/batchEndpoints/* permissões.
- Para criar implantações do Azure Resource Manager no grupo de recursos do espaço de trabalho: use um Proprietário, Colaborador ou função personalizada à qual tenha sido atribuída a Microsoft.Resources/deployments/write permissão no grupo de recursos em que o espaço de trabalho está implantado.
A CLI do Azure Machine Learning ou o SDK do Azure Machine Learning para Python:
- CLI do Azure
- Píton
Execute o seguinte comando para instalar a CLI do
```
az extension add -n ml
```
As implantações de componentes de pipeline para pontos de extremidade em lote são introduzidas na versão 2.7 da ml extensão para a CLI do Azure. Use o az extension update --name ml comando para obter a versão mais recente.
Execute o seguinte comando para instalar o SDK do Azure Machine Learning para Python:
```
pip install azure-ai-ml
```
As ModelBatchDeployment classes e PipelineComponentBatchDeployment são introduzidas na versão 1.7.0 do SDK. Use o pip install -U azure-ai-ml comando para obter a versão mais recente.

Ligar à sua área de trabalho

O espaço de trabalho é o recurso de nível superior para o Azure Machine Learning. Ele fornece um local centralizado para trabalhar com todos os artefatos que você cria quando usa o Azure Machine Learning. Nesta seção, você se conecta ao espaço de trabalho onde executa suas tarefas de implantação.

CLI do Azure
Píton

No comando a seguir, insira sua ID de assinatura, nome do espaço de trabalho, nome do grupo de recursos e local:

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Importe as bibliotecas necessárias:

from azure.ai.ml import MLClient, Input, load_component
from azure.ai.ml.entities import BatchEndpoint, ModelBatchDeployment, ModelBatchDeploymentSettings, PipelineComponentBatchDeployment, Model, AmlCompute, Data, BatchRetrySettings, CodeConfiguration, Environment, Data
from azure.ai.ml.constants import AssetTypes, BatchDeploymentOutputAction
from azure.ai.ml.dsl import pipeline
from azure.identity import DefaultAzureCredential

Configure os detalhes do espaço de trabalho e obtenha um identificador para o espaço de trabalho:

No comando a seguir, insira a ID da assinatura, o nome do grupo de recursos e o nome do espaço de trabalho:
```
subscription_id = "<subscription>"
resource_group = "<resource-group>"
workspace = "<workspace>"

ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
```

Criar o componente de pipeline

Os pontos de extremidade em lote podem implantar modelos ou componentes de pipeline. Os componentes de pipeline são reutilizáveis e você pode simplificar sua prática de MLOps usando registros compartilhados para mover esses componentes de um espaço de trabalho para outro.

O componente pipeline neste exemplo contém uma única etapa que apenas imprime uma mensagem "hello world" nos logs. Não requer entradas ou saídas.

O hello-component/hello.yml arquivo contém a configuração para o componente de pipeline:

Olá-componente/hello.yml

$schema: https://azuremlschemas.azureedge.net/latest/pipelineComponent.schema.json
name: hello_batch
display_name: Hello Batch component
version: 1
type: pipeline
jobs:
  main_job:
    type: command
    component:
      code: src
      environment: azureml://registries/azureml/environments/sklearn-1.5/labels/latest
      command: >-
        python hello.py

Registre o componente:

CLI do Azure
Píton

az ml component create -f hello-component/hello.yml

hello_batch = load_component(source="hello-component/hello.yml")
hello_batch_registered = ml_client.components.create_or_update(hello_batch)

Criar um ponto de extremidade em lote

Forneça um nome para o ponto de extremidade. O nome de um ponto de extremidade em lote precisa ser exclusivo em cada região, pois o nome é usado para construir o URI de invocação. Para garantir a exclusividade, acrescente quaisquer caracteres à direita ao nome especificado no código a seguir.
- CLI do Azure
- Píton
```
ENDPOINT_NAME="hello-batch"
```
```
endpoint_name = "hello-batch"
```

Configure o ponto de extremidade:

CLI do Azure
Píton

O endpoint.yml arquivo contém a configuração do ponto de extremidade.

endpoint.yml

$schema: https://azuremlschemas.azureedge.net/latest/batchEndpoint.schema.json
name: hello-batch
description: A hello world endpoint for component deployments.
auth_mode: aad_token

endpoint = BatchEndpoint(
    name=endpoint_name,
    description="A hello world endpoint for component deployments",
)

Crie o ponto de extremidade:

CLI do Azure
Píton

az ml batch-endpoint create --name $ENDPOINT_NAME  -f endpoint.yml

ml_client.batch_endpoints.begin_create_or_update(endpoint).result()

Consulte o URI do ponto de extremidade:

CLI do Azure
Píton

az ml batch-endpoint show --name $ENDPOINT_NAME

endpoint = ml_client.batch_endpoints.get(name=endpoint_name)
print(endpoint)

Implantar o componente de pipeline

Para implantar o componente de pipeline, temos que criar uma implantação em lote. Uma implantação é um conjunto de recursos necessários para hospedar o ativo que faz o trabalho real.

Crie um cluster de computação. Pontos de extremidade em lote e implantações são executados em clusters de computação. Eles podem ser executados em qualquer cluster de computação do Azure Machine Learning que já exista no espaço de trabalho. Portanto, várias implantações em lote podem compartilhar a mesma infraestrutura de computação. Neste exemplo, trabalharemos em um cluster de computação do Azure Machine Learning chamado batch-cluster. Vamos verificar se a computação existe no espaço de trabalho ou criá-la de outra forma.
- CLI do Azure
- Píton
```
az ml compute create -n batch-cluster --type amlcompute --min-instances 0 --max-instances 5
```
```
compute_name = "batch-cluster"
if not any(filter(lambda m: m.name == compute_name, ml_client.compute.list())):
    compute_cluster = AmlCompute(
        name=compute_name,
        description="Batch endpoints compute cluster",
        min_instances=0,
        max_instances=5,
    )
    ml_client.begin_create_or_update(compute_cluster).result()
```

Configure a implantação:

CLI do Azure
Píton

O deployment.yml arquivo contém a configuração da implantação. Você pode verificar o esquema YAML do ponto de extremidade de lote completo para obter propriedades extras.

deployment.yml

$schema: https://azuremlschemas.azureedge.net/latest/pipelineComponentBatchDeployment.schema.json
name: hello-batch-dpl
endpoint_name: hello-pipeline-batch
type: pipeline
component: azureml:hello_batch@latest
settings:
    default_compute: batch-cluster

deployment = PipelineComponentBatchDeployment(
    name="hello-batch-dpl",
    description="A hello world deployment with a single step.",
    endpoint_name=endpoint.name,
    component=hello_batch,
    settings={"continue_on_step_failure": False, "default_compute": compute_name},
)

Crie a implantação:
- CLI do Azure
- Píton
Execute o código a seguir para criar uma implantação em lote no ponto de extremidade em lote e defini-la como a implantação padrão.
```
az ml batch-deployment create --endpoint $ENDPOINT_NAME -f deployment.yml --set-default
```
Gorjeta

Observe o --set-default uso do sinalizador para indicar que essa nova implantação agora é o padrão.
Esse comando iniciará a criação da implantação e retornará uma resposta de confirmação enquanto a criação da implantação continuar.
```
ml_client.batch_deployments.begin_create_or_update(deployment).result()
```
Uma vez criada, vamos configurar essa nova implantação como padrão:
```
endpoint = ml_client.batch_endpoints.get(endpoint_name)
endpoint.defaults.deployment_name = deployment.name
ml_client.batch_endpoints.begin_create_or_update(endpoint).result()
```
Sua implantação está pronta para uso.

Testar a implementação

Depois que a implantação é criada, ela está pronta para receber trabalhos. Você pode invocar a implantação padrão da seguinte maneira:

CLI do Azure
Píton

JOB_NAME=$(az ml batch-endpoint invoke -n $ENDPOINT_NAME --query name -o tsv)

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name,
)

Gorjeta

Neste exemplo, o pipeline não tem entradas ou saídas. No entanto, se o componente de pipeline exigir alguns, eles podem ser indicados no momento da invocação. Para saber mais sobre como indicar entradas e saídas, consulte Criar trabalhos e dados de entrada para pontos de extremidade em lote ou consulte o tutorial Como implantar um pipeline para executar pontuação em lote com pré-processamento (visualização).

Você pode monitorar o progresso do show e transmitir os logs usando:

CLI do Azure
Píton

az ml job stream -n $JOB_NAME

ml_client.jobs.get(job.name)

Para aguardar a conclusão do trabalho, execute o seguinte código:

ml_client.jobs.stream(name=job.name)

Clean up resources (Limpar recursos)

Quando terminar, exclua os recursos associados do espaço de trabalho:

CLI do Azure
Píton

Execute o código a seguir para excluir o ponto de extremidade em lote e sua implantação subjacente. --yes é utilizado para confirmar a eliminação.

az ml batch-endpoint delete -n $ENDPOINT_NAME --yes

Exclua o ponto de extremidade:

ml_client.batch_endpoints.begin_delete(endpoint_name).result()

(Opcional) Exclua a computação, a menos que planeje reutilizar seu cluster de computação com implantações posteriores.

CLI do Azure
Píton

az ml compute delete -n batch-cluster

ml_client.compute.begin_delete(name="batch-cluster")

Próximos passos

Feedback

Esta página foi útil?

Last updated on 2025-05-03