Partilhar via


steps Pacote

Contém etapas pré-criadas que podem ser executadas em um Pipeline do Azure Machine Learning.

As etapas do Pipeline do Azure ML podem ser configuradas juntas para construir um Pipeline, que representa um fluxo de trabalho do Azure Machine Learning compartilhável e reutilizável. Cada etapa de um pipeline pode ser configurada para permitir a reutilização de seus resultados de execução anteriores se o conteúdo da etapa (scripts e dependências), bem como entradas e parâmetros, permanecerem inalterados.

As classes neste pacote são normalmente usadas em conjunto com as classes no core pacote. O pacote principal contém classes para configurar dados (PipelineData), agendar (Schedule) e gerenciar a saída de etapas (StepRun).

As etapas pré-criadas neste pacote abrangem muitos cenários comuns encontrados em fluxos de trabalho de aprendizado de máquina. Para começar com as etapas de pipeline pré-criadas, consulte:

Módulos

adla_step

Contém funcionalidade para criar uma etapa do Pipeline do Azure ML para executar um script U-SQL com o Azure Data Lake Analytics.

automl_step

Contém funcionalidade para adicionar e gerenciar uma etapa de pipeline de ML automatizada no Aprendizado de Máquina do Azure.

azurebatch_step

Contém funcionalidade para criar uma etapa do Pipeline do Azure ML que executa um executável do Windows no Lote do Azure.

command_step

Contém funcionalidade para criar uma etapa do Pipeline do Azure ML que executa comandos.

data_transfer_step

Contém funcionalidade para criar uma etapa do Pipeline do Azure ML que transfere dados entre opções de armazenamento.

databricks_step

Contém funcionalidade para criar uma etapa de pipeline do Azure ML para executar um bloco de anotações Databricks ou script Python no DBFS.

estimator_step

Contém funcionalidade para criar uma etapa de pipeline que executa um Estimador para treinamento de modelo de Aprendizado de Máquina.

hyper_drive_step

Contém funcionalidade para criar e gerenciar etapas do Pipeline do Azure ML que executam o ajuste de hiperparâmetros.

kusto_step

Contém funcionalidade para criar uma etapa de pipeline do Azure ML para executar um bloco de anotações Kusto.

module_step

Contém funcionalidade para adicionar uma etapa do Pipeline do Azure Machine Learning usando uma versão existente de um Módulo.

mpi_step

Contém funcionalidade para adicionar uma etapa do Pipeline do Azure ML para executar um trabalho MPI para treinamento de modelo de Aprendizado de Máquina.

parallel_run_config

Contém funcionalidade para configurar um ParallelRunSteparquivo .

parallel_run_step

Contém funcionalidade para adicionar uma etapa para executar o script do usuário no modo paralelo em vários destinos AmlCompute.

python_script_step

Contém funcionalidade para criar uma etapa do Pipeline do Azure ML que executa o script Python.

r_script_step

Contém funcionalidade para criar uma etapa do Pipeline do Azure ML que executa o script R.

synapse_spark_step

Contém funcionalidade para criar uma etapa Synapse do Azure ML que executa o script Python.

Classes

AdlaStep

Cria uma etapa do Pipeline do Azure ML para executar um script U-SQL com o Azure Data Lake Analytics.

Para obter um exemplo de utilização deste AdlaStep, consulte o bloco de notas https://aka.ms/pl-adla.

Crie uma etapa do Pipeline do Azure ML para executar um script U-SQL com o Azure Data Lake Analytics.

AutoMLStep

Cria uma etapa do Pipeline do Azure ML que encapsula uma execução automatizada de ML.

Para obter um exemplo de utilização do AutoMLStep, consulte o bloco de notas https://aka.ms/pl-automl.

Inicialize um AutoMLStep.

AutoMLStepRun

Fornece informações sobre uma execução automatizada de experimento de ML e métodos para recuperar saídas padrão.

A classe AutoMLStepRun é usada para gerenciar, verificar o status e recuperar detalhes da execução depois que uma execução automatizada de ML é enviada em um pipeline. Além disso, essa classe pode ser usada para obter as saídas padrão da AutoMLStep classe via the StepRun .

Inicialize uma execução de etapa do automl.

AzureBatchStep

Cria uma etapa do Pipeline do Azure ML para enviar trabalhos ao Azure Batch.

Nota: Esta etapa não suporta upload/download de diretórios e seu conteúdo.

Para obter um exemplo de como usar AzureBatchStep, consulte o bloco de anotações https://aka.ms/pl-azbatch.

Crie uma etapa do Pipeline do Azure ML para enviar trabalhos ao Azure Batch.

CommandStep

Crie uma etapa do Pipeline do Azure ML que execute um comando.

Crie uma etapa do Pipeline do Azure ML que execute um comando.

DataTransferStep

Cria uma etapa do Pipeline do Azure ML que transfere dados entre opções de armazenamento.

O DataTransferStep dá suporte a tipos de armazenamento comuns, como o Armazenamento de Blobs do Azure e o Azure Data Lake como fontes e coletores. Para obter mais informações, consulte a seção Observações .

Para obter um exemplo de como usar DataTransferStep, consulte o bloco de anotações https://aka.ms/pl-data-trans.

Crie uma etapa do Pipeline do Azure ML que transfere dados entre opções de armazenamento.

DatabricksStep

Cria uma etapa do Pipeline do Azure ML para adicionar um bloco de anotações DataBricks, script Python ou JAR como um nó.

Para obter um exemplo de como usar DatabricksStep, consulte o bloco de anotações https://aka.ms/pl-databricks.

Crie uma etapa do Pipeline do Azure ML para adicionar um bloco de anotações DataBricks, script Python ou JAR como um nó.

Para obter um exemplo de como usar DatabricksStep, consulte o bloco de anotações https://aka.ms/pl-databricks.

:p aram python_script_name:[Required] O nome de um script Python relativo a source_directory. Se o script tiver entradas e saídas, elas serão passadas para o script como parâmetros. Se python_script_name é especificado, então source_directory deve ser também.

Especifique exatamente um dos notebook_path, python_script_path, python_script_name, ou main_class_name.

Se você especificar um objeto DataReference como entrada com data_reference_name=input1 e um objeto PipelineData como saída com name=output1, as entradas e saídas serão passadas para o script como parâmetros. É assim que eles ficarão e você precisará analisar os argumentos em seu script para acessar os caminhos de cada entrada e saída: "-input1","wasbs://test@storagename.blob.core.windows.net/test","-output1", "wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1"

Além disso, os seguintes parâmetros estarão disponíveis dentro do script:

  • AZUREML_RUN_TOKEN: O token AML para autenticação com o Azure Machine Learning.
  • AZUREML_RUN_TOKEN_EXPIRY: O tempo de expiração do token AML.
  • AZUREML_RUN_ID: ID de Execução do Azure Machine Learning para esta execução.
  • AZUREML_ARM_SUBSCRIPTION: Subscrição do Azure para a sua área de trabalho AML.
  • AZUREML_ARM_RESOURCEGROUP: Grupo de recursos do Azure para seu espaço de trabalho do Azure Machine Learning.
  • AZUREML_ARM_WORKSPACE_NAME: Nome do seu espaço de trabalho do Azure Machine Learning.
  • AZUREML_ARM_PROJECT_NAME: Nome da sua experiência do Azure Machine Learning.
  • AZUREML_SERVICE_ENDPOINT: A URL do ponto de extremidade para serviços AML.
  • AZUREML_WORKSPACE_ID: ID do seu espaço de trabalho do Azure Machine Learning.
  • AZUREML_EXPERIMENT_ID: ID do seu experimento do Azure Machine Learning.
  • AZUREML_SCRIPT_DIRECTORY_NAME: Caminho do diretório no DBFS onde source_directory foi copiado.
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

Quando você está executando um script Python de sua máquina local no Databricks usando parâmetros source_directory DatabricksStep e python_script_name, seu source_directory é copiado para DBFS e o caminho do diretório no DBFS é passado como um parâmetro para o script quando ele começa a execução. Este parâmetro é rotulado como –AZUREML_SCRIPT_DIRECTORY_NAME. Você precisa prefixá-lo com a string "dbfs:/" ou "/dbfs/" para acessar o diretório no DBFS.

EstimatorStep

PRETERIDO. Cria uma etapa de pipeline para ser executada Estimator para o treinamento de modelo do Azure ML.

Crie uma etapa do Pipeline do Azure ML para executar o treinamento do modelo do Estimador para Aprendizado de Máquina.

PRETERIDO. Use o CommandStep em vez disso. Para obter um exemplo , consulte Como executar o treinamento de ML em pipelines com CommandStep.

HyperDriveStep

Cria uma etapa do Pipeline do Azure ML para executar o ajuste de hiperparâmetros para treinamento de modelo de Aprendizado de Máquina.

Para obter um exemplo de utilização do HyperDriveStep, consulte o bloco de notas https://aka.ms/pl-hyperdrive.

Crie uma etapa do Pipeline do Azure ML para executar o ajuste de hiperparâmetros para treinamento de modelo de Aprendizado de Máquina.

HyperDriveStepRun

Gerencie, verifique o status e recupere os detalhes da execução para uma HyperDriveStep etapa do pipeline.

HyperDriveStepRun fornece a funcionalidade de HyperDriveRun com o suporte adicional de StepRun. A classe HyperDriveStepRun permite gerenciar, verificar o status e recuperar detalhes de execução para a execução do HyperDrive e cada uma de suas execuções filhas geradas. A classe StepRun permite que você faça isso depois que a execução do pipeline pai é enviada e o pipeline envia a execução da etapa.

Inicialize um HyperDriveStepRun.

HyperDriveStepRun fornece a funcionalidade de HyperDriveRun com o suporte adicional de StepRun. A classe HyperDriveRun permite gerenciar, verificar o status e recuperar detalhes de execução para a execução do HyperDrive e cada uma de suas execuções filhas geradas. A classe StepRun permite que você faça isso depois que a execução do pipeline pai é enviada e o pipeline envia a execução da etapa.

KustoStep

O KustoStep habilita a funcionalidade de executar consultas Kusto em um cluster Kusto de destino nos Pipelines do Azure ML.

Inicialize KustoStep.

ModuleStep

Cria uma etapa de pipeline do Azure Machine Learning para executar uma versão específica de um Módulo.

Module Os objetos definem cálculos reutilizáveis, como scripts ou executáveis, que podem ser usados em diferentes cenários de aprendizado de máquina e por diferentes usuários. Para usar uma versão específica de um módulo em um pipeline, crie um ModuleStep. Um ModuleStep é uma etapa no pipeline que usa um ModuleVersionarquivo .

Para obter um exemplo de como usar o ModuleStep, consulte o bloco de anotações https://aka.ms/pl-modulestep.

Crie uma etapa de pipeline do Azure ML para executar uma versão específica de um Módulo.

MpiStep

Cria uma etapa de pipeline do Azure ML para executar um trabalho MPI.

Para obter um exemplo de utilização do MpiStep, consulte o bloco de notas https://aka.ms/pl-style-trans.

Crie uma etapa de pipeline do Azure ML para executar um trabalho MPI.

PRETERIDO. Use o CommandStep em vez disso. Para obter um exemplo , consulte Como executar treinamento distribuído em pipelines com CommandStep.

ParallelRunConfig

Define a configuração de um ParallelRunStep objeto.

Para obter um exemplo de como usar ParallelRunStep, consulte o bloco de anotações https://aka.ms/batch-inference-notebooks.

Para obter um guia de solução de problemas, consulte https://aka.ms/prstsg. Você pode encontrar mais referências lá.

Inicialize o objeto config.

ParallelRunStep

Cria uma etapa do Pipeline do Azure Machine Learning para processar grandes quantidades de dados de forma assíncrona e em paralelo.

Para obter um exemplo de como usar ParallelRunStep, consulte o bloco de anotações https://aka.ms/batch-inference-notebooks.

Para obter um guia de solução de problemas, consulte https://aka.ms/prstsg. Você pode encontrar mais referências lá.

Crie uma etapa do Pipeline do Azure ML para processar grandes quantidades de dados de forma assíncrona e em paralelo.

Para obter um exemplo de como usar ParallelRunStep, consulte o link https://aka.ms/batch-inference-notebooksdo bloco de anotações .

PythonScriptStep

Cria uma etapa do Pipeline do Azure ML que executa o script Python.

Para obter um exemplo de como usar PythonScriptStep, consulte o bloco de anotações https://aka.ms/pl-get-started.

Crie uma etapa do Pipeline do Azure ML que execute o script Python.

RScriptStep

Observação

Esta é uma aula experimental, e pode mudar a qualquer momento. Consulte https://aka.ms/azuremlexperimental para obter mais informações.

Cria uma etapa do Pipeline do Azure ML que executa o script R.

Crie uma etapa do Pipeline do Azure ML que execute o script R.

PRETERIDO. Use o CommandStep em vez disso. Para obter um exemplo , consulte Como executar scripts R em pipelines com CommandStep.

SynapseSparkStep

Observação

Esta é uma aula experimental, e pode mudar a qualquer momento. Consulte https://aka.ms/azuremlexperimental para obter mais informações.

Cria uma etapa Synapse do Azure ML que envia e executa script Python.

Crie uma etapa do Pipeline do Azure ML que execute o trabalho de faísca no pool de faíscas de sinapse.