AzureBatchStep Classe

Cria uma etapa do Pipeline do Azure ML para enviar trabalhos ao Azure Batch.

Nota: Esta etapa não suporta upload/download de diretórios e seu conteúdo.

Para obter um exemplo de como usar AzureBatchStep, consulte o bloco de anotações https://aka.ms/pl-azbatch.

Crie uma etapa do Pipeline do Azure ML para enviar trabalhos ao Azure Batch.

Construtor

AzureBatchStep(name, create_pool=False, pool_id=None, delete_batch_job_after_finish=True, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', source_directory=None, executable=None, arguments=None, inputs=None, outputs=None, allow_reuse=True, compute_target=None, version=None)

Parâmetros

Name	Description
name Necessário	str [Obrigatório] O nome da etapa.
create_pool	bool Indica se o pool deve ser criado antes de executar os trabalhos. Default value: False
pool_id	str [Obrigatório] A ID do pool onde o trabalho é executado. O ID pode ser um pool existente ou um que será criado quando o trabalho for enviado. Default value: None
delete_batch_job_after_finish	bool Indica se o trabalho deve ser excluído da conta em lote após sua conclusão. Default value: True
delete_batch_pool_after_finish	bool Indica se o pool deve ser excluído após a conclusão do trabalho. Default value: False
is_positive_exit_code_failure	bool Indica se o trabalho falhará se a tarefa existir com um código positivo. Default value: True
vm_image_urn	str Se `create_pool` é True e VM usa VirtualMachineConfiguration. Formato do valor: `urn:publisher:offer:sku`. Exemplo: `urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter`. Default value: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter
run_task_as_admin	bool Indica se a tarefa deve ser executada com privilégios de administrador. Default value: False
target_compute_nodes	int Se `create_pool` for True, indica quantos nós de computação serão adicionados ao pool. Default value: 1
vm_size	str Se `create_pool` for True, indica o tamanho da máquina virtual dos nós de computação. Default value: standard_d1_v2
source_directory	str Uma pasta local que contém os binários do módulo, executável, assemblies, etc. Default value: None
executable	str [Obrigatório] O nome do comando/executável que será executado como parte do trabalho. Default value: None
arguments	str Argumentos para o comando/executável. Default value: None
inputs	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]] Uma lista de ligações de porta de entrada. Antes da execução do trabalho, uma pasta é criada para cada entrada. Os arquivos para cada entrada serão copiados do armazenamento para a respetiva pasta no nó de computação. Por exemplo, se o nome de entrada for input1 e o caminho relativo no armazenamento for some/relative/path/that/can/be/really/long/inputfile.txt, o caminho do arquivo no cálculo será: ./input1/inputfile.txt. Quando o nome de entrada tiver mais de 32 caracteres, ele será truncado e anexado com um sufixo exclusivo para que o nome da pasta possa ser criado com êxito no destino de computação. Default value: None
outputs	list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]] Uma lista de ligações de porta de saída. Semelhante às entradas, antes que o trabalho seja executado, uma pasta é criada para cada saída. O nome da pasta será o mesmo que o nome da saída. A suposição é que o trabalho colocará a saída nessa pasta. Default value: None
allow_reuse	bool Indica se a etapa deve reutilizar os resultados anteriores ao ser executada novamente com as mesmas configurações. A reutilização está ativada por predefinição. Se o conteúdo da etapa (scripts/dependências), bem como as entradas e os parâmetros permanecerem inalterados, a saída da execução anterior desta etapa será reutilizada. Ao reutilizar a etapa, em vez de enviar o trabalho para computação, os resultados da execução anterior são imediatamente disponibilizados para quaisquer etapas subsequentes. Se você usar conjuntos de dados do Aprendizado de Máquina do Azure como entradas, a reutilização será determinada se a definição do conjunto de dados foi alterada, não se os dados subjacentes foram alterados. Default value: True
compute_target	BatchCompute, str [Obrigatório] Um cálculo BatchCompute onde o trabalho é executado. Default value: None
version	str Uma tag de versão opcional para indicar uma alteração na funcionalidade do módulo. Default value: None
name Necessário	str [Obrigatório] O nome da etapa.
create_pool Necessário	bool Indica se o pool deve ser criado antes de executar os trabalhos.
pool_id Necessário	str [Obrigatório] A ID do pool onde o trabalho é executado. O ID pode ser um pool existente ou um que será criado quando o trabalho for enviado.
delete_batch_job_after_finish Necessário	bool Indica se o trabalho deve ser excluído da conta em lote após sua conclusão.
delete_batch_pool_after_finish Necessário	bool Indica se o pool deve ser excluído após a conclusão do trabalho.
is_positive_exit_code_failure Necessário	bool Indica se o trabalho falhará se a tarefa existir com um código positivo.
vm_image_urn Necessário	str Se `create_pool` é True e VM usa VirtualMachineConfiguration. Formato do valor: `urn:publisher:offer:sku`. Exemplo: `urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter`.
run_task_as_admin Necessário	bool Indica se a tarefa deve ser executada com privilégios de administrador.
target_compute_nodes Necessário	int Se `create_pool` for True, indica quantos nós de computação serão adicionados ao pool.
vm_size Necessário	str Se `create_pool` for True, indica o tamanho da máquina virtual dos nós de computação.
source_directory Necessário	str Uma pasta local que contém os binários do módulo, executável, assemblies etc.
executable Necessário	str [Obrigatório] O nome do comando/executável que será executado como parte do trabalho.
arguments Necessário	list Argumentos para o comando/executável.
inputs Necessário	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]] Uma lista de ligações de porta de entrada. Antes da execução do trabalho, uma pasta é criada para cada entrada. Os arquivos para cada entrada serão copiados do armazenamento para a respetiva pasta no nó de computação. Por exemplo, se o nome de entrada for input1 e o caminho relativo no armazenamento for some/relative/path/that/can/be/really/long/inputfile.txt, o caminho do arquivo no cálculo será: ./input1/inputfile.txt. Caso o nome de entrada tenha mais de 32 caracteres, ele será truncado e anexado com um sufixo exclusivo, para que o nome da pasta possa ser criado com êxito no cálculo.
outputs Necessário	list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]] Uma lista de ligações de porta de saída. Semelhante às entradas, antes que o trabalho seja executado, uma pasta é criada para cada saída. O nome da pasta será o mesmo que o nome da saída. A suposição é que o trabalho terá a saída para essa pasta.
allow_reuse Necessário	bool Indica se a etapa deve reutilizar os resultados anteriores ao ser executada novamente com as mesmas configurações. A reutilização está ativada por predefinição. Se o conteúdo da etapa (scripts/dependências), bem como as entradas e os parâmetros permanecerem inalterados, a saída da execução anterior desta etapa será reutilizada. Ao reutilizar a etapa, em vez de enviar o trabalho para computação, os resultados da execução anterior são imediatamente disponibilizados para quaisquer etapas subsequentes. Se você usar conjuntos de dados do Aprendizado de Máquina do Azure como entradas, a reutilização será determinada se a definição do conjunto de dados foi alterada, não se os dados subjacentes foram alterados.
compute_target Necessário	BatchCompute, str [Obrigatório] Um cálculo BatchCompute onde o trabalho é executado.
version Necessário	str Uma tag de versão opcional para indicar uma alteração na funcionalidade do módulo.

Observações

O exemplo a seguir mostra como usar AzureBatchStep em um Pipeline do Azure Machine Learning.


   step = AzureBatchStep(
               name="Azure Batch Job",
               pool_id="MyPoolName", # Replace this with the pool name of your choice
               inputs=[testdata],
               outputs=[outputdata],
               executable="azurebatch.cmd",
               arguments=[testdata, outputdata],
               compute_target=batch_compute,
               source_directory=binaries_folder,
   )

A amostra completa está disponível em https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-azurebatch-to-run-a-windows-executable.ipynb

Métodos

create_node

Crie um nó a partir da etapa AzureBatch e adicione-o ao gráfico especificado.

Este método não se destina a ser utilizado diretamente. Quando um pipeline é instanciado com essa etapa, o Azure ML passa automaticamente os parâmetros necessários por meio desse método para que essa etapa possa ser adicionada a um gráfico de pipeline que representa o fluxo de trabalho.

create_node

Crie um nó a partir da etapa AzureBatch e adicione-o ao gráfico especificado.

create_node(graph, default_datastore, context)

Parâmetros

Name	Description
graph Necessário	Graph O objeto gráfico ao qual adicionar o nó.
default_datastore Necessário	Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore] O armazenamento de dados padrão.
context Necessário	<xref:azureml.pipeline.core._GraphContext> O contexto do gráfico.

Devoluções

Tipo	Description
Node	O nó criado.

Feedback

Esta página foi útil?

Partilhar via

AzureBatchStep Classe

Construtor

Parâmetros

Observações

Métodos

create_node

Parâmetros

Devoluções

Feedback