MpiStep Classe
Cria uma etapa de pipeline do Azure ML para executar um trabalho de MPI.
Para obter um exemplo de uso do MpiStep, consulte o bloco de anotações https://aka.ms/pl-style-trans.
Crie uma etapa de pipeline do Azure ML para executar um trabalho de MPI.
DEPRECADO. Use o CommandStep em vez disso. Para obter um exemplo , consulte Como executar o treinamento distribuído em pipelines com CommandStep.
Construtor
MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)Parâmetros
| Nome | Description |
|---|---|
|
name
|
[Obrigatório] O nome do módulo. Valor padrão: None
|
|
source_directory
|
[Obrigatório] Uma pasta que contém script Python, conda env e outros recursos usados na etapa. Valor padrão: None
|
|
script_name
|
[Obrigatório] O nome de um script Python em relação a Valor padrão: None
|
|
arguments
|
[Obrigatório] Uma lista de argumentos de linha de comando. Valor padrão: None
|
|
compute_target
|
[Obrigatório] Um destino de computação a ser usado. Valor padrão: None
|
|
node_count
|
[Obrigatório] O número de nós no destino de computação usado para treinamento. Se for maior que 1, um trabalho distribuído de mpi será executado. Somente o destino de computação AmlCompute tem suporte para trabalhos distribuídos. Há suporte para valores pipelineParameter. Valor padrão: None
|
|
process_count_per_node
|
[Obrigatório] O número de processos por nó. Se for maior que 1, um trabalho distribuído de mpi será executado. Somente o destino de computação AmlCompute tem suporte para trabalhos distribuídos. Há suporte para valores pipelineParameter. Valor padrão: None
|
|
inputs
|
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
Uma lista de associações de porta de entrada. Valor padrão: None
|
|
outputs
|
Uma lista de associações de porta de saída. Valor padrão: None
|
|
params
Obrigatório
|
Um dicionário de pares nome-valor registrados como variáveis de ambiente com "AML_PARAMETER_". |
|
allow_reuse
|
Indica se a etapa deve reutilizar os resultados anteriores ao executar novamente com as mesmas configurações. A reutilização é habilitada por padrão. Se o conteúdo da etapa (scripts/dependências), bem como entradas e parâmetros permanecerem inalterados, a saída da execução anterior desta etapa será reutilizado. Ao reutilizar a etapa, em vez de enviar o trabalho para computação, os resultados da execução anterior são imediatamente disponibilizados para quaisquer etapas subsequentes. Se você usar conjuntos de dados do Azure Machine Learning como entradas, a reutilização será determinada se a definição do conjunto de dados foi alterada, não se os dados subjacentes foram alterados. Valor padrão: True
|
|
version
|
Uma marca de versão opcional para indicar uma alteração na funcionalidade do módulo. Valor padrão: None
|
|
hash_paths
|
PRETERIDO: não é mais necessário. Uma lista de caminhos para o hash ao verificar se há alterações no conteúdo da etapa. Se não houver alterações detectadas, o pipeline reutilizará o conteúdo da etapa de uma execução anterior. Por padrão, o conteúdo é Valor padrão: None
|
|
use_gpu
Obrigatório
|
Indica se o ambiente para executar o experimento deve dar suporte a GPUs.
Se true, uma imagem do Docker padrão baseada em GPU será usada no ambiente. Se false, uma imagem baseada em CPU será usada. As imagens padrão do Docker (CPU ou GPU) serão usadas somente se o |
|
use_docker
Obrigatório
|
Indica se o ambiente para executar o experimento deve ser baseado no Docker. |
|
custom_docker_image
Obrigatório
|
O nome da imagem do Docker da qual a imagem a ser usada para treinamento será criada. Se não for definido, uma imagem baseada em CPU padrão será usada como a imagem base. |
|
image_registry_details
Obrigatório
|
Os detalhes do registro de imagem do Docker. |
|
user_managed
Obrigatório
|
Indica se o Azure ML reutiliza um ambiente python existente; False significa que o Azure ML criará um ambiente python com base na especificação de dependências do Conda. |
|
conda_packages
Obrigatório
|
Uma lista de cadeias de caracteres que representam pacotes conda a serem adicionados ao ambiente python. |
|
pip_packages
Obrigatório
|
Uma lista de cadeias de caracteres que representam pacotes pip a serem adicionados ao ambiente python. |
|
pip_requirements_file_path
Obrigatório
|
O caminho relativo para o arquivo de texto de requisitos pip.
Esse parâmetro pode ser especificado em combinação com o |
|
environment_definition
Obrigatório
|
O EnvironmentDefinition para o experimento. Ele inclui PythonSection e DockerSection e variáveis de ambiente. Qualquer opção de ambiente não exposta diretamente por meio de outros parâmetros para a construção do MpiStep pode ser definida usando environment_definition parâmetro. Se esse parâmetro for especificado, ele terá precedência sobre outros parâmetros relacionados ao ambiente, como use_gpu, custom_docker_image, conda_packages ou pip_packages e erros serão relatados nessas combinações inválidas. |
|
name
Obrigatório
|
[Obrigatório] O nome do módulo. |
|
source_directory
Obrigatório
|
[Obrigatório] Uma pasta que contém script Python, conda env e outros recursos usados na etapa. |
|
script_name
Obrigatório
|
[Obrigatório] O nome de um script Python em relação a |
|
arguments
Obrigatório
|
[Obrigatório] Uma lista de argumentos de linha de comando. |
|
compute_target
Obrigatório
|
<xref:azureml.core.compute.AmlComputeCompute>, str
[Obrigatório] Um destino de computação a ser usado. |
|
node_count
Obrigatório
|
[Obrigatório] Número de nós no destino de computação usado para treinamento. Se for maior que 1, o trabalho distribuído de mpi será executado. Somente o destino de computação AmlCompute tem suporte para trabalhos distribuídos. Há suporte para valores pipelineParameter. |
|
process_count_per_node
Obrigatório
|
[Obrigatório] Número de processos por nó. Se for maior que 1, o trabalho distribuído de mpi será executado. Somente o destino de computação AmlCompute tem suporte para trabalhos distribuídos. Há suporte para valores pipelineParameter. |
|
inputs
Obrigatório
|
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
Uma lista de associações de porta de entrada. |
|
outputs
Obrigatório
|
Uma lista de associações de porta de saída. |
|
params
Obrigatório
|
Um dicionário de pares nome-valor registrados como variáveis de ambiente com ">>AML_PARAMETER_<<". |
|
allow_reuse
Obrigatório
|
Indica se a etapa deve reutilizar os resultados anteriores quando a nova execução com os mesmos parâmetros permanecer inalterada, a saída da execução anterior desta etapa será reutilizado. Ao reutilizar a etapa, em vez de enviar o trabalho para computação, os resultados da execução anterior são imediatamente disponibilizados para quaisquer etapas subsequentes. Se você usar conjuntos de dados do Azure Machine Learning como entradas, a reutilização será determinada se a definição do conjunto de dados foi alterada, não se os dados subjacentes foram alterados. |
|
version
Obrigatório
|
Marca de versão opcional para indicar uma alteração na funcionalidade do módulo |
|
hash_paths
Obrigatório
|
PRETERIDO: não é mais necessário. Uma lista de caminhos para o hash ao verificar se há alterações no conteúdo da etapa. Se não houver alterações detectadas, o pipeline reutilizará o conteúdo da etapa de uma execução anterior. Por padrão, o conteúdo é |
|
use_gpu
Obrigatório
|
Indica se o ambiente para executar o experimento deve dar suporte a GPUs.
Se true, uma imagem do Docker padrão baseada em GPU será usada no ambiente. Se false, uma imagem baseada em CPU será usada. As imagens padrão do Docker (CPU ou GPU) serão usadas somente se o |
|
use_docker
Obrigatório
|
Indica se o ambiente para executar o experimento deve ser baseado no Docker. custom_docker_image (str): o nome da imagem do docker da qual a imagem a ser usada para o trabalho de mpi será criada. Se não estiver definida, uma imagem baseada em CPU padrão será usada como a imagem base. |
|
custom_docker_image
Obrigatório
|
O nome da imagem do Docker da qual a imagem a ser usada para treinamento será criada. Se não for definido, uma imagem baseada em CPU padrão será usada como a imagem base. |
|
image_registry_details
Obrigatório
|
Os detalhes do registro de imagem do Docker. |
|
user_managed
Obrigatório
|
Indica se o Azure ML reutiliza um ambiente python existente; False significa que o Azure ML criará um ambiente python com base na especificação de dependências do Conda. |
|
conda_packages
Obrigatório
|
Uma lista de cadeias de caracteres que representam pacotes conda a serem adicionados ao ambiente python. |
|
pip_packages
Obrigatório
|
Uma lista de cadeias de caracteres que representam pacotes pip a serem adicionados ao ambiente python. |
|
pip_requirements_file_path
Obrigatório
|
O caminho relativo para o arquivo de texto de requisitos pip.
Esse parâmetro pode ser especificado em combinação com o |
|
environment_definition
Obrigatório
|
O EnvironmentDefinition para o experimento. Ele inclui PythonSection e DockerSection e variáveis de ambiente. Qualquer opção de ambiente não exposta diretamente por meio de outros parâmetros para a construção do MpiStep pode ser definida usando environment_definition parâmetro. Se esse parâmetro for especificado, ele terá precedência sobre outros parâmetros relacionados ao ambiente, como use_gpu, custom_docker_image, conda_packages ou pip_packages e erros serão relatados nessas combinações inválidas. |