Chainer Classe
Representa um estimador para treinamento em experimentos Chainer.
PRETERIDO. Use o ScriptRunConfig objeto com seu próprio ambiente definido ou um dos ambientes curados pelo Azure ML Chainer. Para obter uma introdução à configuração de execuções experimentais com ScriptRunConfig, consulte Configurar e enviar execuções de treinamento.
Versões suportadas: 5.1.0, 7.0.0
Inicialize um estimador do Chainer.
Construtor
Chainer(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, framework_version=None, _enable_optimized_mode=False, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)
Parâmetros
| Name | Description |
|---|---|
|
source_directory
Necessário
|
Um diretório local contendo arquivos de configuração de experimento. |
|
compute_target
Necessário
|
O alvo de computação onde o treinamento acontecerá. Isso pode ser um objeto ou a cadeia de caracteres "local". |
|
vm_size
Necessário
|
O tamanho da VM do destino de computação que será criado para o treinamento. Valores suportados: qualquer tamanho de VM do Azure. |
|
vm_priority
Necessário
|
A prioridade VM do destino de computação que será criado para o treinamento. Se não for especificado, utiliza-se «dedicado». Valores suportados: 'dedicado' e 'baixa prioridade'. Isso entra em vigor somente quando o |
|
entry_script
Necessário
|
O caminho relativo para o arquivo que contém o script de treinamento. |
|
script_params
Necessário
|
Um dicionário de argumentos de linha de comando a serem passados para o script de treinamento especificado em |
|
node_count
Necessário
|
O número de nós no destino de computação usado para treinamento. Se maior que 1, um trabalho distribuído MPI será executado. Apenas a meta é suportada AmlCompute para trabalhos distribuídos. |
|
process_count_per_node
Necessário
|
O número de processos por nó. Se maior que 1, um trabalho distribuído MPI será executado. Apenas a meta é suportada AmlCompute para trabalhos distribuídos. |
|
distributed_backend
Necessário
|
O backend de comunicação para treinamento distribuído. PRETERIDO. Use o Valores suportados: 'mpi'. «mpi»: IPM/Horovod Este parâmetro é necessário quando Quando |
|
distributed_training
Necessário
|
Parâmetros para executar um trabalho de treinamento distribuído. Para executar um trabalho distribuído com back-end MPI, use o Mpi objeto para especificar |
|
use_gpu
Necessário
|
Especifica se o ambiente para executar o experimento deve suportar GPUs.
Se for verdadeira, a imagem padrão do Docker baseada em GPU será usada no ambiente. Se false, uma imagem baseada em CPU será usada. As imagens docker padrão (CPU ou GPU) serão usadas somente se o |
|
use_docker
Necessário
|
Especifica se o ambiente para executar o experimento deve ser baseado no Docker. |
|
custom_docker_base_image
Necessário
|
O nome da imagem do Docker a partir da qual a imagem a ser usada para treinamento será construída. PRETERIDO. Use o Se não estiver definida, uma imagem padrão baseada em CPU será usada como imagem base. |
|
custom_docker_image
Necessário
|
O nome da imagem do Docker a partir da qual a imagem a ser usada para treinamento será construída. Se não estiver definida, uma imagem padrão baseada em CPU será usada como imagem base. |
|
image_registry_details
Necessário
|
Os detalhes do registro de imagem do Docker. |
|
user_managed
Necessário
|
Especifica se o Azure ML reutiliza um ambiente Python existente. Se false, o Azure ML criará um ambiente Python com base na especificação de dependências conda. |
|
conda_packages
Necessário
|
Uma lista de strings que representam pacotes conda a serem adicionados ao ambiente Python para o experimento. |
|
pip_packages
Necessário
|
Uma lista de strings que representam pacotes pip a serem adicionados ao ambiente Python para o experimento. |
|
conda_dependencies_file_path
Necessário
|
O caminho relativo para o arquivo yaml de dependências conda.
Se especificado, o Azure ML não instalará nenhum pacote relacionado à estrutura.
PRETERIDO. Use o |
|
pip_requirements_file_path
Necessário
|
O caminho relativo para o arquivo de texto de requisitos pip.
Isto pode ser fornecido em combinação com o |
|
conda_dependencies_file
Necessário
|
O caminho relativo para o arquivo yaml de dependências conda. Se especificado, o Azure ML não instalará nenhum pacote relacionado à estrutura. |
|
pip_requirements_file
Necessário
|
O caminho relativo para o arquivo de texto de requisitos pip.
Isto pode ser fornecido em combinação com o |
|
environment_variables
Necessário
|
Um dicionário de nomes e valores de variáveis de ambiente. Essas variáveis de ambiente são definidas no processo onde o script do usuário está sendo executado. |
|
environment_definition
Necessário
|
A definição do ambiente para o experimento. Ele inclui PythonSection, DockerSection e variáveis de ambiente. Qualquer opção de ambiente não exposta diretamente através de outros parâmetros à construção do Estimador pode ser definida usando este parâmetro. Se esse parâmetro for especificado, ele terá precedência sobre outros parâmetros relacionados ao ambiente, como |
|
inputs
Necessário
|
Uma lista de DataReference ou DatasetConsumptionConfig objetos para usar como entrada. |
|
source_directory_data_store
Necessário
|
O armazenamento de dados de suporte para compartilhamento de projeto. |
|
shm_size
Necessário
|
O tamanho do bloco de memória compartilhada do contêiner do Docker. Se não estiver definido, o azureml.core.environment._DEFAULT_SHM_SIZE padrão será usado. Para obter mais informações, consulte Referência de execução do Docker. |
|
resume_from
Necessário
|
O caminho de dados que contém o ponto de verificação ou os arquivos de modelo a partir dos quais retomar o experimento. |
|
max_run_duration_seconds
Necessário
|
O tempo máximo permitido para a execução. O Azure ML tentará cancelar automaticamente a execução se demorar mais do que esse valor. |
|
framework_version
Necessário
|
A versão Chainer a ser usada para executar o código de treinamento.
|
|
source_directory
Necessário
|
Um diretório local contendo arquivos de configuração de experimento. |
|
compute_target
Necessário
|
O alvo de computação onde o treinamento acontecerá. Isso pode ser um objeto ou a cadeia de caracteres "local". |
|
vm_size
Necessário
|
O tamanho da VM do destino de computação que será criado para o treinamento. Valores suportados: qualquer tamanho de VM do Azure. |
|
vm_priority
Necessário
|
A prioridade VM do destino de computação que será criado para o treinamento. Se não for especificado, será padronizado para 'dedicado'. Valores suportados: 'dedicado' e 'baixa prioridade'. Isso entra em vigor somente quando o vm_size param é especificado na entrada. |
|
entry_script
Necessário
|
O caminho relativo para o arquivo que contém o script de treinamento. |
|
script_params
Necessário
|
Um dicionário de argumentos de linha de comando a serem passados para o script de treinamento especificado em |
|
node_count
Necessário
|
O número de nós no destino de computação usado para treinamento. Se maior que 1, um trabalho distribuído MPI será executado. Apenas a meta é suportada AmlCompute para trabalhos distribuídos. |
|
process_count_per_node
Necessário
|
O número de processos por nó. Se maior que 1, um trabalho distribuído MPI será executado. Somente AmlCompute o destino de computação de destino é suportado para trabalhos distribuídos. |
|
distributed_backend
Necessário
|
O backend de comunicação para treinamento distribuído. PRETERIDO. Use o Valores suportados: 'mpi'. «mpi»: IPM/Horovod Este parâmetro é necessário quando Quando |
|
distributed_training
Necessário
|
Parâmetros para executar um trabalho de treinamento distribuído. Para executar um trabalho distribuído com back-end MPI, use o Mpi objeto para especificar |
|
use_gpu
Necessário
|
Especifica se o ambiente para executar o experimento deve suportar GPUs.
Se verdadeiro, uma imagem padrão do Docker baseada em GPU será usada no ambiente. Se false, uma imagem baseada em CPU será usada. As imagens padrão do Docker (CPU ou GPU) serão usadas somente se o |
|
use_docker
Necessário
|
Especifica se o ambiente para executar o experimento deve ser baseado no Docker. |
|
custom_docker_base_image
Necessário
|
O nome da imagem do Docker a partir da qual a imagem a ser usada para treinamento será construída. PRETERIDO. Use o Se não estiver definida, uma imagem padrão baseada em CPU será usada como imagem base. |
|
custom_docker_image
Necessário
|
O nome da imagem do Docker a partir da qual a imagem a ser usada para treinamento será construída. Se não estiver definida, uma imagem padrão baseada em CPU será usada como imagem base. |
|
image_registry_details
Necessário
|
Os detalhes do registro de imagem do Docker. |
|
user_managed
Necessário
|
Especifica se o Azure ML reutiliza um ambiente Python existente. Se false, o Azure ML criará um ambiente Python com base na especificação de dependências conda. |
|
conda_packages
Necessário
|
Uma lista de strings que representam pacotes conda a serem adicionados ao ambiente Python para o experimento. |
|
pip_packages
Necessário
|
Uma lista de strings que representam pacotes pip a serem adicionados ao ambiente Python para o experimento. |
|
conda_dependencies_file_path
Necessário
|
O caminho relativo para o arquivo yaml de dependências conda. Se especificado, o Azure ML não instalará nenhum pacote relacionado à estrutura.
PRETERIDO. Use o |
|
pip_requirements_file_path
Necessário
|
O caminho relativo para o arquivo de texto de requisitos pip.
Isto pode ser fornecido em combinação com o |
|
conda_dependencies_file
Necessário
|
O caminho relativo para o arquivo yaml de dependências conda. Se especificado, o Azure ML não instalará nenhum pacote relacionado à estrutura. |
|
pip_requirements_file
Necessário
|
O caminho relativo para o arquivo de texto de requisitos pip.
Isto pode ser fornecido em combinação com o |
|
environment_variables
Necessário
|
Um dicionário de nomes e valores de variáveis de ambiente. Essas variáveis de ambiente são definidas no processo onde o script do usuário está sendo executado. |
|
environment_definition
Necessário
|
A definição do ambiente para o experimento. Ele inclui PythonSection, DockerSection e variáveis de ambiente. Qualquer opção de ambiente não exposta diretamente através de outros parâmetros à construção do Estimador pode ser definida usando este parâmetro. Se esse parâmetro for especificado, ele terá precedência sobre outros parâmetros relacionados ao ambiente, como |
|
inputs
Necessário
|
Uma lista de azureml.data.data_reference. DataReference objetos para usar como entrada. |
|
source_directory_data_store
Necessário
|
O armazenamento de dados de suporte para compartilhamento de projeto. |
|
shm_size
Necessário
|
O tamanho do bloco de memória compartilhada do contêiner do Docker. Se não estiver definido, o azureml.core.environment._DEFAULT_SHM_SIZE padrão será usado. Para obter mais informações, consulte Referência de execução do Docker. |
|
resume_from
Necessário
|
O caminho de dados que contém o ponto de verificação ou os arquivos de modelo a partir dos quais retomar o experimento. |
|
max_run_duration_seconds
Necessário
|
O tempo máximo permitido para a execução. O Azure ML tentará cancelar automaticamente a execução se demorar mais do que esse valor. |
|
framework_version
Necessário
|
A versão Chainer a ser usada para executar o código de treinamento.
|
|
_enable_optimized_mode
Necessário
|
Habilite a criação incremental de ambientes com imagens de estrutura pré-criadas para uma preparação mais rápida do ambiente. Uma imagem de estrutura pré-criada é criada sobre as imagens base de CPU/GPU padrão do Azure ML com dependências de estrutura pré-instaladas. |
|
_disable_validation
Necessário
|
Desative a validação de script antes de executar o envio. O padrão é True. |
|
_show_lint_warnings
Necessário
|
Mostrar avisos de revestimento de script. O padrão é False. |
|
_show_package_warnings
Necessário
|
Mostrar avisos de validação de pacote. O padrão é False. |
Observações
Ao enviar um trabalho de treinamento, o Azure ML executa seu script em um ambiente conda dentro de um contêiner do Docker. Os contêineres Chainer têm as seguintes dependências instaladas.
Dependências | Chainer 5.1.0 | Chainer 7.0.0 | —————————- | —————– | ————— | Python | 3.6.2 | 3.6.2 | CUDA (apenas imagem GPU) | 9,0 | 9,0 | cuDNN (apenas imagem GPU) | 7.6.3 | 7.6.3 | NCCL (apenas imagem GPU) | 2.4.8 | 2.4.8 | azureml-defaults | Últimas notícias | Últimas notícias | IntelMpi | 2018.3.222 | 2018.3.222 | Horovod | 0.15.2 | 0.15.2 | Miniconda | 4.5.11 | 4.5.11 | encadeador | 5.1.0 | 7.0.0 | cupy-cuda90 (apenas imagem GPU) | 5.2.0 | 7.0.0 | Git | 2.7.4 | 2.7.4 |
As imagens do Docker estendem o Ubuntu 16.04.
Para instalar dependências adicionais, você pode usar o pip_packages parâmetro ou conda_packages . Ou, você pode especificar o pip_requirements_file parâmetro ou conda_dependencies_file .
Como alternativa, você pode criar sua própria imagem e passar o custom_docker_image parâmetro para o construtor do estimador.
Para obter mais informações sobre contêineres do Docker usados no treinamento do Chainer, consulte https://github.com/Azure/AzureML-Containers.
Atributos
DEFAULT_VERSION
DEFAULT_VERSION = '5.1.0'
FRAMEWORK_NAME
FRAMEWORK_NAME = 'Chainer'