TensorFlow Classe
Representa um avaliador para treinamento em experimentos do TensorFlow.
DEPRECADO. Use o ScriptRunConfig objeto com seu próprio ambiente definido ou um dos ambientes do TensorFlow do Azure ML. Para obter uma introdução à configuração de execuções de experimento tensorFlow com ScriptRunConfig, consulte Treinar modelos tensorFlow em escala com o Azure Machine Learning.
Versões com suporte: 1.10, 1.12, 1.13, 2.0, 2.1, 2.2
Inicializar um avaliador tensorFlow.
Referência de execução do Docker. :type shm_size: str :p aram resume_from: o caminho de dados que contém os arquivos de ponto de verificação ou modelo dos quais retomar o experimento. :type resume_from: azureml.data.datapath.DataPath :p aram max_run_duration_seconds: o tempo máximo permitido para a execução. O Azure ML tentará automaticamente
cancele a execução se demorar mais do que esse valor.
Construtor
TensorFlow(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, worker_count=1, parameter_server_count=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, framework_version=None, _enable_optimized_mode=False, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)
Parâmetros
| Nome | Description |
|---|---|
|
source_directory
Obrigatório
|
Um diretório local que contém arquivos de configuração de experimento. |
|
compute_target
Obrigatório
|
O destino de computação em que o treinamento ocorrerá. Isso pode ser um objeto ou a cadeia de caracteres "local". |
|
vm_size
Obrigatório
|
O tamanho da VM do destino de computação que será criado para o treinamento. Valores com suporte: qualquer tamanho de VM do Azure. |
|
vm_priority
Obrigatório
|
A prioridade da VM do destino de computação que será criado para o treinamento. Se não for especificado, 'dedicado' será usado. Valores com suporte:'dedicado' e 'lowpriority'. Isso só entra em vigor quando o |
|
entry_script
Obrigatório
|
O caminho relativo para o arquivo que contém o script de treinamento. |
|
script_params
Obrigatório
|
Um dicionário de argumentos de linha de comando a serem passados para o script de treinamento especificado em |
|
node_count
Obrigatório
|
O número de nós no destino de computação usado para treinamento. Somente o AmlCompute destino tem suporte para treinamento distribuído ( |
|
process_count_per_node
Obrigatório
|
Ao usar o MPI, o número de processos por nó. |
|
worker_count
Obrigatório
|
Ao usar o Servidor de Parâmetros para treinamento distribuído, o número de nós de trabalho. DEPRECADO. Especifique como parte do |
|
parameter_server_count
Obrigatório
|
Ao usar o Servidor de Parâmetros para treinamento distribuído, o número de nós de servidor de parâmetro. |
|
distributed_backend
Obrigatório
|
O back-end de comunicação para treinamento distribuído. DEPRECADO. Use o parâmetro Valores com suporte: 'mpi' e 'ps'. 'mpi' representa MPI/Horovod e 'ps' representa o Servidor de Parâmetros. Esse parâmetro é necessário quando qualquer um de Quando |
|
distributed_training
Obrigatório
|
Parâmetros para executar um trabalho de treinamento distribuído. Para executar um trabalho distribuído com o back-end do Servidor de Parâmetros, use o ParameterServer objeto para especificar Para executar um trabalho distribuído com back-end de MPI, use o Mpi objeto para especificar |
|
use_gpu
Obrigatório
|
Especifica se o ambiente para executar o experimento deve dar suporte a GPUs.
Se for true, uma imagem do docker padrão baseada em GPU será usada no ambiente. Se for falso, uma imagem baseada em CPU será usada. As imagens padrão do Docker (CPU ou GPU) serão usadas somente se o |
|
use_docker
Obrigatório
|
Especifica se o ambiente no qual executar o experimento deve ser baseado no Docker. |
|
custom_docker_base_image
Obrigatório
|
O nome da imagem do Docker da qual a imagem a ser usada para treinamento será criada. DEPRECADO. Use o parâmetro Se não for definido, uma imagem baseada em CPU padrão será usada como a imagem base. |
|
custom_docker_image
Obrigatório
|
O nome da imagem do Docker da qual a imagem a ser usada para treinamento será criada. Se não for definido, uma imagem baseada em CPU padrão será usada como a imagem base. |
|
image_registry_details
Obrigatório
|
Os detalhes do registro de imagem do Docker. |
|
user_managed
Obrigatório
|
Especifica se o Azure ML reutiliza um ambiente python existente. Se for falso, o Azure ML criará um ambiente python com base na especificação de dependências do Conda. |
|
conda_packages
Obrigatório
|
Uma lista de cadeias de caracteres que representam pacotes conda a serem adicionados ao ambiente Python para o experimento. |
|
pip_packages
Obrigatório
|
Uma lista de cadeias de caracteres que representam pacotes pip a serem adicionados ao ambiente Python para o experimento. |
|
conda_dependencies_file_path
Obrigatório
|
Uma cadeia de caracteres que representa o caminho relativo para o arquivo yaml de dependências conda.
Se especificado, o Azure ML não instalará nenhum pacote relacionado à estrutura.
DEPRECADO. Use o parâmetro |
|
pip_requirements_file_path
Obrigatório
|
Uma cadeia de caracteres que representa o caminho relativo para o arquivo de texto de requisitos pip.
Isso pode ser fornecido em combinação com o |
|
conda_dependencies_file
Obrigatório
|
Uma cadeia de caracteres que representa o caminho relativo para o arquivo yaml de dependências conda. Se especificado, o Azure ML não instalará nenhum pacote relacionado à estrutura. |
|
pip_requirements_file
Obrigatório
|
Uma cadeia de caracteres que representa o caminho relativo para o arquivo de texto de requisitos pip.
Isso pode ser fornecido em combinação com o |
|
environment_variables
Obrigatório
|
Um dicionário de valores e nomes de variáveis de ambiente. Essas variáveis de ambiente são definidas no processo em que o script do usuário está sendo executado. |
|
environment_definition
Obrigatório
|
A definição de ambiente para o experimento. Ele inclui PythonSection, DockerSection e variáveis de ambiente. Qualquer opção de ambiente não exposta diretamente por meio de outros parâmetros para a construção do Avaliador pode ser definida usando esse parâmetro. Se esse parâmetro for especificado, ele terá precedência sobre outros parâmetros relacionados ao ambiente, como |
|
inputs
Obrigatório
|
Uma lista de DataReference objetos ou DatasetConsumptionConfig objetos a serem usados como entrada. |
|
source_directory_data_store
Obrigatório
|
O repositório de dados de backup para o compartilhamento de projeto. |
|
shm_size
Obrigatório
|
O tamanho do bloco de memória compartilhada do contêiner do Docker. Se não for definido, o azureml.core.environment._DEFAULT_SHM_SIZE padrão será usado. Para obter mais informações, confira Referência sobre docker run. |
|
resume_from
Obrigatório
|
O caminho de dados que contém o ponto de verificação ou os arquivos de modelo dos quais retomar o experimento. |
|
max_run_duration_seconds
Obrigatório
|
O tempo máximo permitido para a execução. O Azure ML tentará cancelar automaticamente a execução se levar mais tempo do que esse valor. |
|
framework_version
Obrigatório
|
A versão do TensorFlow a ser usada para executar o código de treinamento.
Se nenhuma versão for fornecida, o avaliador usará como padrão a versão mais recente com suporte do Azure ML.
Use |
|
source_directory
Obrigatório
|
Um diretório local que contém arquivos de configuração de experimento. |
|
compute_target
Obrigatório
|
O destino de computação em que o treinamento ocorrerá. Isso pode ser um objeto ou a cadeia de caracteres "local". |
|
vm_size
Obrigatório
|
O tamanho da VM do destino de computação que será criado para o treinamento. Valores com suporte: qualquer tamanho de VM do Azure. |
|
vm_priority
Obrigatório
|
A prioridade da VM do destino de computação que será criado para o treinamento. Se não for especificado, 'dedicado' será usado. Valores com suporte:'dedicado' e 'lowpriority'. Isso só entra em vigor quando o |
|
entry_script
Obrigatório
|
O caminho relativo para o arquivo que contém o script de treinamento. |
|
script_params
Obrigatório
|
Um dicionário de argumentos de linha de comando a serem passados para o script de treinamento tne especificado em |
|
node_count
Obrigatório
|
O número de nós no destino de computação usado para treinamento. Somente o AmlCompute destino tem suporte para treinamento distribuído ( |
|
process_count_per_node
Obrigatório
|
Ao usar o MPI, o número de processos por nó. |
|
worker_count
Obrigatório
|
Ao usar o Servidor de Parâmetros, o número de nós de trabalho. DEPRECADO. Especifique como parte do |
|
parameter_server_count
Obrigatório
|
Ao usar o Servidor de Parâmetros, o número de nós de servidor de parâmetro. |
|
distributed_backend
Obrigatório
|
O back-end de comunicação para treinamento distribuído. DEPRECADO. Use o parâmetro Valores com suporte: 'mpi' e 'ps'. 'mpi' representa MPI/Horovod e 'ps' representa o Servidor de Parâmetros. Esse parâmetro é necessário quando qualquer um de Quando |
|
distributed_training
Obrigatório
|
Parâmetros para executar um trabalho de treinamento distribuído. Para executar um trabalho distribuído com o back-end do Servidor de Parâmetros, use ParameterServer o objeto para especificar Para executar um trabalho distribuído com back-end de MPI, use Mpi o objeto para especificar |
|
use_gpu
Obrigatório
|
Especifica se o ambiente para executar o experimento deve dar suporte a GPUs.
Se for true, uma imagem do Docker padrão baseada em GPU será usada no ambiente. Se for falso, uma imagem baseada em CPU será usada. As imagens padrão do Docker (CPU ou GPU) serão usadas somente se |
|
use_docker
Obrigatório
|
Especifica se o ambiente no qual executar o experimento deve ser baseado no Docker. |
|
custom_docker_base_image
Obrigatório
|
O nome da imagem do Docker da qual a imagem a ser usada para treinamento será criada. DEPRECADO. Use o parâmetro Se não for definido, uma imagem baseada em CPU padrão será usada como a imagem base. |
|
custom_docker_image
Obrigatório
|
O nome da imagem do Docker da qual a imagem a ser usada para treinamento será criada. Se não for definido, uma imagem baseada em CPU padrão será usada como a imagem base. |
|
image_registry_details
Obrigatório
|
Os detalhes do registro de imagem do Docker. |
|
user_managed
Obrigatório
|
Especifica se o Azure ML reutiliza um ambiente python existente. Se for falso, o Azure ML criará um ambiente python com base na especificação de dependências do Conda. |
|
conda_packages
Obrigatório
|
Uma lista de cadeias de caracteres que representam pacotes conda a serem adicionados ao ambiente Python para o experimento. |
|
pip_packages
Obrigatório
|
Uma lista de cadeias de caracteres que representam pacotes pip a serem adicionados ao ambiente Python para o experimento. |
|
conda_dependencies_file_path
Obrigatório
|
O caminho relativo para o arquivo yaml de dependências conda. Se especificado, o Azure ML não instalará nenhum pacote relacionado à estrutura.
DEPRECADO. Use o parâmetro |
|
pip_requirements_file_path
Obrigatório
|
O caminho relativo para o arquivo de texto de requisitos pip.
Isso pode ser fornecido em combinação com o |
|
environment_variables
Obrigatório
|
Um dicionário de valores e nomes de variáveis de ambiente. Essas variáveis de ambiente são definidas no processo em que o script do usuário está sendo executado. |
|
conda_dependencies_file
Obrigatório
|
Uma cadeia de caracteres que representa o caminho relativo para o arquivo yaml de dependências conda. Se especificado, o Azure ML não instalará nenhum pacote relacionado à estrutura. |
|
pip_requirements_file
Obrigatório
|
O caminho relativo para o arquivo de texto de requisitos pip.
Isso pode ser fornecido em combinação com o |
|
environment_variables
Obrigatório
|
Um dicionário de valores e nomes de variáveis de ambiente. Essas variáveis de ambiente são definidas no processo em que o script do usuário está sendo executado. |
|
environment_definition
Obrigatório
|
A definição de ambiente para o experimento. Ele inclui PythonSection, DockerSection e variáveis de ambiente. Qualquer opção de ambiente não exposta diretamente por meio de outros parâmetros para a construção do Avaliador pode ser definida usando esse parâmetro. Se esse parâmetro for especificado, ele terá precedência sobre outros parâmetros relacionados ao ambiente, como |
|
inputs
Obrigatório
|
Uma lista de azureml.data.data_reference. Objetos DataReference a serem usados como entrada. |
|
source_directory_data_store
Obrigatório
|
O repositório de dados de backup para o compartilhamento de projeto. |
|
shm_size
Obrigatório
|
O tamanho do bloco de memória compartilhada do contêiner do Docker. Se não for definido, o padrão será azureml.core.environment._DEFAULT_SHM_SIZE. Para obter mais informações, consulte |
|
framework_version
Obrigatório
|
A versão do TensorFlow a ser usada para executar o código de treinamento. Se nenhuma versão for fornecida, o avaliador usará como padrão a versão mais recente com suporte do Azure ML. Use TensorFlow.get_supported_versions() para retornar uma lista para obter uma lista de todas as versões compatíveis com o SDK atual do Azure ML. |
|
_enable_optimized_mode
Obrigatório
|
Habilite o build de ambiente incremental com imagens de estrutura pré-criadas para uma preparação mais rápida do ambiente. Uma imagem de estrutura predefinida é criada com base em imagens base padrão de CPU/GPU do Azure ML com dependências de estrutura pré-instaladas. |
|
_disable_validation
Obrigatório
|
Desabilite a validação de script antes de executar o envio. O padrão é True. |
|
_show_lint_warnings
Obrigatório
|
Mostrar avisos de linting de script. O padrão é False. |
|
_show_package_warnings
Obrigatório
|
Mostrar avisos de validação de pacote. O padrão é False. |
Comentários
Ao enviar um trabalho de treinamento, o Azure ML executa seu script em um ambiente conda em um contêiner do Docker. Os contêineres tensorFlow têm as dependências a seguir instaladas.
Dependências | TensorFlow 1.10/1.12 | TensorFlow 1.13 | TF 2.0/2.1/2.2 | ———————————— | ——————– | ————— | —————— | Python | 3.6.2 | 3.6.2 | 3.6.2 | CUDA (somente imagem de GPU) | 9.0 | 10.0 | 10.0 | cuDNN (somente imagem gpu) | 7.6.3 | 7.6.3 | 7.6.3 | NCCL (somente imagem de GPU) | 2.4.8 | 2.4.8 | 2.4.8 | azureml-defaults | Mais recente | Mais recente | Mais recente | azureml-dataset-runtime[fuse,pandas] | Mais recente | Mais recente | Mais recente | IntelMpi | 2018.3.222 | 2018.3.222 | —- | OpenMpi | —- | —- | 3.1.2 | horovod | 0.15.2 | 0.16.1 | 0.18.1/0.19.1/0.19.5 | miniconda | 4.5.11 | 4.5.11 | 4.5.11 | tensorflow | 1.10.0/1.12.0 | 1.13.1 | 2.0.0/2.1.0/2.2.0 | git | 2.7.4 | 2.7.4 | 2.7.4 |
As imagens do Docker v1 estendem o Ubuntu 16.04. As imagens do Docker v2 estendem o Ubuntu 18.04.
Para instalar dependências adicionais, você pode usar o parâmetro ou pip_packages o conda_packages parâmetro. Ou você pode especificar o parâmetro ou pip_requirements_file o conda_dependencies_file parâmetro.
Como alternativa, você pode criar sua própria imagem e passar o custom_docker_image parâmetro para o construtor do avaliador.
Para obter mais informações sobre contêineres do Docker usados no treinamento tensorFlow, consulte https://github.com/Azure/AzureML-Containers.
A classe TensorFlow dá suporte a dois métodos de treinamento distribuído:
Treinamento distribuído baseado em MPI usando o
Para obter exemplos e mais informações sobre como usar o TensorFlow no treinamento distribuído, consulte o tutorial Treinar e registrar modelos tensorFlow em escala com o Azure Machine Learning.
Atributos
DEFAULT_VERSION
DEFAULT_VERSION = '1.13'
FRAMEWORK_NAME
FRAMEWORK_NAME = 'TensorFlow'