Chainer Classe
Représente un estimateur pour l’entraînement dans les expériences Chainer.
OBSOLESCENT. Utilisez l’objet ScriptRunConfig avec votre propre environnement défini ou l’un des environnements organisés Par Azure ML Chainer. Pour une introduction à la configuration des exécutions d’expérience avec ScriptRunConfig, consultez Configurer et envoyer des exécutions d’entraînement.
Versions prises en charge : 5.1.0, 7.0.0
Initialisez un estimateur Chainer.
Constructeur
Chainer(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, framework_version=None, _enable_optimized_mode=False, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)
Paramètres
| Nom | Description |
|---|---|
|
source_directory
Obligatoire
|
Répertoire local contenant des fichiers de configuration d’expérience. |
|
compute_target
Obligatoire
|
Cible de calcul où l’entraînement se produira. Il peut s’agir d’un objet ou de la chaîne « local ». |
|
vm_size
Obligatoire
|
Taille de machine virtuelle de la cible de calcul qui sera créée pour l’entraînement. Valeurs prises en charge : n’importe quelle taille de machine virtuelle Azure. |
|
vm_priority
Obligatoire
|
Priorité de machine virtuelle de la cible de calcul qui sera créée pour l’entraînement. S’il n’est pas spécifié, « dédié » est utilisé. Valeurs prises en charge : « dédié » et « lowpriority ». Cela prend effet uniquement lorsque l’élément |
|
entry_script
Obligatoire
|
Chemin d’accès relatif au fichier contenant le script d’entraînement. |
|
script_params
Obligatoire
|
Dictionnaire d’arguments de ligne de commande à passer au script d’entraînement spécifié dans |
|
node_count
Obligatoire
|
Nombre de nœuds dans la cible de calcul utilisée pour l’entraînement. Si la valeur est supérieure à 1, une tâche distribuée MPI est exécutée. Seule la AmlCompute cible est prise en charge pour les travaux distribués. |
|
process_count_per_node
Obligatoire
|
Nombre de processus par nœud. Si la valeur est supérieure à 1, une tâche distribuée MPI est exécutée. Seule la AmlCompute cible est prise en charge pour les travaux distribués. |
|
distributed_backend
Obligatoire
|
Back-end de communication pour l’entraînement distribué. OBSOLESCENT. Utilise le paramètre Valeurs prises en charge : « mpi ». 'mpi' : MPI/Horovod Ce paramètre est requis quand Quand |
|
distributed_training
Obligatoire
|
Paramètres pour l’exécution d’un travail d’entraînement distribué. Pour exécuter un travail distribué avec le back-end MPI, utilisez l’objet Mpi pour spécifier |
|
use_gpu
Obligatoire
|
Spécifie si l’environnement à exécuter l’expérience doit prendre en charge les GPU.
Si la valeur est true, l’image Docker par défaut basée sur GPU est utilisée dans l’environnement. Si la valeur est false, une image basée sur le processeur est utilisée. Les images Docker par défaut (PROCESSEUR ou GPU) ne seront utilisées que si le |
|
use_docker
Obligatoire
|
Spécifie si l’environnement à exécuter l’expérience doit être basé sur Docker. |
|
custom_docker_base_image
Obligatoire
|
Nom de l’image Docker à partir de laquelle l’image à utiliser pour l’entraînement sera générée. OBSOLESCENT. Utilise le paramètre Si elle n’est pas définie, une image basée sur le processeur par défaut est utilisée comme image de base. |
|
custom_docker_image
Obligatoire
|
Nom de l’image Docker à partir de laquelle l’image à utiliser pour l’entraînement sera générée. Si elle n’est pas définie, une image basée sur le processeur par défaut est utilisée comme image de base. |
|
image_registry_details
Obligatoire
|
Détails du registre d’images Docker. |
|
user_managed
Obligatoire
|
Spécifie si Azure ML réutilise un environnement Python existant. Si la valeur est false, Azure ML crée un environnement Python en fonction de la spécification des dépendances conda. |
|
conda_packages
Obligatoire
|
Liste de chaînes représentant des packages conda à ajouter à l’environnement Python pour l’expérience. |
|
pip_packages
Obligatoire
|
Liste de chaînes représentant des packages pip à ajouter à l’environnement Python pour l’expérience. |
|
conda_dependencies_file_path
Obligatoire
|
Chemin d’accès relatif au fichier yaml des dépendances conda.
S’il est spécifié, Azure ML n’installe aucun package lié à l’infrastructure.
OBSOLESCENT. Utilise le paramètre |
|
pip_requirements_file_path
Obligatoire
|
Chemin d’accès relatif au fichier texte de configuration requise pip.
Cela peut être fourni en combinaison avec le |
|
conda_dependencies_file
Obligatoire
|
Chemin d’accès relatif au fichier yaml des dépendances conda. S’il est spécifié, Azure ML n’installe aucun package lié à l’infrastructure. |
|
pip_requirements_file
Obligatoire
|
Chemin d’accès relatif au fichier texte de configuration requise pip.
Cela peut être fourni en combinaison avec le |
|
environment_variables
Obligatoire
|
Dictionnaire de noms et de valeurs des variables d’environnement. Ces variables d’environnement sont définies sur le processus où le script utilisateur est en cours d’exécution. |
|
environment_definition
Obligatoire
|
Définition de l’environnement de l’expérience. Il inclut pythonSection, DockerSection et variables d’environnement. Toute option d’environnement non directement exposée via d’autres paramètres à la construction estimateur peut être définie à l’aide de ce paramètre. Si ce paramètre est spécifié, il est prioritaire sur d’autres paramètres liés à l’environnement tels que |
|
inputs
Obligatoire
|
Liste d’objets DataReference à DatasetConsumptionConfig utiliser comme entrée. |
|
source_directory_data_store
Obligatoire
|
Magasin de données de stockage pour le partage de projet. |
|
shm_size
Obligatoire
|
Taille du bloc de mémoire partagée du conteneur Docker. S’il n’est pas défini, la azureml.core.environment._DEFAULT_SHM_SIZE par défaut est utilisée. Pour plus d’informations, consultez Informations de référence sur l’exécution de Docker. |
|
resume_from
Obligatoire
|
Chemin d’accès aux données contenant les fichiers de point de contrôle ou de modèle à partir desquels reprendre l’expérience. |
|
max_run_duration_seconds
Obligatoire
|
Durée maximale autorisée pour l’exécution. Azure ML tente d’annuler automatiquement l’exécution si elle prend plus de temps que cette valeur. |
|
framework_version
Obligatoire
|
Version chainer à utiliser pour l’exécution du code d’entraînement.
|
|
source_directory
Obligatoire
|
Répertoire local contenant des fichiers de configuration d’expérience. |
|
compute_target
Obligatoire
|
Cible de calcul où l’entraînement se produira. Il peut s’agir d’un objet ou de la chaîne « local ». |
|
vm_size
Obligatoire
|
Taille de machine virtuelle de la cible de calcul qui sera créée pour l’entraînement. Valeurs prises en charge : n’importe quelle taille de machine virtuelle Azure. |
|
vm_priority
Obligatoire
|
Priorité de machine virtuelle de la cible de calcul qui sera créée pour l’entraînement. S’il n’est pas spécifié, il est défini par défaut sur « dédié ». Valeurs prises en charge : « dédié » et « lowpriority ». Cela prend effet uniquement lorsque l’vm_size param est spécifié dans l’entrée. |
|
entry_script
Obligatoire
|
Chemin d’accès relatif au fichier contenant le script d’entraînement. |
|
script_params
Obligatoire
|
Dictionnaire d’arguments de ligne de commande à passer au script d’entraînement spécifié dans |
|
node_count
Obligatoire
|
Nombre de nœuds dans la cible de calcul utilisée pour l’entraînement. Si la valeur est supérieure à 1, une tâche distribuée MPI est exécutée. Seule la AmlCompute cible est prise en charge pour les travaux distribués. |
|
process_count_per_node
Obligatoire
|
Nombre de processus par nœud. Si la valeur est supérieure à 1, une tâche distribuée MPI est exécutée. Seule AmlCompute la cible de calcul cible est prise en charge pour les travaux distribués. |
|
distributed_backend
Obligatoire
|
Back-end de communication pour l’entraînement distribué. OBSOLESCENT. Utilise le paramètre Valeurs prises en charge : « mpi ». 'mpi' : MPI/Horovod Ce paramètre est requis quand Quand |
|
distributed_training
Obligatoire
|
Paramètres pour l’exécution d’un travail d’entraînement distribué. Pour exécuter un travail distribué avec le back-end MPI, utilisez l’objet Mpi pour spécifier |
|
use_gpu
Obligatoire
|
Spécifie si l’environnement à exécuter l’expérience doit prendre en charge les GPU.
Si la valeur est true, une image Docker par défaut basée sur GPU est utilisée dans l’environnement. Si la valeur est false, une image basée sur le processeur est utilisée. Les images Docker par défaut (PROCESSEUR ou GPU) ne seront utilisées que si le |
|
use_docker
Obligatoire
|
Spécifie si l’environnement à exécuter l’expérience doit être basé sur Docker. |
|
custom_docker_base_image
Obligatoire
|
Nom de l’image Docker à partir de laquelle l’image à utiliser pour l’entraînement sera générée. OBSOLESCENT. Utilise le paramètre Si elle n’est pas définie, une image basée sur le processeur par défaut est utilisée comme image de base. |
|
custom_docker_image
Obligatoire
|
Nom de l’image Docker à partir de laquelle l’image à utiliser pour l’entraînement sera générée. Si elle n’est pas définie, une image basée sur le processeur par défaut est utilisée comme image de base. |
|
image_registry_details
Obligatoire
|
Détails du registre d’images Docker. |
|
user_managed
Obligatoire
|
Spécifie si Azure ML réutilise un environnement Python existant. Si la valeur est false, Azure ML crée un environnement Python en fonction de la spécification des dépendances conda. |
|
conda_packages
Obligatoire
|
Liste de chaînes représentant des packages conda à ajouter à l’environnement Python pour l’expérience. |
|
pip_packages
Obligatoire
|
Liste de chaînes représentant des packages pip à ajouter à l’environnement Python pour l’expérience. |
|
conda_dependencies_file_path
Obligatoire
|
Chemin d’accès relatif au fichier yaml des dépendances conda. S’il est spécifié, Azure ML n’installe aucun package lié à l’infrastructure.
OBSOLESCENT. Utilise le paramètre |
|
pip_requirements_file_path
Obligatoire
|
Chemin d’accès relatif au fichier texte de configuration requise pip.
Cela peut être fourni en combinaison avec le |
|
conda_dependencies_file
Obligatoire
|
Chemin d’accès relatif au fichier yaml des dépendances conda. S’il est spécifié, Azure ML n’installe aucun package lié à l’infrastructure. |
|
pip_requirements_file
Obligatoire
|
Chemin d’accès relatif au fichier texte de configuration requise pip.
Cela peut être fourni en combinaison avec le |
|
environment_variables
Obligatoire
|
Dictionnaire de noms et de valeurs des variables d’environnement. Ces variables d’environnement sont définies sur le processus où le script utilisateur est en cours d’exécution. |
|
environment_definition
Obligatoire
|
Définition de l’environnement de l’expérience. Il inclut pythonSection, DockerSection et variables d’environnement. Toute option d’environnement non directement exposée via d’autres paramètres à la construction estimateur peut être définie à l’aide de ce paramètre. Si ce paramètre est spécifié, il est prioritaire sur d’autres paramètres liés à l’environnement tels que |
|
inputs
Obligatoire
|
Liste de azureml.data.data_reference. Objets DataReference à utiliser comme entrée. |
|
source_directory_data_store
Obligatoire
|
Magasin de données de stockage pour le partage de projet. |
|
shm_size
Obligatoire
|
Taille du bloc de mémoire partagée du conteneur Docker. S’il n’est pas défini, la azureml.core.environment._DEFAULT_SHM_SIZE par défaut est utilisée. Pour plus d’informations, consultez Informations de référence sur l’exécution de Docker. |
|
resume_from
Obligatoire
|
Chemin d’accès aux données contenant les fichiers de point de contrôle ou de modèle à partir desquels reprendre l’expérience. |
|
max_run_duration_seconds
Obligatoire
|
Durée maximale autorisée pour l’exécution. Azure ML tente d’annuler automatiquement l’exécution si elle prend plus de temps que cette valeur. |
|
framework_version
Obligatoire
|
Version chainer à utiliser pour l’exécution du code d’entraînement.
|
|
_enable_optimized_mode
Obligatoire
|
Activez la génération d’environnement incrémentielle avec des images d’infrastructure prédéfinies pour accélérer la préparation de l’environnement. Une image d’infrastructure prédéfini est basée sur des images de base processeur/GPU Azure ML avec des dépendances d’infrastructure préinstallées. |
|
_disable_validation
Obligatoire
|
Désactivez la validation du script avant l’exécution de la soumission. La valeur par défaut est True. |
|
_show_lint_warnings
Obligatoire
|
Afficher les avertissements de linting de script. La valeur par défaut est False. |
|
_show_package_warnings
Obligatoire
|
Afficher les avertissements de validation de package. La valeur par défaut est False. |
Remarques
Lors de l’envoi d’un travail d’entraînement, Azure ML exécute votre script dans un environnement conda au sein d’un conteneur Docker. Les conteneurs Chainer ont les dépendances suivantes installées.
Dépendances | Chainer 5.1.0 | Chainer 7.0.0 | —————————- | —————– | ————— | Python | 3.6.2 | 3.6.2 | CUDA (image GPU uniquement) | 9.0 | 9.0 | cuDNN (image GPU uniquement) | 7.6.3 | 7.6.3 | NCCL (image GPU uniquement) | 2.4.8 | 2.4.8 | azureml-defaults | Dernière | Dernière | IntelMpi | 2018.3.222 | 2018.3.222 | horovod | 0.15.2 | 0.15.2 | miniconda | 4.5.11 | 4.5.11 | chaîneur | 5.1.0 | 7.0.0 | cupy-cuda90 (image GPU uniquement) | 5.2.0 | 7.0.0 | git | 2.7.4 | 2.7.4 |
Les images Docker étendent Ubuntu 16.04.
Pour installer des dépendances supplémentaires, vous pouvez utiliser le ou pip_packages le conda_packages paramètre. Vous pouvez également spécifier le ou pip_requirements_file le conda_dependencies_file paramètre.
Vous pouvez également générer votre propre image et passer le custom_docker_image paramètre au constructeur d’estimateur.
Pour plus d’informations sur les conteneurs Docker utilisés dans l’entraînement Chainer, consultez https://github.com/Azure/AzureML-Containers.
Attributs
DEFAULT_VERSION
DEFAULT_VERSION = '5.1.0'
FRAMEWORK_NAME
FRAMEWORK_NAME = 'Chainer'