Partager via

InferenceConfig Classe

Représente les paramètres de configuration d’un environnement personnalisé utilisé pour le déploiement.

La configuration d’inférence est un paramètre d’entrée pour Model les actions liées au déploiement :

Initialisez l’objet config.

Constructeur

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Paramètres

Nom Description
entry_script
Obligatoire
str

Chemin d’accès à un fichier local qui contient le code à exécuter pour l’image.
runtime
str

Runtime à utiliser pour l’image. Les runtimes pris en charge actuels sont « spark-py » et « python ».

Valeur par défaut: None
conda_file
str

Chemin d’accès à un fichier local contenant une définition d’environnement conda à utiliser pour l’image.

Valeur par défaut: None
extra_docker_file_steps
str

Chemin d’accès à un fichier local contenant des étapes Docker supplémentaires à exécuter lors de la configuration de l’image.

Valeur par défaut: None
source_directory
str

Chemin d’accès au dossier qui contient tous les fichiers à créer l’image.

Valeur par défaut: None
enable_gpu
bool

Indique s’il faut activer la prise en charge du GPU dans l’image. L’image GPU doit être utilisée sur les services Microsoft Azure tels qu’Azure Container Instances, Azure Machine Learning Compute, Les machines virtuelles Azure et Azure Kubernetes Service. Valeur par défaut False.

Valeur par défaut: None
description
str

Description à donner à cette image.

Valeur par défaut: None
base_image
str

Image personnalisée à utiliser comme image de base. Si aucune image de base n’est donnée, l’image de base est utilisée en fonction du paramètre d’exécution donné.

Valeur par défaut: None
base_image_registry
ContainerRegistry

Registre d’images qui contient l’image de base.

Valeur par défaut: None
cuda_version
str

Version de CUDA à installer pour les images nécessitant une prise en charge gpu. L’image GPU doit être utilisée sur les services Microsoft Azure tels qu’Azure Container Instances, Azure Machine Learning Compute, Les machines virtuelles Azure et Azure Kubernetes Service. Les versions prises en charge sont 9.0, 9.1 et 10.0. Si enable_gpu elle est définie, cette valeur par défaut est « 9.1 ».

Valeur par défaut: None
environment
Environment

Objet d’environnement à utiliser pour le déploiement. L’environnement n’a pas besoin d’être inscrit.

Fournissez ce paramètre ou les autres paramètres, mais pas les deux. Les paramètres individuels ne servent pas de remplacement pour l’objet d’environnement. Les exceptions incluent entry_script, source_directoryet description.

Valeur par défaut: None
entry_script
Obligatoire
str

Chemin d’accès à un fichier local qui contient le code à exécuter pour l’image.
runtime
Obligatoire
str

Runtime à utiliser pour l’image. Les runtimes pris en charge actuels sont « spark-py » et « python ».
conda_file
Obligatoire
str

Chemin d’accès à un fichier local contenant une définition d’environnement conda à utiliser pour l’image.
extra_docker_file_steps
Obligatoire
str

Chemin d’accès à un fichier local contenant des étapes Docker supplémentaires à exécuter lors de la configuration de l’image.
source_directory
Obligatoire
str

Chemin d’accès au dossier qui contient tous les fichiers à créer l’image.
enable_gpu
Obligatoire
bool

Indique s’il faut activer la prise en charge du GPU dans l’image. L’image GPU doit être utilisée sur les services Microsoft Azure tels qu’Azure Container Instances, Azure Machine Learning Compute, Les machines virtuelles Azure et Azure Kubernetes Service. Valeur par défaut False.
description
Obligatoire
str

Description à donner à cette image.
base_image
Obligatoire
str

Image personnalisée à utiliser comme image de base. Si aucune image de base n’est donnée, l’image de base est utilisée en fonction du paramètre d’exécution donné.
base_image_registry
Obligatoire
ContainerRegistry

Registre d’images qui contient l’image de base.
cuda_version
Obligatoire
str

Version de CUDA à installer pour les images nécessitant une prise en charge gpu. L’image GPU doit être utilisée sur les services Microsoft Azure tels qu’Azure Container Instances, Azure Machine Learning Compute, Les machines virtuelles Azure et Azure Kubernetes Service. Les versions prises en charge sont 9.0, 9.1 et 10.0. Si enable_gpu elle est définie, cette valeur par défaut est « 9.1 ».
environment
Obligatoire
Environment

Objet d’environnement à utiliser pour le déploiement. L’environnement n’a pas besoin d’être inscrit.

Fournissez ce paramètre ou les autres paramètres, mais pas les deux. Les paramètres individuels ne servent pas de remplacement pour l’objet d’environnement. Les exceptions incluent entry_script, source_directoryet description.

Remarques

L’exemple suivant montre comment créer un objet InferenceConfig et l’utiliser pour déployer un modèle.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

Variables

Nom Description
entry_script
str

Chemin d’accès à un fichier local qui contient le code à exécuter pour l’image.
runtime
str

Runtime à utiliser pour l’image. Les runtimes pris en charge actuels sont « spark-py » et « python ».
conda_file
str

Chemin d’accès à un fichier local contenant une définition d’environnement conda à utiliser pour l’image.
extra_docker_file_steps
str

Chemin d’accès à un fichier local contenant des étapes Docker supplémentaires à exécuter lors de la configuration de l’image.
source_directory
str

Chemin d’accès au dossier qui contient tous les fichiers à créer l’image.
enable_gpu
bool

Indique s’il faut activer la prise en charge du GPU dans l’image. L’image GPU doit être utilisée sur les services Microsoft Azure tels qu’Azure Container Instances, Azure Machine Learning Compute, Les machines virtuelles Azure et Azure Kubernetes Service.
azureml.core.model.InferenceConfig.description

Description à donner à cette image.
base_image
str

Image personnalisée à utiliser comme image de base. Si aucune image de base n’est donnée, l’image de base est utilisée en fonction du paramètre d’exécution donné.
base_image_registry
ContainerRegistry

Registre d’images qui contient l’image de base.
cuda_version
str

Version de CUDA à installer pour les images nécessitant une prise en charge gpu. L’image GPU doit être utilisée sur les services Microsoft Azure tels qu’Azure Container Instances, Azure Machine Learning Compute, Les machines virtuelles Azure et Azure Kubernetes Service. Les versions prises en charge sont 9.0, 9.1 et 10.0. Si enable_gpu elle est définie, cette valeur par défaut est « 9.1 ».
azureml.core.model.InferenceConfig.environment

Objet d’environnement à utiliser pour le déploiement. L’environnement n’a pas besoin d’être inscrit.

Fournissez ce paramètre ou les autres paramètres, mais pas les deux. Les paramètres individuels ne servent pas de remplacement pour l’objet d’environnement. Les exceptions incluent entry_script, source_directoryet description.

Méthodes

build_create_payload

Générez la charge utile de création pour l’image conteneur.
build_profile_payload

Générez la charge utile de profilage pour le package de modèle.
validate_configuration

Vérifiez que les valeurs de configuration spécifiées sont valides.

Déclenche une validation en cas d’échec WebserviceException .
validation_script_content

Vérifiez que la syntaxe du script de score est valide avec ast.parse.

Déclenche une validation en cas d’échec UserErrorException .

build_create_payload

Générez la charge utile de création pour l’image conteneur.

build_create_payload(workspace, name, model_ids)

Paramètres

Nom Description
workspace
Obligatoire
Workspace

Objet espace de travail dans lequel créer l’image.
name
Obligatoire
str

Nom de l’image.
model_ids
Obligatoire
list[str]

Liste des ID de modèle à empaqueter dans l’image.

Retours

Type Description
dict

Charge utile de création d’image conteneur.

Exceptions

Type Description
WebserviceException

build_profile_payload

Générez la charge utile de profilage pour le package de modèle.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Paramètres

Nom Description
profile_name
Obligatoire
str

Nom de l’exécution du profilage.
input_data
str

Données d’entrée pour le profilage.

Valeur par défaut: None
workspace
Workspace

Objet Workspace dans lequel profiler le modèle.

Valeur par défaut: None
models
list[Model]

Liste d’objets de modèle. Il peut s’agir d’une liste vide.

Valeur par défaut: None
dataset_id
str

ID associé au jeu de données contenant des données d’entrée pour l’exécution du profilage.

Valeur par défaut: None
container_resource_requirements
ContainerResourceRequirements

configuration requise pour les ressources de conteneur pour la plus grande instance sur laquelle le modèle doit être déployé

Valeur par défaut: None
description
str

Description à associer à l’exécution du profilage.

Valeur par défaut: None

Retours

Type Description
dict

Charge utile du profil de modèle

Exceptions

Type Description
WebserviceException

validate_configuration

Vérifiez que les valeurs de configuration spécifiées sont valides.

Déclenche une validation en cas d’échec WebserviceException .

validate_configuration()

Exceptions

Type Description
WebserviceException

validation_script_content

Vérifiez que la syntaxe du script de score est valide avec ast.parse.

Déclenche une validation en cas d’échec UserErrorException .

validation_script_content()

Exceptions

Type Description
UserErrorException