Partager via

DatabricksCompute Classe

Gère une cible de calcul Databricks dans Azure Machine Learning.

Azure Databricks est un environnement basé sur Apache Spark dans le cloud Azure. Il peut être utilisé comme cible de calcul avec un pipeline Azure Machine Learning. Pour plus d’informations, consultez Quelles sont les cibles de calcul dans Azure Machine Learning ?

Constructeur ComputeTarget de classe.

Récupérez une représentation cloud d’un objet Compute associé à l’espace de travail fourni. Retourne une instance d’une classe enfant correspondant au type spécifique de l’objet Compute récupéré.

Constructeur

DatabricksCompute(workspace, name)

Paramètres

Nom Description
workspace
Obligatoire
Workspace

Objet d’espace de travail contenant l’objet DatabricksCompute à récupérer.
name
Obligatoire
str

Nom de l’objet DatabricksCompute à récupérer.
workspace
Obligatoire
Workspace

Objet d’espace de travail contenant l’objet Compute à récupérer.
name
Obligatoire
str

Nom de l’objet Compute à récupérer.

Remarques

L’exemple suivant montre comment attacher Azure Databricks en tant que cible de calcul.


   # Replace with your account info before running.

   db_compute_name=os.getenv("DATABRICKS_COMPUTE_NAME", "<my-databricks-compute-name>") # Databricks compute name
   db_resource_group=os.getenv("DATABRICKS_RESOURCE_GROUP", "<my-db-resource-group>") # Databricks resource group
   db_workspace_name=os.getenv("DATABRICKS_WORKSPACE_NAME", "<my-db-workspace-name>") # Databricks workspace name
   db_access_token=os.getenv("DATABRICKS_ACCESS_TOKEN", "<my-access-token>") # Databricks access token

   try:
       databricks_compute = DatabricksCompute(workspace=ws, name=db_compute_name)
       print('Compute target {} already exists'.format(db_compute_name))
   except ComputeTargetException:
       print('Compute not found, will use below parameters to attach new one')
       print('db_compute_name {}'.format(db_compute_name))
       print('db_resource_group {}'.format(db_resource_group))
       print('db_workspace_name {}'.format(db_workspace_name))
       print('db_access_token {}'.format(db_access_token))

       config = DatabricksCompute.attach_configuration(
           resource_group = db_resource_group,
           workspace_name = db_workspace_name,
           access_token= db_access_token)
       databricks_compute=ComputeTarget.attach(ws, db_compute_name, config)
       databricks_compute.wait_for_completion(True)

L’exemple complet est disponible à partir de https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-use-databricks-as-compute-target.ipynb

Méthodes

attach

OBSOLESCENT. Utilisez plutôt la attach_configuration méthode.

Associez une ressource de calcul Databricks existante à l’espace de travail fourni.
attach_configuration

Créez un objet de configuration pour attacher une cible de calcul Databricks.
delete

La suppression n’est pas prise en charge pour un objet DatabricksCompute. Utilisez detach à la place.
deserialize

Convertissez un objet JSON en objet DatabricksCompute.
detach

Détache l’objet Databricks de son espace de travail associé.

Les objets cloud sous-jacents ne sont pas supprimés, seule l’association est supprimée.
get_credentials

Récupérez les informations d’identification de la cible Databricks.
refresh_state

Effectuez une mise à jour sur place des propriétés de l’objet.

Cette méthode met à jour les propriétés en fonction de l’état actuel de l’objet cloud correspondant. Ceci est principalement utilisé pour l’interrogation manuelle de l’état de calcul.
serialize

Convertissez cet objet DatabricksCompute en dictionnaire sérialisé JSON.

attach

OBSOLESCENT. Utilisez plutôt la attach_configuration méthode.

Associez une ressource de calcul Databricks existante à l’espace de travail fourni.

static attach(workspace, name, resource_id, access_token)

Paramètres

Nom Description
workspace
Obligatoire
Workspace

Objet d’espace de travail auquel associer la ressource de calcul.
name
Obligatoire
str

Nom à associer à la ressource de calcul à l’intérieur de l’espace de travail fourni. Ne doit pas correspondre au nom de la ressource de calcul à joindre.
resource_id
Obligatoire
str

ID de ressource Azure pour la ressource de calcul attachée.
access_token
Obligatoire
str

Jeton d’accès pour la ressource jointe.

Retours

Type Description
DatabricksCompute

Représentation d’objet DatabricksCompute de l’objet de calcul.

Exceptions

Type Description
ComputeTargetException

attach_configuration

Créez un objet de configuration pour attacher une cible de calcul Databricks.

static attach_configuration(resource_group=None, workspace_name=None, resource_id=None, access_token='')

Paramètres

Nom Description
resource_group
str

Nom du groupe de ressources dans lequel se trouve Databricks.

Valeur par défaut: None
workspace_name
str

Nom de l’espace de travail Databricks.

Valeur par défaut: None
resource_id
str

ID de ressource Azure pour la ressource de calcul attachée.

Valeur par défaut: None
access_token
Obligatoire
str

Jeton d’accès pour la ressource de calcul attachée.

Retours

Type Description
DatabricksAttachConfiguration

Objet de configuration à utiliser lors de l’attachement d’un objet Compute.

delete

La suppression n’est pas prise en charge pour un objet DatabricksCompute. Utilisez detach à la place.

delete()

Exceptions

Type Description
ComputeTargetException

deserialize

Convertissez un objet JSON en objet DatabricksCompute.

static deserialize(workspace, object_dict)

Paramètres

Nom Description
workspace
Obligatoire
Workspace

L’objet d’espace de travail auquel l’objet DatabricksCompute est associé.
object_dict
Obligatoire
dict

Objet JSON à convertir en objet DatabricksCompute.

Retours

Type Description
DatabricksCompute

Représentation DatabricksCompute de l’objet JSON fourni.

Exceptions

Type Description
ComputeTargetException

Remarques

Déclenche une ComputeTargetException opération si l’espace de travail fourni n’est pas l’espace de travail associé au calcul.

detach

Détache l’objet Databricks de son espace de travail associé.

Les objets cloud sous-jacents ne sont pas supprimés, seule l’association est supprimée.

detach()

Exceptions

Type Description
ComputeTargetException

get_credentials

Récupérez les informations d’identification de la cible Databricks.

get_credentials()

Retours

Type Description
dict

Informations d’identification de la cible Databricks.

Exceptions

Type Description
ComputeTargetException

refresh_state

Effectuez une mise à jour sur place des propriétés de l’objet.

Cette méthode met à jour les propriétés en fonction de l’état actuel de l’objet cloud correspondant. Ceci est principalement utilisé pour l’interrogation manuelle de l’état de calcul.

refresh_state()

serialize

Convertissez cet objet DatabricksCompute en dictionnaire sérialisé JSON.

serialize()

Retours

Type Description
dict

Représentation JSON de cet objet DatabricksCompute.