Partager via

DatabricksCluster Classe

Définit les informations de cluster Databricks à utiliser dans un DatabricksSection.

Initialiser.

Constructeur

DatabricksCluster(existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, permit_cluster_restart=None)

Paramètres

Nom Description
existing_cluster_id
str

ID de cluster d’un cluster interactif existant sur l’espace de travail Databricks. Si ce paramètre est spécifié, aucun des autres paramètres ne doit être spécifié.

Valeur par défaut: None
spark_version
str

La version de Spark pour databricks exécute le cluster. Exemple : « 10.4.x-scala2.12 ».

Valeur par défaut: None
node_type
str

Les types de nœuds de machine virtuelle Azure pour le cluster d’exécution Databricks. Exemple : « Standard_D3_v2 ».

Valeur par défaut: None
instance_pool_id
str

ID du pool d’instances auquel le cluster doit être attaché.

Valeur par défaut: None
num_workers
int

Nombre de workers pour un cluster d’exécution Databricks. Si ce paramètre est spécifié, les min_workers paramètres ne max_workers doivent pas être spécifiés.

Valeur par défaut: None
min_workers
int

Nombre minimal de workers pour un cluster Databricks automatiquement mis à l’échelle.

Valeur par défaut: None
max_workers
int

Nombre de workers pour un cluster Databricks exécuté automatiquement.

Valeur par défaut: None
spark_env_variables
dict(<xref:{str:str}>)

Les variables d’environnement Spark pour databricks exécutent le cluster.

Valeur par défaut: None
spark_conf
dict(<xref:{str:str}>)

Configuration Spark pour le cluster d’exécution Databricks.

Valeur par défaut: None
init_scripts
list[str]

Obsolète. Databricks a annoncé que le script init stocké dans DBFS cessera de fonctionner après le 1erc 2023. Pour atténuer le problème, utilisez des scripts d’init globaux dans databricks suivant https://learn.microsoft.com/azure/databricks/init-scripts/global 2) commentez la ligne de init_scripts dans votre étape AzureML databricks.

Valeur par défaut: None
cluster_log_dbfs_path
str

Chemin DBFS vers l’emplacement où les journaux des clusters doivent être remis.

Valeur par défaut: None
permit_cluster_restart
bool

si existing_cluster_id est spécifié, ce paramètre indique si le cluster peut être redémarré pour le compte de l’utilisateur.

Valeur par défaut: None

Méthodes

validate

Validez les détails du cluster Databricks spécifiés.

Valider vérifie les types de paramètres fournis, ainsi que si la combinaison correcte de paramètres est fournie. Par exemple, vous devez spécifier ou existing_cluster_id spécifier le reste des paramètres de cluster. Pour plus d’informations, consultez les définitions de paramètres du constructeur.

validate

Validez les détails du cluster Databricks spécifiés.

Valider vérifie les types de paramètres fournis, ainsi que si la combinaison correcte de paramètres est fournie. Par exemple, vous devez spécifier ou existing_cluster_id spécifier le reste des paramètres de cluster. Pour plus d’informations, consultez les définitions de paramètres du constructeur.

validate()

Exceptions

Type Description
class:azureml.exceptions.UserErrorException