Partilhar via

DatabricksCluster Classe

Define informações de cluster Databricks para uso em um DatabricksSectionarquivo .

Inicializar.

Construtor

DatabricksCluster(existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, permit_cluster_restart=None)

Parâmetros

Name Description
existing_cluster_id
str

Uma ID de cluster de um cluster interativo existente no espaço de trabalho Databricks. Se este parâmetro for especificado, nenhum dos outros parâmetros deve ser especificado.

Default value: None
spark_version
str

A versão do Spark para o cluster de execução Databricks. Exemplo: "10.4.x-scala2.12".

Default value: None
node_type
str

Os tipos de nó da VM do Azure para o cluster de execução Databricks. Exemplo: "Standard_D3_v2".

Default value: None
instance_pool_id
str

O ID do pool de instâncias ao qual o cluster precisa ser anexado.

Default value: None
num_workers
int

O número de trabalhadores para um cluster de execução Databricks. Se este parâmetro for especificado, os min_workers parâmetros e max_workers não devem ser especificados.

Default value: None
min_workers
int

O número mínimo de trabalhadores para um cluster Databricks dimensionado automaticamente.

Default value: None
max_workers
int

O número de trabalhadores para um cluster de execução Databricks dimensionado automaticamente.

Default value: None
spark_env_variables
dict(<xref:{str:str}>)

As variáveis de ambiente do Spark para o cluster de execução Databricks.

Default value: None
spark_conf
dict(<xref:{str:str}>)

A configuração do Spark para o cluster de execução Databricks.

Default value: None
init_scripts
list[str]

Preterido. A Databricks anunciou que o script init armazenado no DBFS deixará de funcionar após 1º de dezembro de 2023. Para mitigar o problema, 1) use scripts de inicialização global em databricks após https://learn.microsoft.com/azure/databricks/init-scripts/global 2) comente a linha de init_scripts em sua etapa de databricks do AzureML.

Default value: None
cluster_log_dbfs_path
str

O caminho DBFS para onde os logs de clusters precisam ser entregues.

Default value: None
permit_cluster_restart
bool

Se existing_cluster_id for especificado, esse parâmetro informará se o cluster pode ser reiniciado em nome do usuário.

Default value: None

Métodos

validate

Valide os detalhes do cluster Databricks especificados.

Validar verifica os tipos de parâmetros fornecidos, bem como se a combinação correta de parâmetros é fornecida. Por exemplo, você precisa especificar o existing_cluster_id ou especificar o restante dos parâmetros do cluster. Para obter mais informações, consulte as definições de parâmetros do construtor.

validate

Valide os detalhes do cluster Databricks especificados.

Validar verifica os tipos de parâmetros fornecidos, bem como se a combinação correta de parâmetros é fornecida. Por exemplo, você precisa especificar o existing_cluster_id ou especificar o restante dos parâmetros do cluster. Para obter mais informações, consulte as definições de parâmetros do construtor.

validate()

Exceções

Tipo Description
class:azureml.exceptions.UserErrorException