다음을 통해 공유

DatabricksCluster 클래스

에 사용할 DatabricksSectionDatabricks 클러스터 정보를 정의합니다.

초기화.

생성자

DatabricksCluster(existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, permit_cluster_restart=None)

매개 변수

Name Description
existing_cluster_id
str

Databricks 작업 영역에 있는 기존 대화형 클러스터의 클러스터 ID입니다. 이 매개 변수를 지정하면 다른 매개 변수를 지정하지 않아야 합니다.

Default value: None
spark_version
str

Databricks용 Spark 버전은 클러스터를 실행합니다. 예: "10.4.x-scala2.12".

Default value: None
node_type
str

Databricks에 대한 Azure VM 노드 유형은 클러스터를 실행합니다. 예: "Standard_D3_v2".

Default value: None
instance_pool_id
str

클러스터를 연결해야 하는 인스턴스 풀 ID입니다.

Default value: None
num_workers
int

Databricks 실행 클러스터의 작업자 수입니다. 이 매개 변수를 지정하면 매개 변수와 min_workers 매개 변수를 max_workers 지정하면 안 됩니다.

Default value: None
min_workers
int

자동 크기 조정된 Databricks 클러스터의 최소 작업자 수입니다.

Default value: None
max_workers
int

자동 크기 조정된 Databricks 실행 클러스터의 작업자 수입니다.

Default value: None
spark_env_variables
dict(<xref:{str:str}>)

Databricks에 대한 Spark 환경 변수는 클러스터를 실행합니다.

Default value: None
spark_conf
dict(<xref:{str:str}>)

Databricks에 대한 Spark 구성은 클러스터를 실행합니다.

Default value: None
init_scripts
list[str]

더 이상 권장되지 않음. Databricks는 DBFS에 저장된 init 스크립트가 2023년 12월 1일 이후에 작업을 중지할 것이라고 발표했습니다. 문제를 완화하려면 1) 다음 https://learn.microsoft.com/azure/databricks/init-scripts/global databricks에서 전역 init 스크립트를 사용하세요. 2) AzureML databricks 단계에서 init_scripts 줄을 주석으로 처리합니다.

Default value: None
cluster_log_dbfs_path
str

클러스터 로그를 배달해야 하는 DBFS 경로입니다.

Default value: None
permit_cluster_restart
bool

existing_cluster_id 지정되면 이 매개 변수는 사용자를 대신하여 클러스터를 다시 시작할 수 있는지 여부를 알려줍니다.

Default value: None

메서드

validate

지정된 Databricks 클러스터 세부 정보의 유효성을 검사합니다.

매개 변수의 올바른 조합이 제공되었는지 여부뿐만 아니라 제공된 매개 변수의 형식을 확인합니다. 예를 들어 클러스터 매개 변수의 나머지 부분을 existing_cluster_id 지정하거나 지정해야 합니다. 자세한 내용은 생성자 매개 변수 정의를 참조하세요.

validate

지정된 Databricks 클러스터 세부 정보의 유효성을 검사합니다.

매개 변수의 올바른 조합이 제공되었는지 여부뿐만 아니라 제공된 매개 변수의 형식을 확인합니다. 예를 들어 클러스터 매개 변수의 나머지 부분을 existing_cluster_id 지정하거나 지정해야 합니다. 자세한 내용은 생성자 매개 변수 정의를 참조하세요.

validate()

예외

형식 Description
class:azureml.exceptions.UserErrorException