Databricks 자산 번들에서 업무에 작업 추가

이 페이지에서는 Databricks 자산 번들에서 작업 작업을 정의하는 방법에 대한 정보를 제공합니다. 작업 작업에 대한 자세한 내용은 Lakeflow 작업에서 태스크 구성 및 편집을 참조하세요.

작업 구성

작업 정의의 tasks 키에서 작업 번들에 대한 작업을 정의합니다. 사용 가능한 작업 유형에 대한 작업 구성의 예는 작업 설정 섹션에 있습니다. 번들에서 작업을 정의하는 방법에 대한 자세한 내용은 작업을 참조하세요.

작업 값을 설정하기 위해 대부분의 작업 작업 유형에는 작업별 매개 변수가 있지만 태스크에 전달되는 작업 매개 변수 를 정의할 수도 있습니다. 작업 매개 변수에 대해 동적 값 참조가 지원되며, 작업 간에 작업 실행과 관련된 값을 전달할 수 있습니다. 작업 유형별로 작업 값을 전달하는 방법에 대한 자세한 내용은 작업 유형별 세부 정보를 참조하세요.

대상 작업 영역에 대한 설정을 사용하여 일반 작업 작업 설정을 재정의할 수도 있습니다. 대상 설정으로 재정의를 참조하세요.

다음 예제 구성은 두 개의 Notebook 작업이 있는 작업을 정의하고 첫 번째 작업에서 두 번째 작업으로 작업 값을 전달합니다.

resources:
  jobs:
    pass_task_values_job:
      name: pass_task_values_job
      tasks:
        # Output task
        - task_key: output_value
          notebook_task:
            notebook_path: ../src/output_notebook.ipynb

        # Input task
        - task_key: input_value
          depends_on:
            - task_key: output_value
          notebook_task:
            notebook_path: ../src/input_notebook.ipynb
            base_parameters:
              received_message: '{{tasks.output_value.values.message}}'

output_notebook.ipynb는 message 키에 대한 작업 값을 설정하는 다음 코드를 포함합니다.

# Databricks notebook source
# This first task sets a simple output value.

message = "Hello from the first task"

# Set the message to be used by other tasks
dbutils.jobs.taskValues.set(key="message", value=message)

print(f"Produced message: {message}")

태스크 input_notebook.ipynb 의 구성에 설정된 매개 변수 received_message의 값을 검색합니다.

# This notebook receives the message as a parameter.

dbutils.widgets.text("received_message", "")
received_message = dbutils.widgets.get("received_message")

print(f"Received message: {received_message}")

작업 설정

이 섹션에는 각 작업 작업 유형에 대한 설정 및 예제가 포함되어 있습니다.

회의실 전자 필기장 정리 작업

클린룸 기록장 작업은 clean_rooms_notebook_task 필드가 있을 때 클린룸 기록장을 실행합니다. 클린룸에 대한 자세한 내용은 Azure Databricks Clean Rooms란?을 참조하세요.

다음 키는 클린룸 노트북 작업에 사용할 수 있습니다. 해당 REST API 개체 정의는 clean_rooms_notebook_task 참조하세요.

조건 작업

이 condition_task을 사용하면 if/else 조건부 논리를 사용하여 업무에 작업을 추가할 수 있습니다. 태스크는 다른 작업의 실행을 제어하는 데 사용할 수 있는 조건을 평가합니다. 조건 태스크는 클러스터를 실행할 필요가 없으며 재시도 또는 알림을 지원하지 않습니다. if/else 조건 태스크에 대한 자세한 내용은 If/else 태스크를 사용하여 작업에 분기 논리 추가를 참조하세요.

조건 작업에 사용할 수 있는 키는 다음과 같습니다. 해당 REST API 개체 정의는 condition_task 참조하세요.

예시

다음 예제에는 작업 복구 수가 5보다 작은 경우에만 Notebook 작업이 실행되는 조건 태스크 및 Notebook 작업이 포함되어 있습니다.

resources:
  jobs:
    my-job:
      name: my-job
      tasks:
        - task_key: condition_task
          condition_task:
            op: LESS_THAN
            left: '{{job.repair_count}}'
            right: '5'
        - task_key: notebook_task
          depends_on:
            - task_key: condition_task
              outcome: 'true'
          notebook_task:
            notebook_path: ../src/notebook.ipynb

대시보드 작업

이 작업을 사용하여 대시보드를 새로 고치고 구독자에게 스냅샷을 보냅니다. 번들의 대시보드에 대한 자세한 내용은 대시보드를 참조하세요.

대시보드 작업에 사용할 수 있는 키는 다음과 같습니다. 해당 REST API 개체 정의는 dashboard_task 참조하세요.

예시

다음 예제에서는 작업에 대시보드 작업을 추가합니다. 작업이 실행되면 지정된 ID가 있는 대시보드가 새로 고쳐집니다.

resources:
  jobs:
    my-dashboard-job:
      name: my-dashboard-job
      tasks:
        - task_key: my-dashboard-task
          dashboard_task:
            dashboard_id: 11111111-1111-1111-1111-111111111111

dbt 태스크

이 태스크는 하나 이상의 dbt 명령을 실행합니다. dbt에 대한 자세한 내용은 dbt Cloud에 연결을 참조하세요.

다음 키는 dbt 작업에 사용할 수 있습니다. 해당 REST API 개체 정의는 dbt_task 참조하세요.

예시

다음 예제에서는 작업에 dbt 태스크를 추가합니다. 이 dbt 작업은 지정된 SQL 웨어하우스를 사용하여 지정된 dbt 명령을 실행합니다.

SQL 웨어하우스의 ID를 가져오려면 SQL 웨어하우스의 설정 페이지를 연 다음 개요 탭의 이름 필드에 있는 웨어하우스 이름 뒤의 괄호 안에 있는 ID를 복사합니다.

resources:
  jobs:
    my-dbt-job:
      name: my-dbt-job
      tasks:
        - task_key: my-dbt-task
          dbt_task:
            commands:
              - 'dbt deps'
              - 'dbt seed'
              - 'dbt run'
            project_directory: /Users/someone@example.com/Testing
            warehouse_id: 1a111111a1111aa1
          libraries:
            - pypi:
                package: 'dbt-databricks>=1.0.0,<2.0.0'

각 작업에 대해

for_each_task은/는 작업에 'for each' 루프를 포함하는 태스크를 추가할 수 있도록 지원합니다. 태스크는 제공된 모든 입력에 대해 중첩된 작업을 실행합니다. for_each_task에 대한 자세한 내용은 을 참조하십시오. For each 작업을 사용하여에서 다른 작업을 반복 실행하십시오.

for_each_task 에 사용할 수 있는 키는 다음과 같습니다. 해당 REST API 개체 정의는 for_each_task 참조하세요.

예시

다음 예제에서는 작업에 for_each_task 추가하여 다른 작업의 값을 반복하고 처리합니다.

resources:
  jobs:
    my_job:
      name: my_job
      tasks:
        - task_key: generate_countries_list
          notebook_task:
            notebook_path: ../src/generate_countries_list.ipnyb
        - task_key: process_countries
          depends_on:
            - task_key: generate_countries_list
          for_each_task:
            inputs: '{{tasks.generate_countries_list.values.countries}}'
            task:
              task_key: process_countries_iteration
              notebook_task:
                notebook_path: ../src/process_countries_notebook.ipnyb

JAR 작업

당신은 이 태스크를 사용하여 JAR을 실행합니다. 로컬 JAR 라이브러리 또는 작업 영역, Unity 카탈로그 볼륨 또는 외부 클라우드 스토리지 위치에 있는 라이브러리를 참조할 수 있습니다. JAR 파일(Java 또는 Scala)을 참조하세요.

표준 액세스 모드에서 Unity 카탈로그 사용 클러스터에서 Scala JAR 파일을 컴파일하고 배포하는 방법에 대한 자세한 내용은 자습서: 서버리스 컴퓨팅에서 Scala 코드 실행을 참조하세요.

JAR 작업에 사용할 수 있는 키는 다음과 같습니다. 해당 REST API 개체 정의는 jar_task 참조하세요.

예시

다음 예제에서는 작업에 JAR 태스크를 추가합니다. JAR의 경로는 볼륨 위치입니다.

resources:
  jobs:
    my-jar-job:
      name: my-jar-job
      tasks:
        - task_key: my-jar-task
          spark_jar_task:
            main_class_name: org.example.com.Main
          libraries:
            - jar: /Volumes/main/default/my-volume/my-project-0.1.0-SNAPSHOT.jar

Notebook 작업

이 태스크를 사용하여 Notebook을 실행합니다. 작업에 대한 Notebook 태스크를 참조하세요.

Notebook 작업에 사용할 수 있는 키는 다음과 같습니다. 해당 REST API 개체 정의는 notebook_task 참조하세요.

예시

다음 예제에서는 작업에 Notebook 태스크를 추가하고 my_job_run_id이라는 작업 매개 변수를 설정합니다. 배포할 Notebook의 경로는 태스크가 선언된 구성 파일을 기준으로 합니다. 작업은 Azure Databricks 작업 영역의 배포된 위치에서 노트북을 가져옵니다.

resources:
  jobs:
    my-notebook-job:
      name: my-notebook-job
      tasks:
        - task_key: my-notebook-task
          notebook_task:
            notebook_path: ./my-notebook.ipynb
      parameters:
        - name: my_job_run_id
          default: '{{job.run_id}}'

파이프라인 작업

이 작업을 사용하여 파이프라인을 실행합니다. Lakeflow Spark 선언적 파이프라인을 참조하세요.

파이프라인 작업에 사용할 수 있는 키는 다음과 같습니다. 해당 REST API 개체 정의는 pipeline_task 참조하세요.

예시

다음 예제에서는 파이프라인 작업을 작업에 추가합니다. 이 작업은 지정된 파이프라인을 실행합니다.

resources:
  jobs:
    my-pipeline-job:
      name: my-pipeline-job
      tasks:
        - task_key: my-pipeline-task
          pipeline_task:
            pipeline_id: 11111111-1111-1111-1111-111111111111

Power BI 작업

이 작업을 사용하여 Power BI 의미 체계 모델(이전의 데이터 세트)의 새로 고침을 트리거합니다.

Power BI 작업에 사용할 수 있는 키는 다음과 같습니다. 해당 REST API 개체 정의는 power_bi_task 참조하세요.

예시

다음 예제에서는 연결을 지정하는 Power BI 작업, 업데이트할 Power BI 모델 및 내보낼 Databricks 테이블을 정의합니다.

resources:
  jobs:
    my_job:
      name: my_job
      tasks:
        - task_key: power_bi_task
          power_bi_task:
            connection_resource_name: 'connection_name'
            power_bi_model:
              workspace_name: 'workspace_name'
              model_name: 'model_name'
              storage_mode: 'DIRECT_QUERY'
              authentication_method: 'OAUTH'
              overwrite_existing: false
            refresh_after_update: false
            tables:
              - catalog: 'main'
                schema: 'tpch'
                name: 'customers'
                storage_mode: 'DIRECT_QUERY'
            warehouse_id: '1a111111a1111aa1'

Python 스크립트 태스크

이 태스크는 Python 파일을 실행할 수 있습니다.

Python 스크립트 작업에 사용할 수 있는 키는 다음과 같습니다. 해당 REST API 개체 정의는 python_task 참조하세요.

예시

다음 예제에서는 작업에 Python 스크립트 태스크를 추가합니다. 배포할 Python 파일의 경로는 태스크가 선언된 구성 파일을 기준으로 합니다. 태스크는 Azure Databricks 작업 영역의 배포된 위치에서 Python 파일을 가져옵니다.

resources:
  jobs:
    my-python-script-job:
      name: my-python-script-job

      tasks:
        - task_key: my-python-script-task
          spark_python_task:
            python_file: ./my-script.py

파이썬 휠 작업

이 작업을 사용하여 Python 휠을 실행합니다. Databricks 자산 번들을 사용하여 Python 휠 파일 빌드를 참조하세요.

Python 휠 작업에 사용할 수 있는 키는 다음과 같습니다. 해당 REST API 개체 정의는 python_wheel_task 참조하세요.

예시

다음 예제에서는 작업에 Python 휠 태스크를 추가합니다. 배포할 Python 휠 파일의 경로는 태스크가 선언된 구성 파일을 기준으로 합니다. Databricks 자산 번들 라이브러리 종속성을 참조하세요.

resources:
  jobs:
    my-python-wheel-job:
      name: my-python-wheel-job
      tasks:
        - task_key: my-python-wheel-task
          python_wheel_task:
            entry_point: run
            package_name: my_package
          libraries:
            - whl: ./my_package/dist/my_package-*.whl

작업 실행

사용자는 이 태스크를 사용하여 다른 작업을 실행합니다.

다음 키는 실행 작업 작업에 사용할 수 있습니다. 해당 REST API 개체 정의는 run_job_task 참조하세요.

예시

다음 예제는 첫 번째 작업을 실행하는 역할을 하는 두 번째 작업의 태스크를 포함합니다.

이 예제에서는 대체를 사용하여 실행할 작업의 ID를 가져옵니다. UI에서 작업 ID를 가져오려면 작업 영역에서 작업을 열고 작업 설정 페이지의 작업 세부 정보 탭에 있는 작업 ID 값에서 ID를 복사합니다.

resources:
  jobs:
    my-first-job:
      name: my-first-job
      tasks:
        - task_key: my-first-job-task
          new_cluster:
            spark_version: '13.3.x-scala2.12'
            node_type_id: 'i3.xlarge'
            num_workers: 2
          notebook_task:
            notebook_path: ./src/test.py
    my_second_job:
      name: my-second-job
      tasks:
        - task_key: my-second-job-task
          run_job_task:
            job_id: ${resources.jobs.my-first-job.id}

SQL 작업

이 작업을 사용하여 SQL 파일, 쿼리 또는 경고를 실행합니다.

SQL 작업에 사용할 수 있는 키는 다음과 같습니다. 해당 REST API 개체 정의는 sql_task 참조하세요.

예시

다음 예제에서는 작업에 SQL 파일 태스크를 추가합니다. 이 SQL 파일 태스크로 지정된 SQL 웨어하우스를 사용하여 지정된 SQL 파일을 실행합니다.

resources:
  jobs:
    my-sql-file-job:
      name: my-sql-file-job
      tasks:
        - task_key: my-sql-file-task
          sql_task:
            file:
              path: /Users/someone@example.com/hello-world.sql
              source: WORKSPACE
            warehouse_id: 1a111111a1111aa1

다음 예제에서는 작업에 SQL 경고 작업을 추가합니다. 이 SQL 경고 태스크는 지정된 SQL 웨어하우스를 사용하여 지정된 SQL 경고를 새로 고칩니다.

resources:
  jobs:
    my-sql-file-job:
      name: my-sql-alert-job
      tasks:
        - task_key: my-sql-alert-task
          sql_task:
            warehouse_id: 1a111111a1111aa1
            alert:
              alert_id: 11111111-1111-1111-1111-111111111111

다음 예제에서는 작업에 SQL 쿼리 작업을 추가합니다. 이 SQL 쿼리 작업은 지정된 SQL 웨어하우스를 사용하여 지정된 SQL 쿼리를 실행합니다.

resources:
  jobs:
    my-sql-query-job:
      name: my-sql-query-job
      tasks:
        - task_key: my-sql-query-task
          sql_task:
            warehouse_id: 1a111111a1111aa1
            query:
              query_id: 11111111-1111-1111-1111-111111111111

기타 작업 설정

다음 작업 설정을 사용하면 모든 작업에 대한 동작을 구성할 수 있습니다. 해당 REST API 개체 정의는 작업을 참조하세요.