將任務新增至 Databricks Asset Bundles 中的作業

本頁提供如何在 Databricks 資產套件組合中定義作業工作的相關資訊。 如需作業工作的相關資訊，請參閱 在 Lakeflow 作業中設定和編輯工作。

設定任務

在工作定義的索引鍵中 tasks 定義服務包中工作的任務。 可用工作類型的工作設定範例位於 [工作設定] 區段中。 如需在軟體組中定義工作的相關資訊，請參閱 工作。

若要設定任務值，大部分的工作任務類型都有任務特定的參數，但您也可以定義傳遞給任務的工作 參數 。 工作參數支援動態值參照，可讓您在作業之間傳遞工作執行特有的值。 如需如何依任務類型傳遞任務值的完整資訊，請參閱 依任務類型的詳細資訊。

您也可以使用目標工作區的設定來覆寫一般工作任務設定。 請參閱 用目標設定覆蓋。

下列範例組態會定義具有兩個筆記本任務的任務，並將任務值從第一個任務傳遞至第二個任務。

resources:
  jobs:
    pass_task_values_job:
      name: pass_task_values_job
      tasks:
        # Output task
        - task_key: output_value
          notebook_task:
            notebook_path: ../src/output_notebook.ipynb

        # Input task
        - task_key: input_value
          depends_on:
            - task_key: output_value
          notebook_task:
            notebook_path: ../src/input_notebook.ipynb
            base_parameters:
              received_message: '{{tasks.output_value.values.message}}'

output_notebook.ipynb 包含以下程式碼，該程式碼可為 message 鍵設定任務值：

# Databricks notebook source
# This first task sets a simple output value.

message = "Hello from the first task"

# Set the message to be used by other tasks
dbutils.jobs.taskValues.set(key="message", value=message)

print(f"Produced message: {message}")

擷取 input_notebook.ipynb 在工作組態中設定的參數 received_message的值：

# This notebook receives the message as a parameter.

dbutils.widgets.text("received_message", "")
received_message = dbutils.widgets.get("received_message")

print(f"Received message: {received_message}")

任務設定

本節包含每個工作任務類型的設定和範例。

無塵室筆記本任務

當clean_rooms_notebook_task欄位存在時，無塵室筆記本任務會執行無塵室筆記本。 如需無塵室的相關資訊，請參閱 什麼是 Azure Databricks 無塵室？。

下列按鍵可用於 無塵室筆記本工作。 如需對應的 REST API 物件定義，請參閱 clean_rooms_notebook_task。

條件任務

condition_task 可讓您將具有 if/else 條件式邏輯的工作新增至作業。 這項任務評估一種可用來控制其他任務執行的條件。 條件工作不需要叢集執行，而且不支援重試或通知。 如需有關 if/else 條件工作的詳細資訊，請參閱 如何透過 If/else 工作為工作新增分支邏輯。

以下按鍵可用於條件任務。 如需對應的 REST API 物件定義，請參閱 condition_task。

範例

下列範例包含條件工作和筆記本工作，其中筆記本工作只有在作業修復數目小於 5 時才會執行。

resources:
  jobs:
    my-job:
      name: my-job
      tasks:
        - task_key: condition_task
          condition_task:
            op: LESS_THAN
            left: '{{job.repair_count}}'
            right: '5'
        - task_key: notebook_task
          depends_on:
            - task_key: condition_task
              outcome: 'true'
          notebook_task:
            notebook_path: ../src/notebook.ipynb

面板任務

您可以使用此工作來重新整理儀錶板，並將快照集傳送給訂閱者。 如需套件組合中儀表板的詳細資訊，請參閱 儀表板。

下列鍵可用於 儀表板工作。 如需對應的 REST API 物件定義，請參閱 dashboard_task。

範例

下列範例會將儀表板任務新增至作業。 執行作業時，會重新整理具有指定ID的儀表板。

resources:
  jobs:
    my-dashboard-job:
      name: my-dashboard-job
      tasks:
        - task_key: my-dashboard-task
          dashboard_task:
            dashboard_id: 11111111-1111-1111-1111-111111111111

dbt 任務

您可以使用這項工作來執行一或多個 dbt 命令。 如需 dbt 的詳細資訊，請參閱 連線至 dbt Cloud。

下列按鍵可用於 dbt 工作。 如需對應的 REST API 物件定義，請參閱 dbt_task。

範例

下列範例會將 dbt 任務新增至一個任務中。 此 dbt 工作會使用指定的 SQL 倉儲來執行指定的 dbt 命令。

若要取得 SQL 倉儲的識別碼，請開啟 SQL 倉儲的設定頁面，然後在 [概觀] 標籤的 名稱 欄位中，複製倉儲名稱後括弧中找到的識別碼。

resources:
  jobs:
    my-dbt-job:
      name: my-dbt-job
      tasks:
        - task_key: my-dbt-task
          dbt_task:
            commands:
              - 'dbt deps'
              - 'dbt seed'
              - 'dbt run'
            project_directory: /Users/someone@example.com/Testing
            warehouse_id: 1a111111a1111aa1
          libraries:
            - pypi:
                package: 'dbt-databricks>=1.0.0,<2.0.0'

對每個任務

for_each_task 可讓您將具有「for each」迴圈的任務新增至您的作業中。 該任務會針對所提供的每個輸入執行一個嵌套任務。 如需 for_each_task的詳細資訊，請參閱 如何使用 For each 工作在循環中反覆執行另一個工作。

下列按鍵可用於 for_each_task。 如需對應的 REST API 物件定義，請參閱 for_each_task。

範例

下列範例會將 for_each_task 涵蓋到一個作業中，然後對另一個任務的值進行迴圈處理。

resources:
  jobs:
    my_job:
      name: my_job
      tasks:
        - task_key: generate_countries_list
          notebook_task:
            notebook_path: ../src/generate_countries_list.ipnyb
        - task_key: process_countries
          depends_on:
            - task_key: generate_countries_list
          for_each_task:
            inputs: '{{tasks.generate_countries_list.values.countries}}'
            task:
              task_key: process_countries_iteration
              notebook_task:
                notebook_path: ../src/process_countries_notebook.ipnyb

JAR 任務

您可以使用此工作來執行 JAR。 您可以參考本機 JAR 程式庫或工作區中的程式庫、Unity Catalog 磁碟區中的程式庫或外部雲端儲存位置中的程式庫。 請參閱 JAR 檔案 （Java 或 Scala）。

如需如何在標準存取模式中在已啟用 Unity 目錄的叢集上編譯和部署 Scala JAR 檔案的詳細資訊，請參閱 教學課程：在無伺服器計算上執行 Scala 程式碼。

下列索引鍵可用於 JAR 作業。 如需對應的 REST API 物件定義，請參閱 jar_task。

範例

下列範例會將 JAR 工作新增到任務中。 JAR 檔案的路徑指向一個磁碟卷位置。

resources:
  jobs:
    my-jar-job:
      name: my-jar-job
      tasks:
        - task_key: my-jar-task
          spark_jar_task:
            main_class_name: org.example.com.Main
          libraries:
            - jar: /Volumes/main/default/my-volume/my-project-0.1.0-SNAPSHOT.jar

筆記本任務

您使用此任務來執行筆記本。 請參閱工作相關的筆記本任務。

下列按鍵可用於筆記型電腦任務。 如需對應的 REST API 物件定義，請參閱 notebook_task。

範例

下列範例會將筆記本工作新增至工作，並設定名為 my_job_run_id 的工作參數。 要部署的筆記本的路徑是相對於宣告該任務的設定檔而定的。 該任務從其在 Azure Databricks 工作區中部署的位置取得筆記本。

resources:
  jobs:
    my-notebook-job:
      name: my-notebook-job
      tasks:
        - task_key: my-notebook-task
          notebook_task:
            notebook_path: ./my-notebook.ipynb
      parameters:
        - name: my_job_run_id
          default: '{{job.run_id}}'

管線工作

您可以使用此任務來運行管線。 請參閱 Lakeflow Spark 宣告式管線。

下列鍵可用於 管線工作。 如需對應的 REST API 物件定義，請參閱 pipeline_task。

範例

下列範例會將管線工作新增至作業。 此任務會執行指定的管線。

resources:
  jobs:
    my-pipeline-job:
      name: my-pipeline-job
      tasks:
        - task_key: my-pipeline-task
          pipeline_task:
            pipeline_id: 11111111-1111-1111-1111-111111111111

Power BI 工作

使用此工作來觸發 Power BI 語意模型 （先前稱為資料集） 的重新整理。

下列索引鍵可用於 Power BI 工作。 如需對應的 REST API 物件定義，請參閱 power_bi_task。

範例

下列範例會定義 Power BI 工作，其中會指定連線、要更新的 Power BI 模型，以及要匯出的 Databricks 資料表。

resources:
  jobs:
    my_job:
      name: my_job
      tasks:
        - task_key: power_bi_task
          power_bi_task:
            connection_resource_name: 'connection_name'
            power_bi_model:
              workspace_name: 'workspace_name'
              model_name: 'model_name'
              storage_mode: 'DIRECT_QUERY'
              authentication_method: 'OAUTH'
              overwrite_existing: false
            refresh_after_update: false
            tables:
              - catalog: 'main'
                schema: 'tpch'
                name: 'customers'
                storage_mode: 'DIRECT_QUERY'
            warehouse_id: '1a111111a1111aa1'

Python 指令碼任務

您可以使用這項工作來執行 Python 檔案。

下列索引鍵可用於 Python 指令碼工作。 如需對應的 REST API 物件定義，請參閱 python_task。

範例

下列範例會將 Python 指令碼工作新增至工作。 要部署的 Python 檔案路徑相對於宣告此工作的設定檔。 這項任務會從其在 Azure Databricks 工作區中部署的位置提取 Python 檔案。

resources:
  jobs:
    my-python-script-job:
      name: my-python-script-job

      tasks:
        - task_key: my-python-script-task
          spark_python_task:
            python_file: ./my-script.py

Python Wheel 任務

您可以使用此工作來執行 Python 輪。 請參閱 使用 Databricks 資產套件組合建置 Python 轉輪檔案。

下列鍵可用於 Python 輪子任務。 如需對應的 REST API 物件定義，請參閱 python_wheel_task。

範例

下列範例將 Python wheel 任務新增至作業。 要部署的 Python Wheel 檔案的路徑是相對於宣告此任務的設定檔而定的。 請參閱 Databricks Asset Bundles 程式庫相依性。

resources:
  jobs:
    my-python-wheel-job:
      name: my-python-wheel-job
      tasks:
        - task_key: my-python-wheel-task
          python_wheel_task:
            entry_point: run
            package_name: my_package
          libraries:
            - whl: ./my_package/dist/my_package-*.whl

執行作業任務

您可以使用此工作來執行另一個工作。

下列鍵可用於執行工作任務。 如需對應的 REST API 物件定義，請參閱 run_job_task。

範例

下列範例包含一個在第二個作業中執行用以執行第一個作業的任務。

這個範例會使用替代來擷取要執行的工作 ID。 若要從 UI 取得作業的識別碼，請開啟工作區中的作業，並從作業設定頁面的 [ 作業 詳細數據] 索引標籤標的 [ 作業標識元 ] 值複製識別碼。

resources:
  jobs:
    my-first-job:
      name: my-first-job
      tasks:
        - task_key: my-first-job-task
          new_cluster:
            spark_version: '13.3.x-scala2.12'
            node_type_id: 'i3.xlarge'
            num_workers: 2
          notebook_task:
            notebook_path: ./src/test.py
    my_second_job:
      name: my-second-job
      tasks:
        - task_key: my-second-job-task
          run_job_task:
            job_id: ${resources.jobs.my-first-job.id}

SQL 作業

您可以使用此工作來執行 SQL 檔案、查詢或警示。

下列索引鍵可用於 SQL 工作。 如需對應的 REST API 物件定義，請參閱 sql_task。

範例

下列範例會將 SQL 檔案工作新增至工作。 此 SQL 檔案工作會使用指定的 SQL 倉儲來執行指定的 SQL 檔案。

resources:
  jobs:
    my-sql-file-job:
      name: my-sql-file-job
      tasks:
        - task_key: my-sql-file-task
          sql_task:
            file:
              path: /Users/someone@example.com/hello-world.sql
              source: WORKSPACE
            warehouse_id: 1a111111a1111aa1

下列範例會將 SQL 警示工作新增至工作。 此 SQL 警示工作會使用指定的 SQL 倉儲來重新整理指定的 SQL 警示。

resources:
  jobs:
    my-sql-file-job:
      name: my-sql-alert-job
      tasks:
        - task_key: my-sql-alert-task
          sql_task:
            warehouse_id: 1a111111a1111aa1
            alert:
              alert_id: 11111111-1111-1111-1111-111111111111

下列範例會將 SQL 查詢工作新增至工作。 此 SQL 查詢工作會使用指定的 SQL 倉儲來執行指定的 SQL 查詢。

resources:
  jobs:
    my-sql-query-job:
      name: my-sql-query-job
      tasks:
        - task_key: my-sql-query-task
          sql_task:
            warehouse_id: 1a111111a1111aa1
            query:
              query_id: 11111111-1111-1111-1111-111111111111

其他任務設定

下列工作設定可讓您設定所有工作的行為。 如需對應的 REST API 物件定義，請參閱 作業。