Hinzufügen von Tasks zu Jobs in Databricks Asset Bundles

Diese Seite enthält Informationen zum Definieren von Auftragsaufgaben in Databricks Asset Bundles. Informationen zu Auftragsaufgaben finden Sie unter Konfigurieren und Bearbeiten von Vorgängen in Lakeflow-Aufträgen.

Aufgaben konfigurieren

Definieren Sie Aufgaben für einen Auftrag in einem Bündel im tasks Schlüssel für die Auftragsdefinition. Beispiele für die Aufgabenkonfiguration für die verfügbaren Aufgabentypen finden Sie im Abschnitt " Aufgabeneinstellungen" . Informationen zum Definieren eines Jobs in einem Bündel finden Sie unter Job.

Zum Festlegen von Vorgangswerten weisen die meisten Auftragsaufgabentypen aufgabenspezifische Parameter auf, Sie können aber auch Auftragsparameter definieren, die an Vorgänge übergeben werden. Dynamische Wertverweise werden für Auftragsparameter unterstützt, die das Übergeben von Werten ermöglichen, die für den Auftrag spezifisch sind, die zwischen Vorgängen ausgeführt werden. Vollständige Informationen zum Übergeben von Vorgangswerten nach Aufgabentyp finden Sie unter Details nach Aufgabentyp.

Sie können auch allgemeine Aufgabeneinstellungen mit Einstellungen für einen Ziel-Arbeitsbereich außer Kraft setzen. Siehe Mit Zieleinstellungen überschreiben.

Die folgende Beispielkonfiguration definiert einen Auftrag mit zwei Notizbuchaufgaben und übergibt einen Vorgangswert von der ersten Aufgabe an den zweiten Vorgang.

resources:
  jobs:
    pass_task_values_job:
      name: pass_task_values_job
      tasks:
        # Output task
        - task_key: output_value
          notebook_task:
            notebook_path: ../src/output_notebook.ipynb

        # Input task
        - task_key: input_value
          depends_on:
            - task_key: output_value
          notebook_task:
            notebook_path: ../src/input_notebook.ipynb
            base_parameters:
              received_message: '{{tasks.output_value.values.message}}'

Der output_notebook.ipynb enthält den folgenden Code, der einen Aufgabenwert für den message Schlüssel festlegt:

# Databricks notebook source
# This first task sets a simple output value.

message = "Hello from the first task"

# Set the message to be used by other tasks
dbutils.jobs.taskValues.set(key="message", value=message)

print(f"Produced message: {message}")

Der input_notebook.ipynb Wert des Parameters received_messagewird abgerufen, der in der Konfiguration für die Aufgabe festgelegt wurde:

# This notebook receives the message as a parameter.

dbutils.widgets.text("received_message", "")
received_message = dbutils.widgets.get("received_message")

print(f"Received message: {received_message}")

Aufgabeneinstellungen

Dieser Abschnitt enthält Einstellungen und Beispiele für jeden Auftragsaufgabentyp.

Reinraumnotizbuch-Aufgabe

Die Aufgabe "Notizbuch für reinen Raum" führt ein Notizbuch für saubere Räume aus, wenn das clean_rooms_notebook_task Feld vorhanden ist. Informationen zu Reinräumen finden Sie unter Was ist Azure Databricks Clean Rooms?.

Die folgenden Schlüssel sind für eine Notizbuchaufgabe für Reinräume verfügbar. Die entsprechende REST-API-Objektdefinition finden Sie unter clean_rooms_notebook_task.

Bedingungsaufgabe

Der condition_task ermöglicht es Ihnen, Ihrem Job eine Aufgabe mit if/else-bedingter Logik hinzuzufügen. Der Vorgang wertet eine Bedingung aus, die zum Steuern der Ausführung anderer Aufgaben verwendet werden kann. Die Bedingungsaufgabe erfordert keinen Cluster zur Ausführung und unterstützt keine Wiederholungen oder Benachrichtigungen. Weitere Informationen zur If/Else-Bedingungsaufgabe finden Sie unter Verzweigungslogik zu einem Auftrag mit der Aufgabe If/Else hinzufügen.

Die folgenden Schlüssel sind für eine Bedingungsaufgabe verfügbar. Die entsprechende REST-API-Objektdefinition finden Sie unter condition_task.

Examples

Das folgende Beispiel enthält eine Bedingungsaufgabe und eine Notebooktask, bei der die Notebooktask nur ausgeführt wird, wenn die Anzahl der Auftragsreparaturen kleiner als 5 ist.

resources:
  jobs:
    my-job:
      name: my-job
      tasks:
        - task_key: condition_task
          condition_task:
            op: LESS_THAN
            left: '{{job.repair_count}}'
            right: '5'
        - task_key: notebook_task
          depends_on:
            - task_key: condition_task
              outcome: 'true'
          notebook_task:
            notebook_path: ../src/notebook.ipynb

Aufgabe im Dashboard

Sie verwenden diese Aufgabe, um ein Dashboard zu aktualisieren und eine Momentaufnahme an Abonnenten zu senden. Weitere Informationen zu Dashboards in Bündeln finden Sie im Dashboard.

Die folgenden Schlüssel sind für eine Dashboardaufgabe verfügbar. Die entsprechende REST-API-Objektdefinition finden Sie unter dashboard_task.

Examples

Im folgenden Beispiel wird einem Auftrag eine Dashboardaufgabe hinzugefügt. Wenn der Auftrag ausgeführt wird, wird das Dashboard mit der angegebenen ID aktualisiert.

resources:
  jobs:
    my-dashboard-job:
      name: my-dashboard-job
      tasks:
        - task_key: my-dashboard-task
          dashboard_task:
            dashboard_id: 11111111-1111-1111-1111-111111111111

dbt-Aufgabe

Sie verwenden diese Aufgabe, um einen oder mehrere DBT-Befehle auszuführen. Weitere Informationen zu dbt finden Sie unter "Herstellen einer Verbindung mit dbt Cloud".

Die folgenden Schlüssel sind für einen dbt-Vorgang verfügbar. Die entsprechende REST-API-Objektdefinition finden Sie unter dbt_task.

Examples

Im folgenden Beispiel wird einem Auftrag eine dbt-Aufgabe hinzugefügt. Diese DBT-Aufgabe verwendet das angegebene SQL-Warehouse zum Ausführen der angegebenen DBT-Befehle.

Um die ID eines SQL-Lagerlagers abzurufen, öffnen Sie die Einstellungsseite des SQL-Lagers, und kopieren Sie dann die ID in Klammern nach dem Namen des Lagers im Feld "Name " auf der Registerkarte " Übersicht ".

resources:
  jobs:
    my-dbt-job:
      name: my-dbt-job
      tasks:
        - task_key: my-dbt-task
          dbt_task:
            commands:
              - 'dbt deps'
              - 'dbt seed'
              - 'dbt run'
            project_directory: /Users/someone@example.com/Testing
            warehouse_id: 1a111111a1111aa1
          libraries:
            - pypi:
                package: 'dbt-databricks>=1.0.0,<2.0.0'

Für jeden Vorgang

Mit for_each_task können Sie Ihrem Task eine Aufgabe mit für jede Schleife hinzufügen. Die Aufgabe führt für jede bereitgestellte Eingabe eine geschachtelte Aufgabe aus. Weitere Informationen zum for_each_taskfinden Sie unter . Verwenden Sie eine For each-Aufgabe, um eine andere Aufgabe in einer Schleife auszuführen.

Die folgenden Schlüssel sind für ein for_each_task. Die entsprechende REST-API-Objektdefinition finden Sie unter for_each_task.

Examples

Im folgenden Beispiel wird einem Job ein for_each_task hinzugefügt, der die Werte einer anderen Aufgabe durchläuft und verarbeitet.

resources:
  jobs:
    my_job:
      name: my_job
      tasks:
        - task_key: generate_countries_list
          notebook_task:
            notebook_path: ../src/generate_countries_list.ipnyb
        - task_key: process_countries
          depends_on:
            - task_key: generate_countries_list
          for_each_task:
            inputs: '{{tasks.generate_countries_list.values.countries}}'
            task:
              task_key: process_countries_iteration
              notebook_task:
                notebook_path: ../src/process_countries_notebook.ipnyb

JAR-Aufgabe

Sie verwenden diesen Task, um eine JAR-Datei auszuführen. Sie können auf lokale JAR-Bibliotheken oder solche in einem Arbeitsbereich, einem Unity-Katalogvolume oder einem externen Cloudspeicherort verweisen. Siehe JAR-Datei (Java oder Scala).

Ausführliche Informationen zum Kompilieren und Bereitstellen von Scala JAR-Dateien auf einem Unity-Katalog-fähigen Cluster im Standardzugriffsmodus finden Sie im Lernprogramm: Ausführen von Scala-Code auf serverloser Berechnung.

Die folgenden Schlüssel sind für einen JAR-Vorgang verfügbar. Die entsprechende REST-API-Objektdefinition finden Sie unter jar_task.

Examples

Im folgenden Beispiel wird einem Auftrag ein JAR-Task hinzugefügt. Der Pfad für die JAR-Datei ist ein Volumespeicherort.

resources:
  jobs:
    my-jar-job:
      name: my-jar-job
      tasks:
        - task_key: my-jar-task
          spark_jar_task:
            main_class_name: org.example.com.Main
          libraries:
            - jar: /Volumes/main/default/my-volume/my-project-0.1.0-SNAPSHOT.jar

Notebook-Aufgabe

Sie verwenden diesen Task, um ein Notebook auszuführen. Siehe Notebooktask für Aufträge.

Die folgenden Schlüssel sind für eine Notizbuchaufgabe verfügbar. Die entsprechende REST-API-Objektdefinition finden Sie unter notebook_task.

Examples

Im folgenden Beispiel wird einem Auftrag eine Notebook-Aufgabe hinzugefügt und ein Auftragsparameter mit dem Namen my_job_run_id festgelegt. Der Pfad für das bereitzustellende Notebook ist relativ zur Konfigurationsdatei, in der diese Aufgabe deklariert wird. Der Task holt das Notebook von seinem bereitgestellten Standort im Azure Databricks-Arbeitsbereich ab.

resources:
  jobs:
    my-notebook-job:
      name: my-notebook-job
      tasks:
        - task_key: my-notebook-task
          notebook_task:
            notebook_path: ./my-notebook.ipynb
      parameters:
        - name: my_job_run_id
          default: '{{job.run_id}}'

Pipelineaufgabe

Sie verwenden diese Aufgabe, um eine Pipeline auszuführen. Siehe Lakeflow Spark Declarative Pipelines.

Die folgenden Schlüssel sind für einen Pipelinevorgang verfügbar. Die entsprechende REST-API-Objektdefinition finden Sie unter pipeline_task.

Examples

Im folgenden Beispiel wird einem Auftrag eine Pipelineaufgabe hinzugefügt. Diese Aufgabe führt die angegebene Pipeline aus.

resources:
  jobs:
    my-pipeline-job:
      name: my-pipeline-job
      tasks:
        - task_key: my-pipeline-task
          pipeline_task:
            pipeline_id: 11111111-1111-1111-1111-111111111111

Power BI-Aufgabe

Verwenden Sie diese Aufgabe, um eine Aktualisierung eines Power BI-Semantikmodells (früher als Dataset bezeichnet) auszulösen.

Die folgenden Schlüssel sind für eine Power BI-Aufgabe verfügbar. Die entsprechende REST-API-Objektdefinition finden Sie unter power_bi_task.

Examples

Im folgenden Beispiel wird eine Power BI-Aufgabe definiert, die eine Verbindung angibt, das zu aktualisierende Power BI-Modell und die zu exportierende Databricks-Tabelle.

resources:
  jobs:
    my_job:
      name: my_job
      tasks:
        - task_key: power_bi_task
          power_bi_task:
            connection_resource_name: 'connection_name'
            power_bi_model:
              workspace_name: 'workspace_name'
              model_name: 'model_name'
              storage_mode: 'DIRECT_QUERY'
              authentication_method: 'OAUTH'
              overwrite_existing: false
            refresh_after_update: false
            tables:
              - catalog: 'main'
                schema: 'tpch'
                name: 'customers'
                storage_mode: 'DIRECT_QUERY'
            warehouse_id: '1a111111a1111aa1'

Python-Skriptaufgabe

Sie verwenden diesen Task, um eine Python-Datei auszuführen.

Die folgenden Schlüssel sind für eine Python-Skriptaufgabe verfügbar. Die entsprechende REST-API-Objektdefinition finden Sie unter python_task.

Examples

Im folgenden Beispiel wird einem Job eine Python-Skriptaufgabe hinzugefügt. Der Pfad für die bereitzustellende Python-Datei ist relativ zur Konfigurationsdatei, in der diese Aufgabe deklariert wird. Mit dem Task wird die Python-Datei vom bereitgestellten Speicherort in den Azure Databricks-Arbeitsbereich abgerufen.

resources:
  jobs:
    my-python-script-job:
      name: my-python-script-job

      tasks:
        - task_key: my-python-script-task
          spark_python_task:
            python_file: ./my-script.py

Python-Wheeltask

Sie verwenden diese Aufgabe, um ein Python-Rad auszuführen. Siehe Erstellen einer Python-Raddatei mit Databricks Asset Bundles.

Die folgenden Tasten sind für eine Python-Radaufgabe verfügbar. Die entsprechende REST-API-Objektdefinition finden Sie unter python_wheel_task.

Examples

Im folgenden Beispiel wird einem Job eine Python-Wheel-Aufgabe hinzugefügt. Der Pfad für die bereitzustellende Python-Wheel-Datei ist relativ zur Konfigurationsdatei, in der diese Aufgabe deklariert wird. Weitere Informationen finden Sie unter Bibliotheksabhängigkeiten für Databricks-Ressourcenbundles.

resources:
  jobs:
    my-python-wheel-job:
      name: my-python-wheel-job
      tasks:
        - task_key: my-python-wheel-task
          python_wheel_task:
            entry_point: run
            package_name: my_package
          libraries:
            - whl: ./my_package/dist/my_package-*.whl

Aufgabe ausführen

Sie verwenden diese Aufgabe, um einen anderen Auftrag auszuführen.

Die folgenden Schlüssel sind für eine Laufaufgabe verfügbar. Die entsprechende REST-API-Objektdefinition finden Sie unter run_job_task.

Examples

Das folgende Beispiel enthält einen „Auftrag ausführen“-Task im zweiten Auftrag, der den ersten Auftrag ausführt.

In diesem Beispiel wird eine Ersetzung verwendet, um die ID des auszuführenden Auftrags abzurufen. Um die ID eines Auftrags über die Benutzeroberfläche abzurufen, öffnen Sie den Auftrag im Arbeitsbereich, und kopieren Sie die ID aus dem Wert " Auftrags-ID " auf der Registerkarte " Auftragsdetails " der Einstellungsseite der Aufträge.

resources:
  jobs:
    my-first-job:
      name: my-first-job
      tasks:
        - task_key: my-first-job-task
          new_cluster:
            spark_version: '13.3.x-scala2.12'
            node_type_id: 'i3.xlarge'
            num_workers: 2
          notebook_task:
            notebook_path: ./src/test.py
    my_second_job:
      name: my-second-job
      tasks:
        - task_key: my-second-job-task
          run_job_task:
            job_id: ${resources.jobs.my-first-job.id}

SQL-Aufgabe

Sie verwenden diese Aufgabe, um eine SQL-Datei, -Abfrage oder -Warnung auszuführen.

Die folgenden Schlüssel sind für eine SQL-Aufgabe verfügbar. Die entsprechende REST-API-Objektdefinition finden Sie unter sql_task.

Examples

Im folgenden Beispiel wird einem Auftrag eine SQL-Dateiaufgabe hinzugefügt. Diese SQL-Dateiaufgabe verwendet das angegebene SQL-Warehouse, um die angegebene SQL-Datei auszuführen.

resources:
  jobs:
    my-sql-file-job:
      name: my-sql-file-job
      tasks:
        - task_key: my-sql-file-task
          sql_task:
            file:
              path: /Users/someone@example.com/hello-world.sql
              source: WORKSPACE
            warehouse_id: 1a111111a1111aa1

Im folgenden Beispiel wird einem Auftrag eine SQL-Warnungsaufgabe hinzugefügt. Diese SQL-Warnungsaufgabe verwendet das angegebene SQL-Warehouse, um die angegebene SQL-Warnung zu aktualisieren.

resources:
  jobs:
    my-sql-file-job:
      name: my-sql-alert-job
      tasks:
        - task_key: my-sql-alert-task
          sql_task:
            warehouse_id: 1a111111a1111aa1
            alert:
              alert_id: 11111111-1111-1111-1111-111111111111

Im folgenden Beispiel wird einem Auftrag eine SQL-Abfrageaufgabe hinzugefügt. Diese SQL-Abfrageaufgabe verwendet das angegebene SQL-Warehouse, um die angegebene SQL-Abfrage auszuführen.

resources:
  jobs:
    my-sql-query-job:
      name: my-sql-query-job
      tasks:
        - task_key: my-sql-query-task
          sql_task:
            warehouse_id: 1a111111a1111aa1
            query:
              query_id: 11111111-1111-1111-1111-111111111111

Andere Aufgabeneinstellungen

Mit den folgenden Aufgabeneinstellungen können Sie Verhaltensweisen für alle Aufgaben konfigurieren. Die entsprechenden REST-API-Objektdefinitionen finden Sie unter Aufgaben.