Taken toevoegen aan banen in Databricks Asset Bundles

Deze pagina bevat informatie over het definiëren van taaktaken in Databricks Asset Bundles. Raadpleeg Taken configureren en bewerken in Lakeflow Jobs voor informatie over taken.

Taken configureren

Definieer taken voor een taak in een bundel in de tasks sleutel voor de taakdefinitie. Voorbeelden van taakconfiguratie voor de beschikbare taaktypen vindt u in de sectie Taakinstellingen . Voor informatie over het definiëren van een taak in een bundel, zie taak.

Als u taakwaarden wilt instellen, hebben de meeste taaktaaktypen taakspecifieke parameters, maar u kunt ook taakparameters definiëren die worden doorgegeven aan taken. Dynamische waardeverwijzingen worden ondersteund voor taakparameters, waardoor waarden kunnen worden doorgegeven die specifiek zijn voor de taak die tussen taken wordt uitgevoerd. Zie Details per taaktype voor volledige informatie over het doorgeven van taakwaarden per taaktype.

U kunt ook algemene taakinstellingen overschrijven met instellingen voor een doelwerkruimte. Zie Overschrijven met doelinstellingen.

De volgende voorbeeldconfiguratie definieert een taak met twee notebooktaken en geeft een taakwaarde van de eerste taak door aan de tweede taak.

resources:
  jobs:
    pass_task_values_job:
      name: pass_task_values_job
      tasks:
        # Output task
        - task_key: output_value
          notebook_task:
            notebook_path: ../src/output_notebook.ipynb

        # Input task
        - task_key: input_value
          depends_on:
            - task_key: output_value
          notebook_task:
            notebook_path: ../src/input_notebook.ipynb
            base_parameters:
              received_message: '{{tasks.output_value.values.message}}'

De output_notebook.ipynb code bevat de volgende code, waarmee een taakwaarde voor de message sleutel wordt ingesteld:

# Databricks notebook source
# This first task sets a simple output value.

message = "Hello from the first task"

# Set the message to be used by other tasks
dbutils.jobs.taskValues.set(key="message", value=message)

print(f"Produced message: {message}")

Hiermee input_notebook.ipynb wordt de waarde opgehaald van de parameter received_message, die is ingesteld in de configuratie voor de taak:

# This notebook receives the message as a parameter.

dbutils.widgets.text("received_message", "")
received_message = dbutils.widgets.get("received_message")

print(f"Received message: {received_message}")

Taakinstellingen

Deze sectie bevat instellingen en voorbeelden voor elk taaktype.

Notitiebloktaak schone ruimte

De taak 'notitieblok voor schone ruimten' voert een notitieblok voor schone ruimten uit wanneer het clean_rooms_notebook_task veld aanwezig is. Zie Wat is Azure Databricks Clean Rooms? voor informatie over schone ruimten.

De volgende sleutels zijn beschikbaar voor een notitiebloktaak voor schone ruimten. Zie clean_rooms_notebook_task voor de bijbehorende REST API-objectdefinitie.

Voorwaardetaak

Met de condition_task kunt u een taak toevoegen met if/else-voorwaardelijke logica aan uw taak. De taak evalueert een voorwaarde die kan worden gebruikt om de uitvoering van andere taken te beheren. De voorwaardetaak vereist geen cluster om uit te voeren en biedt geen ondersteuning voor nieuwe pogingen of meldingen. Zie Vertakkingslogica toevoegen aan een taak met de if/else-taak voor meer informatie over de if/else-taak.

De volgende sleutels zijn beschikbaar voor een voorwaardetaak. Zie condition_task voor de bijbehorende REST API-objectdefinitie.

Voorbeelden

Het volgende voorbeeld bevat een voorwaardetaak en een notebooktaak, waarbij de notebooktaak alleen wordt uitgevoerd als het aantal taakreparaties kleiner is dan 5.

resources:
  jobs:
    my-job:
      name: my-job
      tasks:
        - task_key: condition_task
          condition_task:
            op: LESS_THAN
            left: '{{job.repair_count}}'
            right: '5'
        - task_key: notebook_task
          depends_on:
            - task_key: condition_task
              outcome: 'true'
          notebook_task:
            notebook_path: ../src/notebook.ipynb

Dashboard taak

U gebruikt deze taak om een dashboard te vernieuwen en een momentopname naar abonnees te verzenden. Zie het dashboard voor meer informatie over dashboards in bundels.

De volgende sleutels zijn beschikbaar voor een dashboardtaak. Zie dashboard_task voor de bijbehorende REST API-objectdefinitie.

Voorbeelden

In het volgende voorbeeld wordt een dashboardtaak aan een taak toegevoegd. Wanneer de taak wordt uitgevoerd, wordt het dashboard met de opgegeven id vernieuwd.

resources:
  jobs:
    my-dashboard-job:
      name: my-dashboard-job
      tasks:
        - task_key: my-dashboard-task
          dashboard_task:
            dashboard_id: 11111111-1111-1111-1111-111111111111

dbt-taak

U gebruikt deze taak om een of meer dbt-opdrachten uit te voeren. Zie Verbinding maken met dbt Cloud voor meer informatie over dbt.

De volgende sleutels zijn beschikbaar voor een dbt-taak. Zie dbt_task voor de bijbehorende REST API-objectdefinitie.

Voorbeelden

In het volgende voorbeeld wordt een dbt-taak aan een taak toegevoegd. Deze dbt-taak maakt gebruik van het opgegeven SQL-warehouse om de opgegeven dbt-opdrachten uit te voeren.

Als u de id van een SQL Warehouse wilt ophalen, opent u de instellingenpagina van het SQL-magazijn en kopieert u de id tussen haakjes achter de naam van het magazijn in het veld Naam op het tabblad Overzicht .

resources:
  jobs:
    my-dbt-job:
      name: my-dbt-job
      tasks:
        - task_key: my-dbt-task
          dbt_task:
            commands:
              - 'dbt deps'
              - 'dbt seed'
              - 'dbt run'
            project_directory: /Users/someone@example.com/Testing
            warehouse_id: 1a111111a1111aa1
          libraries:
            - pypi:
                package: 'dbt-databricks>=1.0.0,<2.0.0'

Voor elke taak

Met de for_each_task kunt u een taak met een 'for each'-lus aan uw opdracht toevoegen. De taak voert een geneste taak uit voor elke gegeven invoer. Zie voor meer informatie over de for_each_task. Gebruik een For each-taak om een andere taak in een lus uit te voeren.

De volgende sleutels zijn beschikbaar voor een for_each_task. Zie for_each_task voor de bijbehorende REST API-objectdefinitie.

Voorbeelden

In het volgende voorbeeld wordt een for_each_task aan een taak toegevoegd, waarbij deze de waarden van een andere taak doorloopt en verwerkt.

resources:
  jobs:
    my_job:
      name: my_job
      tasks:
        - task_key: generate_countries_list
          notebook_task:
            notebook_path: ../src/generate_countries_list.ipnyb
        - task_key: process_countries
          depends_on:
            - task_key: generate_countries_list
          for_each_task:
            inputs: '{{tasks.generate_countries_list.values.countries}}'
            task:
              task_key: process_countries_iteration
              notebook_task:
                notebook_path: ../src/process_countries_notebook.ipnyb

JAR-taak

U gebruikt deze taak om een JAR uit te voeren. U kunt verwijzen naar lokale JAR-bibliotheken of bibliotheken in een werkruimte, een Unity Catalog-volume of een externe cloudopslaglocatie. Zie het JAR-bestand (Java of Scala).

Zie zelfstudie: Scala-code uitvoeren op serverloze compute voor meer informatie over het compileren en implementeren van Scala JAR-bestanden op een cluster met Unity Catalog in de standaardtoegangsmodus.

De volgende sleutels zijn beschikbaar voor een JAR-taak. Zie jar_task voor de bijbehorende REST API-objectdefinitie.

Voorbeelden

In het volgende voorbeeld wordt een JAR-taak aan een taak toegevoegd. Het pad voor de JAR is naar een volumelocatie.

resources:
  jobs:
    my-jar-job:
      name: my-jar-job
      tasks:
        - task_key: my-jar-task
          spark_jar_task:
            main_class_name: org.example.com.Main
          libraries:
            - jar: /Volumes/main/default/my-volume/my-project-0.1.0-SNAPSHOT.jar

Notebook-taak

U gebruikt deze taak om een notitieboek uit te voeren. Zie Notebook-taak voor opdrachten.

De volgende sleutels zijn beschikbaar voor een notebook-taak. Zie notebook_task voor de bijbehorende REST API-objectdefinitie.

Voorbeelden

In het volgende voorbeeld wordt een notebooktaak aan een taak toegevoegd en wordt een taakparameter met de naam my_job_run_idingesteld. Het pad voor de te implementeren notebook is relatief ten opzichte van het configuratiebestand waarin deze taak wordt gespecificeerd. De taak haalt het notebook op vanaf de geïmplementeerde locatie in de Azure Databricks-werkruimte.

resources:
  jobs:
    my-notebook-job:
      name: my-notebook-job
      tasks:
        - task_key: my-notebook-task
          notebook_task:
            notebook_path: ./my-notebook.ipynb
      parameters:
        - name: my_job_run_id
          default: '{{job.run_id}}'

Pijplijntaak

U gebruikt deze taak om een pijplijn uit te voeren. Zie declaratieve pijplijnen van Lakeflow Spark.

De volgende sleutels zijn beschikbaar voor een pijplijntaak. Zie pipeline_task voor de bijbehorende REST API-objectdefinitie.

Voorbeelden

In het volgende voorbeeld wordt een pijplijntaak aan een taak toegevoegd. Met deze taak wordt de opgegeven pijplijn uitgevoerd.

resources:
  jobs:
    my-pipeline-job:
      name: my-pipeline-job
      tasks:
        - task_key: my-pipeline-task
          pipeline_task:
            pipeline_id: 11111111-1111-1111-1111-111111111111

Power BI-taak

Gebruik deze taak om een vernieuwing van een semantisch Power BI-model (voorheen een gegevensset genoemd) te activeren.

De volgende sleutels zijn beschikbaar voor een Power BI-taak. Zie power_bi_task voor de bijbehorende REST API-objectdefinitie.

Voorbeelden

In het volgende voorbeeld wordt een Power BI-taak gedefinieerd, waarmee een verbinding wordt opgegeven, het Power BI-model dat moet worden bijgewerkt en de Databricks-tabel die moet worden geëxporteerd.

resources:
  jobs:
    my_job:
      name: my_job
      tasks:
        - task_key: power_bi_task
          power_bi_task:
            connection_resource_name: 'connection_name'
            power_bi_model:
              workspace_name: 'workspace_name'
              model_name: 'model_name'
              storage_mode: 'DIRECT_QUERY'
              authentication_method: 'OAUTH'
              overwrite_existing: false
            refresh_after_update: false
            tables:
              - catalog: 'main'
                schema: 'tpch'
                name: 'customers'
                storage_mode: 'DIRECT_QUERY'
            warehouse_id: '1a111111a1111aa1'

Python-script taak

U gebruikt deze taak om een Python-bestand uit te voeren.

De volgende sleutels zijn beschikbaar voor een Python-scripttaak. Zie python_task voor de bijbehorende REST API-objectdefinitie.

Voorbeelden

In het volgende voorbeeld wordt een Python-scripttaak aan een taak toegevoegd. Het pad voor het te implementeren Python-bestand is relatief ten opzichte van het configuratiebestand waarin deze taak wordt gedeclareerd. De taak haalt het Python-bestand op van de geïmplementeerde locatie in de Azure Databricks-werkruimte.

resources:
  jobs:
    my-python-script-job:
      name: my-python-script-job

      tasks:
        - task_key: my-python-script-task
          spark_python_task:
            python_file: ./my-script.py

Pythonwieltaak

U gebruikt deze taak om een Python-wiel uit te voeren. Zie Een Python-wielbestand bouwen met behulp van Databricks Asset Bundles.

De volgende sleutels zijn beschikbaar voor een Python-wieltaak. Zie python_wheel_task voor de bijbehorende REST API-objectdefinitie.

Voorbeelden

In het volgende voorbeeld wordt een Python-wieltaak aan een taak toegevoegd. Het pad voor het Python-wielbestand dat moet worden geïmplementeerd, is relatief ten opzichte van het configuratiebestand waarin deze taak wordt gedeclareerd. Zie bibliotheekafhankelijkheden van Databricks Asset Bundles.

resources:
  jobs:
    my-python-wheel-job:
      name: my-python-wheel-job
      tasks:
        - task_key: my-python-wheel-task
          python_wheel_task:
            entry_point: run
            package_name: my_package
          libraries:
            - whl: ./my_package/dist/my_package-*.whl

Taaktaak uitvoeren

U gebruikt deze taak om een andere taak uit te voeren.

De volgende sleutels zijn beschikbaar voor een taaktaak uitvoeren. Zie run_job_task voor de bijbehorende REST API-objectdefinitie.

Voorbeelden

Het volgende voorbeeld bevat een uitvoeringstaak in de tweede taak die de eerste taak afhandelt.

In dit voorbeeld wordt een substitutie gebruikt om de ID van de uit te voeren taak op te halen. Als u de id van een taak wilt ophalen uit de gebruikersinterface, opent u de taak in de werkruimte en kopieert u de id van de taak-id op het tabblad Taakgegevens van de pagina Instellingen van de taken.

resources:
  jobs:
    my-first-job:
      name: my-first-job
      tasks:
        - task_key: my-first-job-task
          new_cluster:
            spark_version: '13.3.x-scala2.12'
            node_type_id: 'i3.xlarge'
            num_workers: 2
          notebook_task:
            notebook_path: ./src/test.py
    my_second_job:
      name: my-second-job
      tasks:
        - task_key: my-second-job-task
          run_job_task:
            job_id: ${resources.jobs.my-first-job.id}

SQL-taak

U gebruikt deze taak om een SQL-bestand, query of waarschuwing uit te voeren.

De volgende sleutels zijn beschikbaar voor een SQL-taak. Zie sql_task voor de bijbehorende REST API-objectdefinitie.

Voorbeelden

In het volgende voorbeeld wordt een SQL-bestandstaak aan een taak toegevoegd. Deze SQL-bestandstaak maakt gebruik van het opgegeven SQL-warehouse om het opgegeven SQL-bestand uit te voeren.

resources:
  jobs:
    my-sql-file-job:
      name: my-sql-file-job
      tasks:
        - task_key: my-sql-file-task
          sql_task:
            file:
              path: /Users/someone@example.com/hello-world.sql
              source: WORKSPACE
            warehouse_id: 1a111111a1111aa1

In het volgende voorbeeld wordt een SQL-waarschuwingstaak aan een taak toegevoegd. Deze SQL-waarschuwingstaak maakt gebruik van het opgegeven SQL-warehouse om de opgegeven SQL-waarschuwing te vernieuwen.

resources:
  jobs:
    my-sql-file-job:
      name: my-sql-alert-job
      tasks:
        - task_key: my-sql-alert-task
          sql_task:
            warehouse_id: 1a111111a1111aa1
            alert:
              alert_id: 11111111-1111-1111-1111-111111111111

In het volgende voorbeeld wordt een SQL-querytaak aan een taak toegevoegd. Deze SQL-querytaak maakt gebruik van het opgegeven SQL-warehouse om de opgegeven SQL-query uit te voeren.

resources:
  jobs:
    my-sql-query-job:
      name: my-sql-query-job
      tasks:
        - task_key: my-sql-query-task
          sql_task:
            warehouse_id: 1a111111a1111aa1
            query:
              query_id: 11111111-1111-1111-1111-111111111111

Andere taakinstellingen

Met de volgende taakinstellingen kunt u gedrag voor alle taken configureren. Zie taken voor de bijbehorende REST API-objectdefinities.