Adicionar tarefas a trabalhos em Databricks Asset Bundles

Esta página fornece informações sobre como definir tarefas de trabalho nos Pacotes de Ativos do Databricks. Para obter informações sobre tarefas de trabalho, consulte Configurar e editar tarefas em Trabalhos do Lakeflow.

Configurar tarefas

Defina tarefas para um trabalho em um pacote na tasks chave para a definição do trabalho. Exemplos de configuração de tarefa para os tipos de tarefa disponíveis estão na seção Configurações da tarefa. Para obter informações sobre como definir um trabalho em um pacote, consulte job.

Para definir valores de tarefa, a maioria dos tipos de tarefas possui parâmetros específicos de tarefas, mas você também pode definir parâmetros de trabalho que são passados para tarefas. Há suporte para referências de valor dinâmico para parâmetros de trabalho, que permitem a passagem de valores específicos para a execução do trabalho entre tarefas. Para obter informações completas sobre como passar valores de tarefa por tipo de tarefa, consulte Detalhes por tipo de tarefa.

Você também pode substituir as configurações gerais de tarefa de trabalho com configurações para um workspace de destino. Consulte Substituir com as configurações de destino.

A configuração de exemplo a seguir define um trabalho com duas tarefas de notebook e passa um valor de tarefa da primeira tarefa para a segunda tarefa.

resources:
  jobs:
    pass_task_values_job:
      name: pass_task_values_job
      tasks:
        # Output task
        - task_key: output_value
          notebook_task:
            notebook_path: ../src/output_notebook.ipynb

        # Input task
        - task_key: input_value
          depends_on:
            - task_key: output_value
          notebook_task:
            notebook_path: ../src/input_notebook.ipynb
            base_parameters:
              received_message: '{{tasks.output_value.values.message}}'

O output_notebook.ipynb contém o código a seguir, que define um valor de tarefa para a message chave:

# Databricks notebook source
# This first task sets a simple output value.

message = "Hello from the first task"

# Set the message to be used by other tasks
dbutils.jobs.taskValues.set(key="message", value=message)

print(f"Produced message: {message}")

Recupera input_notebook.ipynb o valor do parâmetro received_message, que foi definido na configuração da tarefa:

# This notebook receives the message as a parameter.

dbutils.widgets.text("received_message", "")
received_message = dbutils.widgets.get("received_message")

print(f"Received message: {received_message}")

Configurações de tarefa

Esta seção contém configurações e exemplos para cada tipo de tarefa de trabalho.

Tarefa limpar bloco de anotações de sala

A tarefa de notebook de sala limpa executa um notebook de salas limpas quando o campo clean_rooms_notebook_task está presente. Para obter informações sobre salas limpas, consulte o que são salas limpas do Azure Databricks?.

As chaves a seguir estão disponíveis para uma tarefa de notebook de salas limpas. Para obter a definição de objeto da API REST correspondente, consulte clean_rooms_notebook_task.

Tarefa condicional

O condition_task permite adicionar uma tarefa com a lógica condicional if/else ao seu trabalho. A tarefa avalia uma condição que pode ser usada para controlar a execução de outras tarefas. A tarefa de condição não requer que um cluster seja executado e não dá suporte a novas tentativas ou notificações. Para obter mais informações sobre a tarefa de condição if/else, consulte Adicionar lógica de ramificação a um trabalho com a tarefa If/else.

As chaves a seguir estão disponíveis para uma tarefa condicional. Para obter a definição de objeto da API REST correspondente, consulte condition_task.

Exemplos

O exemplo a seguir contém uma tarefa de condição e uma tarefa de notebook, em que a tarefa do notebook só é executada se o número de reparos de trabalho for menor que 5.

resources:
  jobs:
    my-job:
      name: my-job
      tasks:
        - task_key: condition_task
          condition_task:
            op: LESS_THAN
            left: '{{job.repair_count}}'
            right: '5'
        - task_key: notebook_task
          depends_on:
            - task_key: condition_task
              outcome: 'true'
          notebook_task:
            notebook_path: ../src/notebook.ipynb

Tarefa do painel de controle

Você usa essa tarefa para atualizar um painel e enviar um instantâneo aos assinantes. Para obter mais informações sobre dashboards em conjuntos, consulte o dashboard.

As chaves a seguir estão disponíveis para uma tarefa de painel. Para obter a definição de objeto da API REST correspondente, consulte dashboard_task.

Exemplos

O exemplo a seguir adiciona uma tarefa de painel a um trabalho. Quando o trabalho é executado, o painel com a ID especificada é atualizado.

resources:
  jobs:
    my-dashboard-job:
      name: my-dashboard-job
      tasks:
        - task_key: my-dashboard-task
          dashboard_task:
            dashboard_id: 11111111-1111-1111-1111-111111111111

tarefa dbt

Use essa tarefa para executar um ou mais comandos dbt. Para obter mais informações sobre o dbt, consulte Conectar-se ao dbt Cloud.

As chaves a seguir estão disponíveis para uma tarefa dbt. Para obter a definição de objeto da API REST correspondente, consulte dbt_task.

Exemplos

O exemplo a seguir adiciona uma tarefa dbt a um trabalho. Essa tarefa dbt usa o SQL Warehouse especificado para executar os comandos dbt especificados.

Para obter a ID de um sql warehouse, abra a página de configurações do SQL Warehouse e copie a ID encontrada entre parênteses após o nome do warehouse no campo Nome na guia Visão Geral .

resources:
  jobs:
    my-dbt-job:
      name: my-dbt-job
      tasks:
        - task_key: my-dbt-task
          dbt_task:
            commands:
              - 'dbt deps'
              - 'dbt seed'
              - 'dbt run'
            project_directory: /Users/someone@example.com/Testing
            warehouse_id: 1a111111a1111aa1
          libraries:
            - pypi:
                package: 'dbt-databricks>=1.0.0,<2.0.0'

Para cada tarefa

for_each_task permite que você adicione uma tarefa com um loop para cada loop ao seu trabalho. A tarefa executa uma tarefa aninhada para cada entrada fornecida. Para obter mais informações sobre o for_each_task, consulte Usar uma For each tarefa para executar outra tarefa em um loop.

As chaves a seguir estão disponíveis para um for_each_task. Para obter a definição de objeto da API REST correspondente, consulte for_each_task.

Exemplos

O exemplo a seguir adiciona uma for_each_task a um trabalho, em que ele faz um loop sobre os valores de outra tarefa e os processa.

resources:
  jobs:
    my_job:
      name: my_job
      tasks:
        - task_key: generate_countries_list
          notebook_task:
            notebook_path: ../src/generate_countries_list.ipnyb
        - task_key: process_countries
          depends_on:
            - task_key: generate_countries_list
          for_each_task:
            inputs: '{{tasks.generate_countries_list.values.countries}}'
            task:
              task_key: process_countries_iteration
              notebook_task:
                notebook_path: ../src/process_countries_notebook.ipnyb

Tarefa JAR

Use essa tarefa para executar um JAR. Você pode referenciar bibliotecas JAR locais ou aquelas em um espaço de trabalho, um volume do Catálogo do Unity ou um local de armazenamento em nuvem externo. Consulte o arquivo JAR (Java ou Scala).

Para obter detalhes sobre como compilar e implantar arquivos JAR do Scala em um cluster habilitado para Catálogo do Unity no modo de acesso padrão, consulte Tutorial: Executar código Scala na computação sem servidor.

As chaves a seguir estão disponíveis para uma tarefa JAR. Para obter a definição de objeto da API REST correspondente, consulte jar_task.

Exemplos

O exemplo a seguir adiciona uma tarefa do JAR a um trabalho. O caminho do JAR leva a um local de volume.

resources:
  jobs:
    my-jar-job:
      name: my-jar-job
      tasks:
        - task_key: my-jar-task
          spark_jar_task:
            main_class_name: org.example.com.Main
          libraries:
            - jar: /Volumes/main/default/my-volume/my-project-0.1.0-SNAPSHOT.jar

Tarefa do notebook

Use essa tarefa para executar um notebook. Consulte Tarefa de Notebook para trabalhos.

As chaves a seguir estão disponíveis para uma tarefa de notebook. Para obter a definição de objeto da API REST correspondente, consulte notebook_task.

Exemplos

O exemplo a seguir adiciona uma tarefa de notebook a um trabalho e define um parâmetro de trabalho chamado my_job_run_id. O caminho para o notebook implantar é relativo ao arquivo de configuração no qual essa tarefa é declarada. A tarefa recebe o notebook do local implantado no workspace do Azure Databricks.

resources:
  jobs:
    my-notebook-job:
      name: my-notebook-job
      tasks:
        - task_key: my-notebook-task
          notebook_task:
            notebook_path: ./my-notebook.ipynb
      parameters:
        - name: my_job_run_id
          default: '{{job.run_id}}'

Tarefa do pipeline

Você usa essa tarefa para executar um pipeline. Consulte Pipelines Declarativos do Lakeflow Spark.

As chaves a seguir estão disponíveis para uma tarefa de pipeline. Para obter a definição de objeto da API REST correspondente, consulte pipeline_task.

Exemplos

O exemplo a seguir adiciona uma tarefa de pipeline a um trabalho. Essa tarefa executa o pipeline especificado.

resources:
  jobs:
    my-pipeline-job:
      name: my-pipeline-job
      tasks:
        - task_key: my-pipeline-task
          pipeline_task:
            pipeline_id: 11111111-1111-1111-1111-111111111111

Tarefa do Power BI

Use essa tarefa para disparar uma atualização de um modelo semântico do Power BI (anteriormente conhecido como um conjunto de dados).

As chaves a seguir estão disponíveis para uma tarefa do Power BI. Para obter a definição de objeto da API REST correspondente, consulte power_bi_task.

Exemplos

O exemplo a seguir define uma tarefa do Power BI, que especifica uma conexão, o modelo do Power BI a ser atualizado e a tabela do Databricks a ser exportada.

resources:
  jobs:
    my_job:
      name: my_job
      tasks:
        - task_key: power_bi_task
          power_bi_task:
            connection_resource_name: 'connection_name'
            power_bi_model:
              workspace_name: 'workspace_name'
              model_name: 'model_name'
              storage_mode: 'DIRECT_QUERY'
              authentication_method: 'OAUTH'
              overwrite_existing: false
            refresh_after_update: false
            tables:
              - catalog: 'main'
                schema: 'tpch'
                name: 'customers'
                storage_mode: 'DIRECT_QUERY'
            warehouse_id: '1a111111a1111aa1'

Tarefa de script em Python

Use essa tarefa para executar um arquivo Python.

As chaves a seguir estão disponíveis para uma tarefa de script python. Para obter a definição de objeto da API REST correspondente, consulte python_task.

Exemplos

O exemplo a seguir adiciona uma tarefa de script Python a um trabalho. O caminho do arquivo Python para ser implantado é relativo ao arquivo de configuração no qual esta tarefa é declarada. A tarefa obtém o arquivo Python da sua localização implantada no workspace do Azure Databricks.

resources:
  jobs:
    my-python-script-job:
      name: my-python-script-job

      tasks:
        - task_key: my-python-script-task
          spark_python_task:
            python_file: ./my-script.py

Tarefa de wheel em Python

Você usa essa tarefa para executar uma roda do Python. Consulte Criar um arquivo de roda do Python usando pacotes de ativos do Databricks.

As chaves a seguir estão disponíveis para uma tarefa de roda do Python. Para obter a definição de objeto da API REST correspondente, consulte python_wheel_task.

Exemplos

O exemplo a seguir adiciona uma tarefa de wheel em Python a um trabalho. O caminho para o arquivo wheel do Python implantar é relativo ao arquivo de configuração no qual essa tarefa é declarada. Confira Dependências da biblioteca de Pacotes de Ativos do Databricks.

resources:
  jobs:
    my-python-wheel-job:
      name: my-python-wheel-job
      tasks:
        - task_key: my-python-wheel-task
          python_wheel_task:
            entry_point: run
            package_name: my_package
          libraries:
            - whl: ./my_package/dist/my_package-*.whl

Executar tarefa de trabalho

Use essa tarefa para executar outro trabalho.

As chaves a seguir estão disponíveis para uma tarefa de trabalho de execução. Para obter a definição de objeto da API REST correspondente, consulte run_job_task.

Exemplos

O exemplo a seguir contém uma tarefa de execução de trabalho no segundo trabalho que executa o primeiro trabalho.

Esse exemplo usa uma substituição para recuperar o identificador da tarefa a ser executada. Para obter a ID de um trabalho na interface do usuário, abra o trabalho no espaço de trabalho e copie a ID do valor da ID do trabalho na guia Detalhes do trabalho na página de configurações do trabalho.

resources:
  jobs:
    my-first-job:
      name: my-first-job
      tasks:
        - task_key: my-first-job-task
          new_cluster:
            spark_version: '13.3.x-scala2.12'
            node_type_id: 'i3.xlarge'
            num_workers: 2
          notebook_task:
            notebook_path: ./src/test.py
    my_second_job:
      name: my-second-job
      tasks:
        - task_key: my-second-job-task
          run_job_task:
            job_id: ${resources.jobs.my-first-job.id}

Tarefa SQL

Você usa essa tarefa para executar um arquivo SQL, uma consulta ou um alerta.

As chaves a seguir estão disponíveis para uma tarefa SQL. Para obter a definição de objeto da API REST correspondente, consulte sql_task.

Exemplos

O exemplo a seguir adiciona uma tarefa de arquivo SQL a um trabalho. Essa tarefa de arquivo SQL usa o SQL Warehouse especificado para executar o arquivo SQL especificado.

resources:
  jobs:
    my-sql-file-job:
      name: my-sql-file-job
      tasks:
        - task_key: my-sql-file-task
          sql_task:
            file:
              path: /Users/someone@example.com/hello-world.sql
              source: WORKSPACE
            warehouse_id: 1a111111a1111aa1

O exemplo a seguir adiciona uma tarefa de alerta SQL a um trabalho. Essa tarefa de alerta SQL usa o SQL Warehouse especificado para atualizar o alerta SQL especificado.

resources:
  jobs:
    my-sql-file-job:
      name: my-sql-alert-job
      tasks:
        - task_key: my-sql-alert-task
          sql_task:
            warehouse_id: 1a111111a1111aa1
            alert:
              alert_id: 11111111-1111-1111-1111-111111111111

O exemplo a seguir adiciona uma tarefa de consulta SQL a um trabalho. Essa tarefa de consulta SQL usa o SQL Warehouse especificado para executar a consulta SQL especificada.

resources:
  jobs:
    my-sql-query-job:
      name: my-sql-query-job
      tasks:
        - task_key: my-sql-query-task
          sql_task:
            warehouse_id: 1a111111a1111aa1
            query:
              query_id: 11111111-1111-1111-1111-111111111111

Outras configurações de tarefa

As configurações de tarefa a seguir permitem que você configure comportamentos para todas as tarefas. Para obter as definições de objeto da API REST correspondentes, consulte as tarefas.