Adicionar tarefas a trabalhos no Databricks Asset Bundles

Esta página fornece informações sobre como definir tarefas de trabalho no Databricks Asset Bundles. Para obter informações sobre tarefas de trabalho, consulte Configurar e editar tarefas em trabalhos do Lakeflow.

Configurar tarefas

Defina tarefas para um trabalho em um pacote na tasks chave para a definição do trabalho. Exemplos de configuração de tarefas para os tipos de tarefas disponíveis estão na seção Configurações de tarefas . Para obter informações sobre como definir um trabalho em um pacote, consulte trabalho.

Para definir valores de tarefas, a maioria dos tipos de tarefas de trabalho tem parâmetros específicos de tarefas, mas você também pode definir parâmetros de trabalho que são passados para tarefas. As referências de valor dinâmico são suportadas para parâmetros de trabalho, que permitem a passagem de valores específicos para o trabalho executado entre tarefas. Para obter informações completas sobre como passar valores de tarefa por tipo de tarefa, consulte Detalhes por tipo de tarefa.

Você também pode substituir as configurações gerais de tarefas de trabalho por configurações para um espaço de trabalho de destino. Consulte Substituir com configurações de destino.

O exemplo de configuração a seguir define um trabalho com duas tarefas de bloco de anotações e passa um valor de tarefa da primeira tarefa para a segunda.

resources:
  jobs:
    pass_task_values_job:
      name: pass_task_values_job
      tasks:
        # Output task
        - task_key: output_value
          notebook_task:
            notebook_path: ../src/output_notebook.ipynb

        # Input task
        - task_key: input_value
          depends_on:
            - task_key: output_value
          notebook_task:
            notebook_path: ../src/input_notebook.ipynb
            base_parameters:
              received_message: '{{tasks.output_value.values.message}}'

O output_notebook.ipynb contém o seguinte código, que define um valor de tarefa para a message chave:

# Databricks notebook source
# This first task sets a simple output value.

message = "Hello from the first task"

# Set the message to be used by other tasks
dbutils.jobs.taskValues.set(key="message", value=message)

print(f"Produced message: {message}")

O input_notebook.ipynb recupera o valor do parâmetro received_message, que foi definido na configuração para a tarefa:

# This notebook receives the message as a parameter.

dbutils.widgets.text("received_message", "")
received_message = dbutils.widgets.get("received_message")

print(f"Received message: {received_message}")

Configurações de tarefas

Esta seção contém configurações e exemplos para cada tipo de tarefa de trabalho.

Tarefa do caderno de anotações de sala limpa

A tarefa de bloco de anotações de sala limpa executa um bloco de anotações de sala limpa quando o campo clean_rooms_notebook_task está presente. Para obter informações sobre salas limpas, consulte O que é o Azure Databricks Clean Rooms?.

As teclas a seguir estão disponíveis para uma tarefa de caderno de salas limpas. Para obter a definição de objeto da API REST correspondente, consulte clean_rooms_notebook_task.

Tarefa condicional

O condition_task permite que você adicione uma tarefa com lógica condicional if/else ao seu trabalho. A tarefa avalia uma condição que pode ser usada para controlar a execução de outras tarefas. A tarefa de condição não requer a execução de um cluster e não suporta novas tentativas ou notificações. Para obter mais informações sobre a tarefa de condição if/else, consulte Adicionar lógica de ramificação a um trabalho com a tarefa If/else.

As seguintes chaves estão disponíveis para uma tarefa condicional. Para obter a definição de objeto da API REST correspondente, consulte condition_task.

Examples

O exemplo a seguir contém uma tarefa de condição e uma tarefa de caderno de notas, em que a tarefa de caderno de notas apenas é executada se o número de reparações de trabalho for menor que 5.

resources:
  jobs:
    my-job:
      name: my-job
      tasks:
        - task_key: condition_task
          condition_task:
            op: LESS_THAN
            left: '{{job.repair_count}}'
            right: '5'
        - task_key: notebook_task
          depends_on:
            - task_key: condition_task
              outcome: 'true'
          notebook_task:
            notebook_path: ../src/notebook.ipynb

Tarefa do painel de controlo

Use essa tarefa para atualizar um painel e enviar um instantâneo para os assinantes. Para obter mais informações sobre os dashboards em pacotes, consulte dashboard.

As chaves a seguir estão disponíveis para uma tarefa de painel. Para obter a definição de objeto da API REST correspondente, consulte dashboard_task.

Examples

O exemplo a seguir adiciona uma tarefa de painel a um trabalho. Quando o trabalho é executado, o painel com a ID especificada é atualizado.

resources:
  jobs:
    my-dashboard-job:
      name: my-dashboard-job
      tasks:
        - task_key: my-dashboard-task
          dashboard_task:
            dashboard_id: 11111111-1111-1111-1111-111111111111

Tarefa DBT

Use essa tarefa para executar um ou mais comandos dbt. Para obter mais informações sobre dbt, consulte Connect to dbt Cloud.

As chaves a seguir estão disponíveis para uma tarefa dbt. Para obter a definição de objeto da API REST correspondente, consulte dbt_task.

Examples

O exemplo a seguir adiciona uma tarefa dbt a um trabalho. Esta tarefa dbt usa o SQL warehouse especificado para executar os comandos dbt especificados.

Para obter a ID de um armazém SQL, abra a página de definições do armazém SQL e, em seguida, copie o ID encontrado entre parênteses após o nome do armazém no campo Nome no separador Descrição Geral .

resources:
  jobs:
    my-dbt-job:
      name: my-dbt-job
      tasks:
        - task_key: my-dbt-task
          dbt_task:
            commands:
              - 'dbt deps'
              - 'dbt seed'
              - 'dbt run'
            project_directory: /Users/someone@example.com/Testing
            warehouse_id: 1a111111a1111aa1
          libraries:
            - pypi:
                package: 'dbt-databricks>=1.0.0,<2.0.0'

Para cada tarefa

O for_each_task permite que você adicione uma tarefa com um para cada loop ao seu trabalho. A tarefa executa uma tarefa aninhada para cada dado de entrada fornecido. Para obter mais informações sobre o for_each_task, consulte Usar uma tarefa For each para executar outra tarefa em um loop.

A seguinte chave está disponível para um for_each_taskarquivo. Para obter a definição de objeto da API REST correspondente, consulte for_each_task.

Examples

O exemplo a seguir adiciona um for_each_task a um trabalho, onde ele faz um loop sobre os valores de outra tarefa e os processa.

resources:
  jobs:
    my_job:
      name: my_job
      tasks:
        - task_key: generate_countries_list
          notebook_task:
            notebook_path: ../src/generate_countries_list.ipnyb
        - task_key: process_countries
          depends_on:
            - task_key: generate_countries_list
          for_each_task:
            inputs: '{{tasks.generate_countries_list.values.countries}}'
            task:
              task_key: process_countries_iteration
              notebook_task:
                notebook_path: ../src/process_countries_notebook.ipnyb

Tarefa JAR

Use essa tarefa para executar um JAR. Você pode fazer referência a bibliotecas JAR locais ou aquelas em um espaço de trabalho, num volume do Catálogo Unity ou num local de armazenamento em nuvem externo. Consulte Arquivo JAR (Java ou Scala).

Para obter detalhes sobre como compilar e implantar arquivos JAR Scala em um cluster habilitado para catálogo Unity no modo de acesso padrão, consulte Tutorial: Executar código Scala em computação sem servidor.

As chaves a seguir estão disponíveis para uma tarefa JAR. Para obter a definição de objeto da API REST correspondente, consulte jar_task.

Examples

O exemplo a seguir adiciona uma tarefa JAR a um trabalho. O caminho para o JAR leva a uma localização de volume.

resources:
  jobs:
    my-jar-job:
      name: my-jar-job
      tasks:
        - task_key: my-jar-task
          spark_jar_task:
            main_class_name: org.example.com.Main
          libraries:
            - jar: /Volumes/main/default/my-volume/my-project-0.1.0-SNAPSHOT.jar

Tarefa do caderno

Use essa tarefa para executar um bloco de anotações. Veja a tarefa do caderno de anotações para tarefas.

As teclas a seguir estão disponíveis para uma tarefa num portátil. Para obter a definição de objeto da API REST correspondente, consulte notebook_task.

Examples

O exemplo a seguir adiciona uma tarefa de bloco de anotações a um trabalho e define um parâmetro de trabalho chamado my_job_run_id. O caminho para a implantação do notebook é relativo ao arquivo de configuração no qual a tarefa é declarada. A tarefa obtém o notebook do local onde está implantado no espaço de trabalho do Azure Databricks.

resources:
  jobs:
    my-notebook-job:
      name: my-notebook-job
      tasks:
        - task_key: my-notebook-task
          notebook_task:
            notebook_path: ./my-notebook.ipynb
      parameters:
        - name: my_job_run_id
          default: '{{job.run_id}}'

Tarefa de pipeline

Você usa esta tarefa para executar um pipeline. Veja Lakeflow Spark Declarative Pipelines.

As chaves a seguir estão disponíveis para uma tarefa de pipeline. Para obter a definição de objeto da API REST correspondente, consulte pipeline_task.

Examples

O exemplo a seguir adiciona uma tarefa de pipeline a um trabalho. Esta tarefa executa o pipeline especificado.

resources:
  jobs:
    my-pipeline-job:
      name: my-pipeline-job
      tasks:
        - task_key: my-pipeline-task
          pipeline_task:
            pipeline_id: 11111111-1111-1111-1111-111111111111

Tarefa do Power BI

Use esta tarefa para disparar uma atualização de um modelo semântico do Power BI (anteriormente conhecido como conjunto de dados).

As chaves a seguir estão disponíveis para uma tarefa do Power BI. Para obter a definição de objeto da API REST correspondente, consulte power_bi_task.

Examples

O exemplo a seguir define uma tarefa do Power BI, que especifica uma conexão, o modelo do Power BI a ser atualizado e a tabela Databricks a ser exportada.

resources:
  jobs:
    my_job:
      name: my_job
      tasks:
        - task_key: power_bi_task
          power_bi_task:
            connection_resource_name: 'connection_name'
            power_bi_model:
              workspace_name: 'workspace_name'
              model_name: 'model_name'
              storage_mode: 'DIRECT_QUERY'
              authentication_method: 'OAUTH'
              overwrite_existing: false
            refresh_after_update: false
            tables:
              - catalog: 'main'
                schema: 'tpch'
                name: 'customers'
                storage_mode: 'DIRECT_QUERY'
            warehouse_id: '1a111111a1111aa1'

Tarefa de script Python

Use esta tarefa para executar um arquivo Python.

As chaves a seguir estão disponíveis para uma tarefa de script Python. Para obter a definição de objeto da API REST correspondente, consulte python_task.

Examples

O exemplo a seguir adiciona uma tarefa de script Python a um trabalho. O caminho para o arquivo Python ser implantado é relativo ao arquivo de configuração no qual essa tarefa é declarada. A tarefa obtém o arquivo Python do local em que foi implantado no workspace do Azure Databricks.

resources:
  jobs:
    my-python-script-job:
      name: my-python-script-job

      tasks:
        - task_key: my-python-script-task
          spark_python_task:
            python_file: ./my-script.py

Tarefa de roda Python

Use esta tarefa para executar uma roda Python. Consulte Criar um arquivo de roda Python usando Databricks Asset Bundles.

As teclas a seguir estão disponíveis para uma tarefa de roda do Python. Para obter a definição de objeto da API REST correspondente, consulte python_wheel_task.

Examples

O exemplo a seguir adiciona uma tarefa de roda Python a um trabalho. O caminho para o ficheiro 'wheel' do Python que se pretende implementar é relativo ao ficheiro de configuração onde esta tarefa é declarada. Consulte Dependências da biblioteca Databricks Asset Bundles.

resources:
  jobs:
    my-python-wheel-job:
      name: my-python-wheel-job
      tasks:
        - task_key: my-python-wheel-task
          python_wheel_task:
            entry_point: run
            package_name: my_package
          libraries:
            - whl: ./my_package/dist/my_package-*.whl

Executar tarefa de trabalho

Use esta tarefa para executar outra tarefa.

As chaves a seguir estão disponíveis para uma tarefa de execução. Para obter a definição de objeto da API REST correspondente, consulte run_job_task.

Examples

O exemplo a seguir contém uma tarefa de execução no segundo trabalho que roda o primeiro trabalho.

Este exemplo utiliza uma substituição para obter o ID do trabalho a executar. Para obter o ID de um trabalho na UI, abra-o no espaço de trabalho e copie-o do valor ID do trabalho na guia Detalhes do trabalho nas configurações do trabalho.

resources:
  jobs:
    my-first-job:
      name: my-first-job
      tasks:
        - task_key: my-first-job-task
          new_cluster:
            spark_version: '13.3.x-scala2.12'
            node_type_id: 'i3.xlarge'
            num_workers: 2
          notebook_task:
            notebook_path: ./src/test.py
    my_second_job:
      name: my-second-job
      tasks:
        - task_key: my-second-job-task
          run_job_task:
            job_id: ${resources.jobs.my-first-job.id}

Tarefa SQL

Use essa tarefa para executar um arquivo SQL, consulta ou alerta.

As chaves a seguir estão disponíveis para uma tarefa SQL. Para obter a definição de objeto da API REST correspondente, consulte sql_task.

Examples

O exemplo a seguir adiciona uma tarefa de arquivo SQL a um trabalho. Esta tarefa de arquivo SQL usa o SQL warehouse especificado para executar o arquivo SQL especificado.

resources:
  jobs:
    my-sql-file-job:
      name: my-sql-file-job
      tasks:
        - task_key: my-sql-file-task
          sql_task:
            file:
              path: /Users/someone@example.com/hello-world.sql
              source: WORKSPACE
            warehouse_id: 1a111111a1111aa1

O exemplo a seguir adiciona uma tarefa de alerta SQL a um trabalho. Esta tarefa de alerta SQL usa o SQL warehouse especificado para atualizar o alerta SQL especificado.

resources:
  jobs:
    my-sql-file-job:
      name: my-sql-alert-job
      tasks:
        - task_key: my-sql-alert-task
          sql_task:
            warehouse_id: 1a111111a1111aa1
            alert:
              alert_id: 11111111-1111-1111-1111-111111111111

O exemplo a seguir adiciona uma tarefa de consulta SQL a um trabalho. Esta tarefa de consulta SQL usa o SQL warehouse especificado para executar a consulta SQL especificada.

resources:
  jobs:
    my-sql-query-job:
      name: my-sql-query-job
      tasks:
        - task_key: my-sql-query-task
          sql_task:
            warehouse_id: 1a111111a1111aa1
            query:
              query_id: 11111111-1111-1111-1111-111111111111

Outras configurações de tarefas

As seguintes definições de tarefas permitem-lhe configurar comportamentos para todas as tarefas. Para obter as definições de objeto da API REST correspondentes, consulte tarefas.