Ajouter des tâches à des travaux dans les packs de ressources Databricks

Cette page fournit des informations sur la façon de définir des tâches de travail dans databricks Asset Bundles. Pour plus d’informations sur les tâches de travail, consultez Configurer et modifier des tâches dans Les travaux Lakeflow.

Configurer les tâches

Définissez les tâches d'un job dans un ensemble dans la clé tasks de la définition du job. Voici quelques exemples de configuration de tâche pour les types de tâches disponibles dans la section Paramètres de la tâche . Pour plus d’informations sur la définition d’une tâche dans un ensemble, consultez tâche.

Pour définir des valeurs de tâche, la plupart des types de tâches ont des paramètres spécifiques à la tâche, mais vous pouvez également définir des paramètres de travail qui sont passés aux tâches. Les références de valeurs dynamiques sont prises en charge pour les paramètres de travail, qui permettent de transmettre des valeurs spécifiques au travail exécuté entre les tâches. Pour obtenir des informations complètes sur la façon de transmettre des valeurs de tâche par type de tâche, consultez Détails par type de tâche.

Vous pouvez également remplacer les paramètres généraux des tâches de travail avec les paramètres d’un espace de travail cible. Consultez Remplacer par les paramètres cibles.

L'exemple de configuration suivant définit un job avec deux tâches de bloc-notes et passe une valeur de la première tâche à la deuxième tâche.

resources:
  jobs:
    pass_task_values_job:
      name: pass_task_values_job
      tasks:
        # Output task
        - task_key: output_value
          notebook_task:
            notebook_path: ../src/output_notebook.ipynb

        # Input task
        - task_key: input_value
          depends_on:
            - task_key: output_value
          notebook_task:
            notebook_path: ../src/input_notebook.ipynb
            base_parameters:
              received_message: '{{tasks.output_value.values.message}}'

Le output_notebook.ipynb contient le code suivant, qui définit une valeur de tâche pour la clé message :

# Databricks notebook source
# This first task sets a simple output value.

message = "Hello from the first task"

# Set the message to be used by other tasks
dbutils.jobs.taskValues.set(key="message", value=message)

print(f"Produced message: {message}")

Récupère input_notebook.ipynb la valeur du paramètre received_message, qui a été définie dans la configuration de la tâche :

# This notebook receives the message as a parameter.

dbutils.widgets.text("received_message", "")
received_message = dbutils.widgets.get("received_message")

print(f"Received message: {received_message}")

Paramètres de tâche

Cette section contient des paramètres et des exemples pour chaque type de tâche de travail.

Tâche de bloc-notes de salle propre

La tâche de bloc-notes de salle propre exécute un bloc-notes salle propre lorsque le clean_rooms_notebook_task champ est présent. Pour plus d’informations sur les salles propres, consultez Qu’est-ce qu’Azure Databricks Clean Rooms ?.

Les clés suivantes sont disponibles pour une tâche de bloc-notes de salles propres. Pour obtenir la définition d’objet DE l’API REST correspondante, consultez clean_rooms_notebook_task.

Tâche conditionnelle

Le condition_task vous permet d’ajouter une tâche avec une logique conditionnelle if/else à votre travail. La tâche évalue une condition qui peut être utilisée pour contrôler l’exécution d’autres tâches. La tâche de condition n’exige pas de cluster pour être exécutée et ne prend pas en charge les tentatives ou les notifications. Pour plus d’informations sur la tâche de condition if/else, consultez Ajouter une logique de branchement à un travail avec la tâche If/else.

Les clés suivantes sont disponibles pour une tâche conditionnelle. Pour obtenir la définition d’objet DE l’API REST correspondante, consultez condition_task.

Examples

L’exemple suivant contient une tâche de condition et une tâche de notebook, où la tâche de notebook s’exécute uniquement si le nombre de réparations de travaux est inférieur à 5.

resources:
  jobs:
    my-job:
      name: my-job
      tasks:
        - task_key: condition_task
          condition_task:
            op: LESS_THAN
            left: '{{job.repair_count}}'
            right: '5'
        - task_key: notebook_task
          depends_on:
            - task_key: condition_task
              outcome: 'true'
          notebook_task:
            notebook_path: ../src/notebook.ipynb

Tâche de tableau de bord

Vous utilisez cette tâche pour actualiser un tableau de bord et envoyer un instantané aux abonnés. Pour plus d’informations sur les tableaux de bord dans les offres groupées, consultez tableau de bord.

Les clés suivantes sont disponibles pour une tâche de tableau de bord. Pour obtenir la définition d’objet API REST correspondante, consultez dashboard_task.

Examples

L’exemple suivant ajoute une tâche de tableau de bord à un travail. Lorsque le travail est exécuté, le tableau de bord avec l’ID spécifié est actualisé.

resources:
  jobs:
    my-dashboard-job:
      name: my-dashboard-job
      tasks:
        - task_key: my-dashboard-task
          dashboard_task:
            dashboard_id: 11111111-1111-1111-1111-111111111111

Tâche dbt

Vous utilisez cette tâche pour exécuter une ou plusieurs commandes dbt. Pour plus d’informations sur dbt, consultez Se connecter à dbt Cloud.

Les clés suivantes sont disponibles pour une tâche dbt. Pour obtenir la définition d’objet DE l’API REST correspondante, consultez dbt_task.

Examples

L’exemple suivant ajoute une tâche dbt à un travail. Cette tâche dbt utilise l’entrepôt SQL spécifié pour exécuter les commandes dbt spécifiées.

Pour obtenir l’ID d’un entrepôt SQL, ouvrez la page des paramètres de l’entrepôt SQL, puis copiez l’ID trouvé entre parenthèses après le nom de l’entrepôt dans le champ Nom sous l’onglet Vue d’ensemble .

resources:
  jobs:
    my-dbt-job:
      name: my-dbt-job
      tasks:
        - task_key: my-dbt-task
          dbt_task:
            commands:
              - 'dbt deps'
              - 'dbt seed'
              - 'dbt run'
            project_directory: /Users/someone@example.com/Testing
            warehouse_id: 1a111111a1111aa1
          libraries:
            - pypi:
                package: 'dbt-databricks>=1.0.0,<2.0.0'

Pour chaque tâche

for_each_task vous permet d’ajouter une tâche à votre travail avec une boucle for each. La tâche exécute une tâche imbriquée pour chaque entrée fournie. Pour plus d’informations sur le for_each_task, consultez Utiliser une For each tâche pour exécuter une autre tâche dans une boucle.

Les clés suivantes sont disponibles pour un for_each_task. Pour obtenir la définition d’objet DE l’API REST correspondante, consultez for_each_task.

Examples

L’exemple suivant ajoute for_each_task à un travail, où il effectue une boucle sur les valeurs d’une autre tâche et les traite.

resources:
  jobs:
    my_job:
      name: my_job
      tasks:
        - task_key: generate_countries_list
          notebook_task:
            notebook_path: ../src/generate_countries_list.ipnyb
        - task_key: process_countries
          depends_on:
            - task_key: generate_countries_list
          for_each_task:
            inputs: '{{tasks.generate_countries_list.values.countries}}'
            task:
              task_key: process_countries_iteration
              notebook_task:
                notebook_path: ../src/process_countries_notebook.ipnyb

Tâche JAR

Vous utilisez cette tâche pour exécuter un fichier JAR. Vous pouvez référencer des bibliothèques JAR locales ou celles qui se trouvent dans un espace de travail, un volume Unity Catalog ou un emplacement de stockage cloud externe. Consultez le fichier JAR (Java ou Scala).

Pour plus d’informations sur la compilation et le déploiement de fichiers JAR Scala sur un cluster avec catalogue Unity en mode d’accès standard, consultez tutoriel : Exécuter le code Scala sur le calcul serverless.

Les clés suivantes sont disponibles pour une tâche JAR. Pour obtenir la définition d’objet DE l’API REST correspondante, consultez jar_task.

Examples

L’exemple suivant ajoute une tâche JAR à un travail. Le chemin d’accès au fichier JAR est vers un emplacement de volume.

resources:
  jobs:
    my-jar-job:
      name: my-jar-job
      tasks:
        - task_key: my-jar-task
          spark_jar_task:
            main_class_name: org.example.com.Main
          libraries:
            - jar: /Volumes/main/default/my-volume/my-project-0.1.0-SNAPSHOT.jar

Tâche de notebook

Vous utilisez cette tâche pour exécuter un notebook. Consultez Tâche de notebook pour les travaux.

Les clés suivantes sont disponibles pour une tâche de notebook. Pour obtenir la définition d’objet API REST correspondante, consultez notebook_task.

Examples

L’exemple suivant ajoute une tâche de notebook à un travail et définit un paramètre de travail nommé my_job_run_id. Le chemin d’accès du notebook à déployer est relatif au fichier config dans lequel cette tâche est déclarée. La tâche obtient le notebook à partir de son emplacement déployé dans l’espace de travail Azure Databricks.

resources:
  jobs:
    my-notebook-job:
      name: my-notebook-job
      tasks:
        - task_key: my-notebook-task
          notebook_task:
            notebook_path: ./my-notebook.ipynb
      parameters:
        - name: my_job_run_id
          default: '{{job.run_id}}'

Tâche de pipeline

Vous utilisez cette tâche pour exécuter un pipeline. Consultez pipelines déclaratifs Lakeflow Spark.

Les clés suivantes sont disponibles pour une tâche de pipeline. Pour obtenir la définition d’objet DE l’API REST correspondante, consultez pipeline_task.

Examples

L’exemple suivant ajoute une tâche de pipeline à un travail. Cette tâche exécute le pipeline spécifié.

resources:
  jobs:
    my-pipeline-job:
      name: my-pipeline-job
      tasks:
        - task_key: my-pipeline-task
          pipeline_task:
            pipeline_id: 11111111-1111-1111-1111-111111111111

Tâche Power BI

Utilisez cette tâche pour déclencher une actualisation d’un modèle sémantique Power BI (anciennement appelé jeu de données).

Les clés suivantes sont disponibles pour une tâche Power BI. Pour obtenir la définition d’objet API REST correspondante, consultez power_bi_task.

Examples

L’exemple suivant définit une tâche Power BI, qui spécifie une connexion, le modèle Power BI à mettre à jour et la table Databricks à exporter.

resources:
  jobs:
    my_job:
      name: my_job
      tasks:
        - task_key: power_bi_task
          power_bi_task:
            connection_resource_name: 'connection_name'
            power_bi_model:
              workspace_name: 'workspace_name'
              model_name: 'model_name'
              storage_mode: 'DIRECT_QUERY'
              authentication_method: 'OAUTH'
              overwrite_existing: false
            refresh_after_update: false
            tables:
              - catalog: 'main'
                schema: 'tpch'
                name: 'customers'
                storage_mode: 'DIRECT_QUERY'
            warehouse_id: '1a111111a1111aa1'

Tâche de script Python

Vous utilisez cette tâche pour exécuter un fichier Python.

Les clés suivantes sont disponibles pour une tâche de script Python. Pour obtenir la définition d’objet API REST correspondante, consultez python_task.

Examples

L’exemple suivant ajoute une tâche de script Python à un travail. Le chemin d’accès du fichier Python à déployer est relatif au fichier config dans lequel cette tâche est déclarée. La tâche obtient le fichier Python à partir de son emplacement déployé dans l’espace de travail Azure Databricks.

resources:
  jobs:
    my-python-script-job:
      name: my-python-script-job

      tasks:
        - task_key: my-python-script-task
          spark_python_task:
            python_file: ./my-script.py

Tâche wheel Python

Vous utilisez cette tâche pour exécuter une roue Python. Consultez Créer un fichier de roue Python à l’aide de Bundles de ressources Databricks.

Les clés suivantes sont disponibles pour une tâche de roue Python. Pour obtenir la définition d’objet API REST correspondante, consultez python_wheel_task.

Examples

L’exemple suivant ajoute une tâche wheel Python à un travail. Le chemin d’accès du fichier wheel Python à déployer est relatif au fichier de configuration dans lequel cette tâche est déclarée. Consultez Dépendances de bibliothèque de packs de ressources Databricks.

resources:
  jobs:
    my-python-wheel-job:
      name: my-python-wheel-job
      tasks:
        - task_key: my-python-wheel-task
          python_wheel_task:
            entry_point: run
            package_name: my_package
          libraries:
            - whl: ./my_package/dist/my_package-*.whl

Exécuter une tâche de travail

Vous utilisez cette tâche pour exécuter un autre travail.

Les clés suivantes sont disponibles pour une tâche de travail d’exécution. Pour obtenir la définition d’objet API REST correspondante, consultez run_job_task.

Examples

L’exemple suivant contient une tâche de travail d’exécution dans le deuxième travail qui exécute le premier travail.

Cet exemple utilise une substitution pour récupérer l’ID du travail à exécuter. Pour obtenir l’ID d’un travail à partir de l’interface utilisateur, ouvrez le travail dans l’espace de travail et copiez l’ID à partir de la valeur ID du travail dans l’onglet Détails du travail de la page paramètres des travaux.

resources:
  jobs:
    my-first-job:
      name: my-first-job
      tasks:
        - task_key: my-first-job-task
          new_cluster:
            spark_version: '13.3.x-scala2.12'
            node_type_id: 'i3.xlarge'
            num_workers: 2
          notebook_task:
            notebook_path: ./src/test.py
    my_second_job:
      name: my-second-job
      tasks:
        - task_key: my-second-job-task
          run_job_task:
            job_id: ${resources.jobs.my-first-job.id}

Tâche SQL

Vous utilisez cette tâche pour exécuter un fichier SQL, une requête ou une alerte.

Les clés suivantes sont disponibles pour une tâche SQL. Pour obtenir la définition d’objet API REST correspondante, consultez sql_task.

Examples

L’exemple suivant ajoute une tâche de fichier SQL à un travail. Cette tâche de fichier SQL utilise l’entrepôt SQL spécifié pour exécuter le fichier SQL spécifié.

resources:
  jobs:
    my-sql-file-job:
      name: my-sql-file-job
      tasks:
        - task_key: my-sql-file-task
          sql_task:
            file:
              path: /Users/someone@example.com/hello-world.sql
              source: WORKSPACE
            warehouse_id: 1a111111a1111aa1

L’exemple suivant ajoute une tâche d’alerte SQL à un travail. Cette tâche d’alerte SQL utilise l’entrepôt SQL spécifié pour actualiser l’alerte SQL spécifiée.

resources:
  jobs:
    my-sql-file-job:
      name: my-sql-alert-job
      tasks:
        - task_key: my-sql-alert-task
          sql_task:
            warehouse_id: 1a111111a1111aa1
            alert:
              alert_id: 11111111-1111-1111-1111-111111111111

L’exemple suivant ajoute une tâche de requête SQL à un travail. Cette tâche de requête SQL utilise l’entrepôt SQL spécifié pour exécuter la requête SQL spécifiée.

resources:
  jobs:
    my-sql-query-job:
      name: my-sql-query-job
      tasks:
        - task_key: my-sql-query-task
          sql_task:
            warehouse_id: 1a111111a1111aa1
            query:
              query_id: 11111111-1111-1111-1111-111111111111

Autres paramètres de tâche

Les paramètres de tâche suivants vous permettent de configurer des comportements pour toutes les tâches. Pour connaître les définitions d’objets API REST correspondantes, consultez les tâches.