Configurer et modifier des tâches dans les Lakeflow Jobs

Cet article se concentre sur les instructions de création, de configuration et de modification de tâches à l’aide de l’interface utilisateur de l’espace de travail Travaux &Pipelines .

Azure Databricks gère les tâches en tant que composants des travaux Lakeflow. Un projet a une ou plusieurs tâches. Vous créez un nouveau projet dans l’IU de l’espace de travail en configurant la première tâche. Pour configurer un nouveau travail, consultez Configurer et modifier des travaux Lakeflow.

Chaque tâche a une ressource de calcul associée qui exécute la logique de tâche. Si vous utilisez serverless, Azure Databricks configure vos ressources de calcul. Si vous n’utilisez pas serverless, consultez Configurer le calcul pour les projets.

Azure Databricks dispose d’autres points d’entrée et outils de configuration de tâche, notamment :

• Référence API REST de projets
• Qu’est-ce que l’interface CLI Databricks ?
• Créer et gérer des tâches de notebooks planifiées

Créer ou configurer une tâche

Pour modifier une tâche existante ou en ajouter une nouvelle avec l’IU de l’espace de travail, sélectionnez un projet existant en suivant les étapes suivantes :

1. Dans la barre latérale de votre espace de travail Azure Databricks, cliquez sur Travaux & Pipelines.
2. Vous pouvez aussi sélectionner les filtres Travaux et Je suis le propriétaire.
3. Cliquez sur le lien Nom de votre travail.
4. Cliquez sur l’onglet Tâches. Le graphique de tâche s’affiche.
5. Pour modifier une tâche, cliquez sur le nom de la tâche. La configuration de la tâche apparaît sous le graphique de tâche.
6. Pour ajouter une tâche, cliquez sur .

Types de tâches

Les options de configuration et les instructions varient selon la tâche. Les types de tâches suivantes sont disponibles :

• Notebook
• Script Python
• Roue Python
• SQL
• Pipeline
• Tableaux de bord
• Power BI
• dbt
• dbt Platform (bêta)
• JAR
• Soumettre Spark
• Exécuter la tâche
• If/else
• Pour chaque

Cloner une tâche

Clonez les tâches pour copier toutes les configurations d’une tâche existante, y compris les dépendances en amont.

Pour cloner une tâche, procédez comme suit :

1. Sélectionnez la tâche dans le graphique des tâches.
2. Cliquez sur .
3. Spécifiez un nom de tâche cloné, puis cliquez sur Cloner.

Supprimer une tâche

Pour supprimer une tâche, procédez comme suit :

1. Sélectionnez la tâche dans le graphique des tâches.
2. Cliquer sur et sélectionnez Supprimer la tâche.

Copier un chemin d'accès de tâche

Certains types de tâches, par exemple les tâches de notebook, vous permettent de copier le chemin d’accès au code source de la tâche :

1. Cliquez sur l’onglet Tâches.
2. Sélectionnez la tâche contenant le chemin d’accès à copier.
3. Cliquez sur à côté du chemin d’accès de tâche pour copier le chemin d’accès dans le presse-papiers.

Paramètres de tâche avancés

Les paramètres avancés suivants contrôlent les nouvelles tentatives pour les tâches en échec et les stratégies de délai d’expiration pour les tâches qui ne répondent pas.

Définir une stratégie de nouvelle tentative

Le paramètre par défaut pour les nouvelles tentatives de tâche dépend de la configuration du projet. Pour la plupart des configurations, le paramètre par défaut n’effectue aucune nouvelle tentative de tâches en cas d’échec de tâche.

Les projets serverless optimisent automatiquement les nouvelles tentatives par défaut. Consulter Configurer l’optimisation automatique de la capacité de calcul serverless pour interdire de nouvelles tentatives

Les projets continus utilisent une stratégie de nouvelles tentatives de backoff exponentiel. Voir Comment les échecs sont-ils gérés pour les travaux continus ?.

Pour configurer une stratégie qui détermine quand et combien de fois les exécutions ayant échoué sont réessayées, cliquez sur + Ajouter à côté de Nouvelles tentatives.

L’intervalle de nouvelle tentative est calculé en millisecondes entre le début de l’exécution ayant échoué et l’exécution de la nouvelle tentative suivante.

Configurer des seuils pour la durée de l’exécution des tâches ou les métriques de backlog de streaming

Vous pouvez configurer des seuils facultatifs pour la durée de l’exécution des tâches ou les métriques de backlog de streaming. Pour configurer des seuils de durée ou des seuils de métriques de streaming, cliquez sur Seuils de métriques dans le panneau de configuration des tâches.

Pour configurer les seuils de durée des tâches, y compris les heures d’achèvement attendues et maximales pour la tâche, sélectionnez Durée d’exécution dans le menu déroulant Métrique . Entrez une durée dans le champ Avertissement pour configurer l’heure d’achèvement attendue des tâches. Si l’exécution de la tâche dépasse ce seuil, un événement est déclenché. Pour configurer un délai d'exécution maximum pour une tâche, saisissez la durée maximale dans le champ Délai d'expiration. Si la tâche n’est pas terminée dans ce délai, Azure Databricks définit son état sur « Expiré ».

Pour configurer un seuil pour une métrique de backlog de diffusion en continu, sélectionnez la métrique dans le menu déroulant Metric et entrez une valeur pour le seuil. Pour en savoir plus sur les métriques spécifiques prises en charge par une source de diffusion en continu, consultez Afficher les métriques pour les tâches de diffusion en continu.

Entrez une durée dans le champ Avertissement pour configurer l’heure d’achèvement attendue de la tâche. Si la tâche dépasse ce seuil, un événement est déclenché. Vous pouvez utiliser cet événement pour avertir lorsqu'une tâche s'exécute lentement. Voir Configurer les notifications pour les travaux lents.

Pour configurer un délai d'exécution maximum pour une tâche, saisissez la durée maximale dans le champ Délai d'expiration. Si la tâche n’est pas terminée dans ce délai, Azure Databricks définit son état sur « Expiré ».

Si un événement est déclenché, car un seuil est dépassé, vous pouvez utiliser l’événement pour envoyer une notification. Voir Configurer les notifications pour les travaux lents.