Accéder aux valeurs des paramètres à partir d’une tâche

Cet article explique comment accéder aux valeurs de paramètres à partir du code dans vos tâches, notamment les notebooks Databricks, les scripts Python et les fichiers SQL.

Les paramètres incluent les paramètres définis par l’utilisateur, les valeurs de sortie des tâches en amont et les valeurs de métadonnées générées par le travail. Consultez Définir les paramètres de projets.

Bien que les détails varient selon le type de tâche, il existe quatre méthodes courantes utilisées pour référencer des valeurs de paramètre à partir du code source :

• Widgets d’utilitaires Databricks
• Syntaxe SQL de paramètre nommé
• Références de valeurs dynamiques
• Arguments de code

Dans chacun de ces cas, vous référencez la clé du paramètre pour accéder à sa valeur. La clé est parfois appelée nom du paramètre.

Utiliser dbutils dans le code dans un bloc-notes

Le code de notebook s’exécutant dans une tâche peut accéder aux valeurs des paramètres avec la bibliothèque dbutils . L’exemple suivant montre comment utiliser dbutils dans Python pour obtenir la valeur d’un year_param paramètre de tâche passé dans la tâche de notebook.

# Retrieve a job-level parameter
year_value = dbutils.widgets.get("year_param")

# Use the value in your code
display(babynames.filter(babynames.Year == year_value))

Les paramètres sont accessibles par nom. Si vous avez des paramètres de tâche et des paramètres de travail portant le même nom, les paramètres de travail sont récupérés.

Le code ci-dessus génère une erreur lors de l’exécution dans un notebook autonome et non dans le cadre d’un travail, car les paramètres ne sont pas envoyés dans un bloc-notes autonome. Vous pouvez définir une valeur par défaut pour le year_param paramètre avec le code suivant :

# Set a default (for when not running in a job)
dbutils.widgets.text("year_param", "2012", "Year Parameter")

# Retrieve a job-level parameter (will use default if it doesn't exist)
year_value = dbutils.widgets.get("year_param")

# Use the value in your code
display(babynames.filter(babynames.Year == year_value))

Bien que cela soit utile pour le test en dehors d’un travail, il présente également l’inconvénient de se masquer lorsque les paramètres de tâche ou de travail ne sont pas configurés correctement.

Utiliser des paramètres nommés dans un notebook SQL

Lorsque vous exécutez SQL dans une tâche de notebook, vous pouvez utiliser la syntaxe de paramètre nommée pour accéder aux paramètres de tâche. Par exemple, pour accéder à un paramètre de tâche appelé year_param, vous pouvez obtenir sa valeur à l’aide :year_param de votre requête :

SELECT *
FROM baby_names_prepared
WHERE Year_Of_Birth = :year_param
GROUP BY First_Name

Accès en tant qu’arguments de code

Pour certains paramètres de types de tâches, ils sont passés au code en tant qu’arguments. Les types de tâches suivants ont des arguments passés à eux :

• Python script
• Python Wheel
• JAR
• Spark Submit

Pour plus d’informations, consultez Détails par type de tâche, plus loin dans cet article.

Pour les tâches dbt, les paramètres sont passés en appelant des commandes dbt dans votre tâche.

Utiliser des références de valeurs dynamiques lors de la configuration d’une tâche

Lorsque vous configurez une tâche dans l’interface utilisateur Azure Databricks, utilisez la syntaxe de référence de valeur dynamique pour accéder aux paramètres de travail ou à d’autres valeurs dynamiques. Pour accéder aux paramètres de travail, utilisez la syntaxe suivante : {{job.parameters.<name>}}. Par exemple, lors de la configuration d’une Python wheel tâche, vous pouvez définir les entrées Clé et Valeur d’un paramètre pour référencer un paramètre job appelé year_param, tel queyear / Year_{{job.parameters.year_param}} . Outre l’accès aux paramètres dans la configuration, les valeurs dynamiques vous donnent également accès à d’autres données sur votre travail ou tâche, par exemple le {{job.id}}. Vous pouvez cliquer {} dans la configuration de tâche pour obtenir la liste des valeurs dynamiques possibles et les insérer dans votre configuration.

Détails par type de tâche

Laquelle de ces méthodes que vous utilisez dépend du type de tâche.