Zugreifen auf Parameterwerte aus einer Aufgabe

In diesem Artikel wird beschrieben, wie Sie auf Parameterwerte aus Code in Ihren Aufgaben zugreifen, einschließlich Databricks-Notizbücher, Python-Skripts und SQL-Dateien.

Zu den Parametern gehören benutzerdefinierte Parameter, Werte, die aus upstream-Vorgängen ausgegeben werden, und Metadatenwerte, die vom Auftrag generiert werden. Siehe Aufträge parametrisieren.

Während die Details je nach Aufgabentyp variieren, gibt es vier gängige Methoden, mit denen auf Parameterwerte aus dem Quellcode verwiesen wird:

• Databricks-Dienstprogramm-Widgets
• Syntax des benannten SQL-Parameters
• Dynamische Werteverweise
• Codeargumente

In jedem dieser Fälle verweisen Sie auf den Schlüssel des Parameters, um auf seinen Wert zuzugreifen. Der Schlüssel wird manchmal als Name des Parameters bezeichnet.

Verwenden Sie dbutils im Code in einem Notizbuch

Notizbuchcode, der in einer Aufgabe ausgeführt wird, kann auf die Werte von Parametern mit der dbutils-Bibliothek zugreifen. Das folgende Beispiel zeigt, wie Sie in Python verwenden dbutils , um den Wert eines year_param Aufgabenparameters abzurufen, der an die Notizbuchaufgabe übergeben wird.

# Retrieve a job-level parameter
year_value = dbutils.widgets.get("year_param")

# Use the value in your code
display(babynames.filter(babynames.Year == year_value))

Auf Parameter wird anhand des Namens zugegriffen. Wenn Sie Vorgangsparameter und Auftragsparameter haben, die denselben Namen haben, werden die Auftragsparameter abgerufen.

Der obige Code erzeugt einen Fehler, wenn er in einem eigenständigen Notizbuch ausgeführt wird und nicht als Teil eines Auftrags, da Parameter nicht in ein eigenständiges Notizbuch gesendet werden. Sie können einen Standardwert für den year_param Parameter mit dem folgenden Code festlegen:

# Set a default (for when not running in a job)
dbutils.widgets.text("year_param", "2012", "Year Parameter")

# Retrieve a job-level parameter (will use default if it doesn't exist)
year_value = dbutils.widgets.get("year_param")

# Use the value in your code
display(babynames.filter(babynames.Year == year_value))

Dies ist zwar hilfreich für Tests außerhalb eines Auftrags, hat aber auch den Nachteil, dass es nicht sofort ersichtlich ist, wenn Aufgaben- oder Auftragsparameter nicht ordnungsgemäß eingerichtet sind.

Verwenden von benannten Parametern in einem SQL-Notizbuch

Wenn Sie SQL in einer Notizbuchaufgabe ausführen, können Sie die benannte Parametersyntax verwenden, um auf Aufgabenparameter zuzugreifen. Um zum Beispiel auf einen Aufgabenparameter namens year_param zuzugreifen, können Sie dessen Wert mithilfe der Abfrage :year_param abrufen.

SELECT *
FROM baby_names_prepared
WHERE Year_Of_Birth = :year_param
GROUP BY First_Name

Zugriff als Code-Argumente

Bei einigen Vorgangstypen werden Parameter als Argumente an den Code übergeben. Die folgenden Aufgabentypen haben übergebene Argumente:

• Python script
• Python Wheel
• JAR
• Spark Submit

Ausführliche Informationen finden Sie unter Details nach Aufgabentyp weiter unten in diesem Artikel.

Bei dbt Aufgaben werden die Parameter übergeben, indem Sie dbt-Befehle in Ihrer Aufgabe aufrufen.

Verwenden von verweisen auf dynamische Werte beim Konfigurieren einer Aufgabe

Wenn Sie eine Aufgabe in der Azure Databricks-Benutzeroberfläche konfigurieren, verwenden Sie die Syntax des dynamischen Wertverweises , um auf Auftragsparameter oder andere dynamische Werte zuzugreifen. Um auf Auftragsparameter zuzugreifen, verwenden Sie die Syntax: {{job.parameters.<name>}}. Wenn Sie beispielsweise eine Python wheel-Aufgabe konfigurieren, können Sie die Schlüssel- und Werte-Eingaben eines Parameters so festlegen, dass sie auf einen sogenannten Job-Parameter namens year_param verweisen, wie year / Year_{{job.parameters.year_param}}. Neben dem Zugriff auf Parameter in der Konfiguration bieten Ihnen dynamische Werte auch Zugang zu weiteren Daten zu Ihrem Job oder Ihrer Aufgabe, z. B. die {{job.id}}. Sie können in die Aufgabenkonfiguration klicken {} , um eine Liste möglicher dynamischer Werte abzurufen und in Ihre Konfiguration einzufügen.

Details nach Aufgabentyp

Welche dieser Methoden sie verwenden, hängt vom Aufgabentyp ab.