dbt-Plattformaufgabe für Aufträge

Verwenden Sie die Dbt-Plattformaufgabe, um vorhandene Dbt-Plattformaufträge direkt aus Azure Databricks zu koordinieren und zu überwachen. Auf dieser Seite wird erläutert, wie dbt-Aufträge ausgewählt und ausgelöst werden, automatische Wiederholungsoptionen für Fehler festgelegt und Läufe überwacht werden.

Unterschiede zwischen dbt-Plattform und dbt-Aufgaben

Jobs bieten zwei Arten von Aufgaben für dbt-Projekte. Wählen Sie die richtige, basierend auf der Stelle, an der Ihr dbt-Projekt verwaltet wird:

dbt platform task: Verwenden Sie dies, um bestehende dbt-Plattform-Jobs zu orchestrieren. Sie stellt eine Verbindung mit der dbt-Plattform-API und löst dort eine Ausführung aus. Wählen Sie diese Option aus, wenn Sie die Orchestrierung in Azure Databricks zentralisieren möchten, während alle Dbt-Plattformvorteile wie Überwachung und Planung beibehalten werden.

dbt-Aufgabe: Verwenden Sie dies, um dbt-Kernprojekte auf einem Azure Databricks-Cluster mit Code von Git auszuführen. Wählen Sie diese Option aus, wenn Sie die vollständige Kontrolle über die Ausführungsumgebung benötigen und abhängigkeiten vollständig in Azure Databricks verwalten möchten. Siehe DBT-Task für Aufträge.

Voraussetzungen

Um die Dbt-Plattformaufgabe zu verwenden, müssen Sie die folgenden Voraussetzungen erfüllen:

• Ein Arbeitsbereichsadministrator muss die Vorschau aktivieren. Siehe Verwalten von Azure Databricks-Vorschauen.
• Sie müssen über CREATE CONNECTION Berechtigungen für den Metaspeicher des Unity-Katalogs in Ihrem Arbeitsbereich verfügen.
• Zugriff auf ein vorhandenes dbt-Projekt mit einem definierten Auftrag auf der dbt-Plattform. Weitere Informationen finden Sie unter Jobs auf der dbt-Plattform in der dbt-Dokumentation.
• Berechtigungen zum Generieren eines Diensttokens in der dbt-Plattform. Weitere Informationen finden Sie unter Dienstkontotoken.

dbt-Plattforminformationen sammeln

Um dbt in Azure Databricks zu integrieren, benötigen Sie die folgenden drei Details:

• Ihre DBT-Plattform-Konto-ID.
• Ein API-Schlüssel, der in der dbt-Plattform generiert wird.
• Ihre Host-URL für die dbt-Plattformbereitstellung.

In den folgenden Abschnitten wird beschrieben, wie Sie diese erforderlichen Informationen finden.

Rufen Sie Ihre Konto-ID ab:

So rufen Sie Ihre Konto-ID ab:

1. Melden Sie sich bei der dbt-Plattform an.
2. Navigieren Sie zu ">".
3. Rufen Sie die Konto-ID aus dem URL-Suffix ab, das sich im folgenden Format befindet: https://cloud.getdbt.com/settings/accounts/{account_id}.

Holen Sie sich Ihren API-Schlüssel

So rufen Sie Ihren API-Schlüssel ab:

1. Melden Sie sich bei der dbt-Plattform an.
2. Navigieren Sie zu Einstellungen>Profileinstellungen>Ihr Profil>API-Zugriff>API-Schlüssel.

Host-URL

Ihre Host-URL hängt von Ihrem Standort und Ihrer Mandantschaft ab. Weitere Informationen finden Sie in der Dbt-Dokumentation unter "Access", "Regionen" und "IP-Adressen ", um die URL für Ihre Region zu finden.

Identifizieren Sie Ihre Region und Ihren Mandanten (Multimandanten oder zellenbasiert). Verwenden Sie die Access-URL-Spalte , um Ihre Host-URL abzurufen.

dbt-Plattformverbindungseinrichtung

Führen Sie die folgenden Schritte aus, um Ihre dbt-Plattformverbindung in Azure Databricks einzurichten.

1. Klicken Sie auf Katalog in der Randleiste.
2. Klicken Sie auf das im Schemabrowser. Klicken Sie dann auf "Verbindung erstellen". Das Verbindungsformular einrichten wird geöffnet.
3. Geben Sie die folgenden Informationen ein, und klicken Sie dann auf Weiter:
   • Geben Sie unter "Verbindungsname" einen Namen ein.
   • Wählen Sie für den Verbindungstypdbt-Plattform aus.
4. Geben Sie Ihre DBT-Plattformhost-URL in das Textfeld "Host " ein. Fügen Sie keinen nachgestellten Schrägstrich (/) ein.
5. Geben Sie Ihre DBT-Plattformkonto-ID und das API-Token ein, das Sie in einem vorherigen Schritt gesammelt haben.
6. Klicken Sie auf "Verbindung erstellen" , um die Verbindungsdetails zu bestätigen.
7. (Optional) Gewähren Sie anderen Benutzern Berechtigungen für die Verwendung der Verbindung:
   • Wählen Sie im Dropdownmenü "Prinzipale " die Benutzer-IDs und -Gruppen aus, für die Sie Berechtigungen erteilen möchten.
   • Wählen Sie die Berechtigungen aus, die Sie erteilen möchten.
   • Klicken Sie auf Bestätigen.

Einen neuen Job mit einer dbt-Plattform-Aufgabe erstellen

1. Klicken Sie in Ihrem Arbeitsbereich auf Aufträge & Pipelines in der Randleiste.
2. Klicken Sie auf "Erstellen" und dann auf "Auftrag". Der neue Auftrag wird automatisch mit einem zugeordneten Zeitstempel benannt.
3. (Optional) Klicken Sie auf den Auftragsnamen, und geben Sie einen neuen Namen ein, um ihn zu bearbeiten.
4. Klicken Sie auf "Weitere Aufgabentyp hinzufügen". Suchen Sie nach dbt platform und klicken Sie auf die Kachel, um sie auszuwählen.
5. Geben Sie einen Auftragsnamen ein.
6. Verwenden Sie das Dropdownmenü für die Dbt-Plattformverbindung , um die zuvor erstellte Verbindung auszuwählen.
7. Verwenden Sie das Dropdownmenü "dbt platform job " zum Auswählen des dbt-Plattformauftrags, den Sie koordinieren möchten.
8. Klicken Sie auf Aufgabe speichern.
9. (Optional) Klicken Sie auf "Jetzt ausführen ", um Ihren Auftrag manuell zu testen.

Festlegen eines Zeitplans oder Triggers

Sie können Aufträge so konfigurieren, dass sie automatisch nach einem zeitbasierten Zeitplan oder der Ankunft neuer Daten ausgelöst werden. Weitere Informationen zu den verfügbaren Optionen finden Sie unter "Automatisieren von Aufträgen mit Zeitplänen und Triggern".

Überwachungsläufe

Sie können Lakeflow-Aufträge in der Azure Databricks-Benutzeroberfläche überwachen. Für dbt-Plattformaufträge können Sie auch einen Link öffnen, der auf die Auftragsausführungsdetails auf der dbt-Plattform verweist.

Überwachen eines Durchlaufs:

1. Klicken Sie auf Aufträge und Pipelines in der Arbeitsbereich-Randleiste.

2. (Optional) Wählen Sie die Filter "Jobs" und "Im Besitz von mir" aus.

3. Klicken Sie auf den Name-Link Ihres Jobs.

   Die "Läufe"-Registerkarte erscheint und zeigt Matrix- und Listenansichten aktiver und abgeschlossener Läufe an.

4. Klicken Sie in der Ausführungen-Listenansicht auf den Link in der Spalte Startzeit. Der dbt-Plattform-Jobstatus wird angezeigt.

5. Klicken Sie auf "In dbt anzeigen ", um die Auftragsausführungsdetails auf der dbt-Plattform anzuzeigen.