zadanie platformy dbt dla zadań

Zadanie platformy dbt umożliwia orkiestrację i monitorowanie istniejących zadań platformy dbt bezpośrednio za pomocą Azure Databricks. Na tej stronie wyjaśniono, jak wybierać i wyzwalać zadania dbt, ustawiać opcje automatycznego ponawiania prób dla niepowodzeń i monitorować przebiegi.

Różnice między platformą dbt i zadaniami dbt

Zadania oferują dwa typy zadań dla projektów dbt. Wybierz właściwy na podstawie miejsca, w którym zarządzany jest projekt dbt:

zadanie platformy dbt: służy do organizowania wstępnie istniejących zadań platformy dbt. Nawiązuje ona połączenie z interfejsem API platformy dbt i uruchamia tam proces. Wybierz tę opcję, jeśli chcesz scentralizować aranżację w usłudze Azure Databricks przy zachowaniu wszystkich korzyści platformy dbt, takich jak monitorowanie i planowanie.

zadanie dbt: służy do uruchamiania projektów podstawowych dbt w klastrze usługi Azure Databricks z kodem z usługi Git. Wybierz tę opcję, jeśli potrzebujesz pełnej kontroli nad środowiskiem wykonywania i chcesz zarządzać zależnościami w całości w usłudze Azure Databricks. Zobacz dbt task for jobs.

Wymagania wstępne

Aby użyć zadania platformy dbt, należy spełnić następujące wymagania wstępne:

• Administrator obszaru roboczego musi włączyć podgląd. Zobacz Zarządzanie wersjami zapoznawczami usługi Azure Databricks.
• Musisz mieć CREATE CONNECTION uprawnienia do Unity Catalog w obszarze roboczym.
• Dostęp do istniejącego projektu dbt ze zdefiniowanym zadaniem na platformie dbt. Aby dowiedzieć się więcej, zobacz Prace na platformie dbt w dokumentacji dbt.
• Uprawnienia do generowania tokenu usługi na platformie dbt. Aby dowiedzieć się więcej, zobacz Tokeny konta usługi.

Zbieranie informacji o platformie dbt

Aby zintegrować dbt z usługą Azure Databricks, potrzebne są następujące trzy szczegóły:

• Identyfikator konta platformy dbt.
• Klucz interfejsu API wygenerowany na platformie dbt.
• Adres URL hosta wdrożenia platformy dbt.

W poniższych sekcjach opisano sposób znajdowania tych wymaganych informacji.

Pobierz identyfikator konta:

Aby pobrać identyfikator konta:

1. Zaloguj się do platformy dbt.
2. Przejdź do Ustawienia>Ustawienia Konta.
3. Pobierz identyfikator konta z sufiksu adresu URL, który ma następujący format: https://cloud.getdbt.com/settings/accounts/{account_id}.

Uzyskiwanie klucza interfejsu API

Aby pobrać klucz interfejsu API:

1. Zaloguj się do platformy dbt.
2. Przejdź do Ustawienia>Ustawienia Profilu>Twój Profil>Dostęp do API>Klucz API.

Adres URL hosta

Adres URL hosta zależy od twojej lokalizacji i dzierżawy. Aby znaleźć adres URL dla twojego regionu, zobacz Access, Regions, and IP addresses (Dostęp, Regiony i adresy IP) w dokumentacji dbt.

Zidentyfikuj swój region i środowisko (wielodostępne lub oparte na komórkach). Użyj kolumny Access URL (Adres URL dostępu ), aby uzyskać adres URL hosta.

Konfiguracja połączenia platformy dbt

Wykonaj poniższe kroki, aby skonfigurować połączenie platformy dbt w usłudze Azure Databricks.

1. Kliknij Wykaz na pasku bocznym.
2. Kliknij w przeglądarce schematu. Następnie kliknij pozycję Utwórz połączenie. Zostanie otwarty formularz Konfigurowanie połączenia .
3. Wprowadź następujące informacje, a następnie kliknij przycisk Dalej:
   • W polu Nazwa połączenia wprowadź nazwę.
   • W Typ połączenia wybierz dbt platformę.
4. Wprowadź adres URL hosta platformy dbt w polu tekstowym Host. Nie dołączaj ukośnika końcowego (/).
5. Wprowadź identyfikator konta platformy dbt i token interfejsu API zebrany w poprzednim kroku.
6. Kliknij pozycję Utwórz połączenie , aby potwierdzić szczegóły połączenia.
7. (Opcjonalnie) Udziel innym użytkownikom uprawnień do korzystania z połączenia:
   • W menu rozwijanym Podmioty wybierz identyfikatory użytkowników i grupy, którym chcesz przyznać uprawnienia.
   • Wybierz uprawnienia, które chcesz przyznać.
   • Kliknij przycisk Potwierdź.

Tworzenie nowego zadania za pomocą zadania platformy dbt

1. W obszarze roboczym kliknij Zadania i rury na pasku bocznym.
2. Kliknij pozycję Utwórz, a następnie pozycję Zadanie. Nowe zadanie jest automatycznie nazwane ze skojarzonym znacznikiem czasu.
3. (Opcjonalnie) Kliknij nazwę zadania i wprowadź nową nazwę, aby ją edytować.
4. Kliknij pozycję Dodaj inny typ zadania. Wyszukaj platformę dbt i kliknij kafelek, aby go wybrać.
5. Wprowadź nazwę zadania.
6. Użyj rozwijanego menu połączeń platformy dbt, aby wybrać utworzone wcześniej połączenie.
7. Użyj menu rozwijanego zadania platformy dbt , aby wybrać zadanie platformy dbt, które chcesz zorganizować.
8. Kliknij pozycję Zapisz zadanie.
9. (Opcjonalnie) Kliknij pozycję Uruchom teraz , aby ręcznie przetestować zadanie.

Ustawianie harmonogramu lub wyzwalacza

Zadania można skonfigurować do automatycznego wyzwalania zgodnie z harmonogramem opartym na czasie lub nadejściem nowych danych. Aby dowiedzieć się więcej o dostępnych opcjach, zobacz Automatyzowanie zadań za pomocą harmonogramów i wyzwalaczy.

Monitorowanie uruchomień

Zadania usługi Lakeflow można monitorować w interfejsie użytkownika usługi Azure Databricks. W przypadku zadań platformy dbt można również otworzyć link wskazujący szczegóły uruchomienia zadania na platformie dbt.

Aby monitorować przebieg:

1. Kliknij pozycję Zadania i potoki na pasku bocznym obszaru roboczego.

2. (Opcjonalnie) Wybierz filtry Zadania i Należące do mnie .

3. Kliknij link Nazwa swojego zadania.

   Zostanie wyświetlona karta Runy w widoku macierzy i listy aktywnych i ukończonych runów.

4. Kliknij link do uruchomienia w kolumnie Godzina rozpoczęcia w widoku listy uruchomień. Stan zadania na platformie dbt zostaje otwarty.

5. Kliknij pozycję Wyświetl w dbt , aby wyświetlić szczegóły uruchomienia zadania na platformie dbt.