Samouczek: konfigurowanie dbt dla Microsoft Fabric Data Warehouse

Dotyczy:✅ Magazyn w systemie Microsoft Fabric

Ten samouczek przeprowadzi Cię przez proces konfigurowania dbt i wdrażania pierwszego projektu do Fabric Warehouse.

Introduction

Struktura open source dbt (Data Build Tool) upraszcza przekształcanie danych i inżynierię analiz. Koncentruje się on na przekształceniach opartych na języku SQL w warstwie analizy, traktując język SQL jako kod. Usługa dbt obsługuje kontrolę wersji, modułyzację, testowanie i dokumentację.

Adapter dbt dla Microsoft Fabric może być używany do tworzenia projektów dbt, które można następnie wdrożyć w magazynie danych Fabric.

Możesz również zmienić platformę docelową projektu dbt, po prostu zmieniając adapter, na przykład projekt utworzony dla dedykowanej puli SQL usługi Azure Synapse można uaktualnić w ciągu kilku sekund do magazynu danych Fabric.

Wymagania wstępne dotyczące adaptera dbt dla usługi Microsoft Fabric

Postępuj zgodnie z tą listą, aby zainstalować i skonfigurować wymagania wstępne dla dbt.

1. Python w wersji 3.7 (lub nowszej).

2. Sterownik ODBC firmy Microsoft dla programu SQL Server.

3. Najnowsza wersja adaptera dbt-fabric z repozytorium PyPI (Python Package Index) przy użyciu pip install dbt-fabric.

   pip install dbt-fabric
   

   Note

   pip install dbt-fabric Zmieniając pip install dbt-fabric na pip install dbt-synapse i korzystając z poniższych instrukcji, możesz zainstalować adapter dbt dla dedykowanej puli SQL Synapse.

4. Upewnij się, że funkcja dbt-fabric i jej zależności są zainstalowane przy użyciu pip list polecenia :

   pip list
   

   Z tego polecenia powinna zostać zwrócona długa lista pakietów i bieżących wersji.

5. Jeśli jeszcze go nie masz, utwórz magazyn. W tym ćwiczeniu możesz użyć pojemności próbnej: utwórz bezpłatną wersję próbną usługi Microsoft Fabric, utwórz obszar roboczy, a następnie utwórz magazyn.

Rozpocznij pracę z adapterem dbt-fabric

W tym samouczku jest używany program Visual Studio Code, ale możesz użyć wybranego preferowanego narzędzia.

1. Sklonuj projekt demonstracyjny dbt jaffle_shop na maszynę.

   • Repozytorium można sklonować za pomocą wbudowanej kontroli źródła programu Visual Studio Code.
   • Możesz na przykład użyć git clone polecenia :

   git clone https://github.com/dbt-labs/jaffle-shop-classic.git
   

2. jaffle_shop Otwórz folder projektu w programie Visual Studio Code.

   

3. Jeśli utworzono już magazyn, możesz pominąć rejestrację.

4. Utwórz plik profiles.yml. Dodaj następującą konfigurację do profiles.yml. Ten plik konfiguruje połączenie z Twoim magazynem w usłudze Microsoft Fabric za pomocą adaptera dbt-fabric.

   config:
     partial_parse: true
   jaffle_shop:
     target: fabric-dev
     outputs:    
       fabric-dev:
         authentication: CLI
         database: <put the database name here>
         driver: ODBC Driver 18 for SQL Server
         host: <enter your SQL analytics endpoint here>
         schema: dbo
         threads: 4
         type: fabric
   

   Note

   Aby przełączyć adapter bazy danych na usługę Azure Synapse Analytics, zmień type z fabric na synapse, jeśli jest to pożądane. Istniejąca platforma danych dowolnego projektu dbt może zostać zaktualizowana poprzez zmianę adaptera bazy danych. Aby uzyskać więcej informacji, zobacz listę obsługiwanych platform danych dbt.

5. Uwierzytelnij się na platformie Azure w terminalu programu Visual Studio Code.

   • Uruchom polecenie az login w terminalu programu Visual Studio Code, jeśli używasz uwierzytelniania interfejsu wiersza polecenia platformy Azure.
   • W przypadku uwierzytelniania jednostki usługi lub innego identyfikatora Entra firmy Microsoft (dawniej Azure Active Directory) w usłudze Microsoft Fabric zapoznaj się z tematem dbt (Data Build Tool) setup i dbt Resource Configurations (Konfiguracja zasobów dbt). Aby uzyskać więcej informacji, zobacz Microsoft Entra authentication as an alternative to SQL authentication in Microsoft Fabric (Uwierzytelnianie entra firmy Microsoft jako alternatywa dla uwierzytelniania SQL w usłudze Microsoft Fabric).

6. Teraz możesz przetestować łączność. Aby przetestować łączność z magazynem, uruchom polecenie dbt debug w terminalu programu Visual Studio Code.

   dbt debug
   

   

   Wszystkie testy zostały pomyślnie przeszły, co oznacza, że można połączyć magazyn przy użyciu adaptera dbt-fabric z projektu dbt jaffle_shop.

7. Teraz nadszedł czas, aby sprawdzić, czy karta działa, czy nie. Najpierw uruchom polecenie dbt seed , aby wstawić przykładowe dane do magazynu.

   

8. Uruchom polecenie dbt run , aby uruchomić modele zdefiniowane w projekcie demo dbt.

   dbt run
   

   

9. Uruchom polecenie dbt test , aby zweryfikować dane względem niektórych testów.

   dbt test
   

   

Teraz wdrożono projekt dbt w magazynie danych Fabric.

Przenieś się między różnymi magazynami

Proste przenoszenie projektu dbt między różnymi magazynami. Projekt dbt w dowolnym obsługiwanym magazynie można szybko migrować przy użyciu tego trzyetapowego procesu:

1. Zainstaluj nowy adapter. Aby uzyskać więcej informacji i pełne instrukcje instalacji, zobacz dbt adaptery.

2. type Zaktualizuj właściwość w profiles.yml pliku.

3. Skompiluj projekt.

dbt w usłudze Fabric Data Factory

W przypadku integracji z platformą Apache Airflow popularny system zarządzania przepływami pracy dbt staje się zaawansowanym narzędziem do organizowania przekształceń danych. Funkcje planowania i zarządzania zadaniami Airflow umożliwiają zespołom danych automatyzację przebiegów dbt. Zapewnia regularne aktualizacje danych i utrzymuje spójny przepływ danych wysokiej jakości na potrzeby analizy i raportowania. To połączone podejście, wykorzystując wiedzę na temat transformacji dbt z zarządzaniem przepływami pracy firmy Airflow, zapewnia wydajne i niezawodne potoki, co ostatecznie prowadzi do szybszych i bardziej szczegółowych decyzji opartych na danych.

Apache Airflow to platforma typu open source używana do programowego tworzenia, planowania i monitorowania złożonych przepływów pracy danych. Umożliwia zdefiniowanie zestawu zadań nazywanych operatorami, które można połączyć w skierowane grafy acykliczne (DAG) do reprezentowania potoków.

Aby uzyskać więcej informacji na temat operacjonalizacji bazy danych w magazynie, zobacz Przekształcanie danych przy użyciu bazy danych za pomocą usługi Data Factory w usłudze Microsoft Fabric.

Considerations

Ważne kwestie, które należy wziąć pod uwagę podczas korzystania z adaptera dbt-fabric:

• Przejrzyj bieżące ograniczenia dotyczące magazynowania danych w usłudze Microsoft Fabric.

• Fabric obsługuje uwierzytelnianie Microsoft Entra ID (dawniej Azure Active Directory) dla tożsamości użytkowników i jednostek usługi. Zalecanym trybem uwierzytelniania do interaktywnej pracy w magazynie jest interfejs wiersza polecenia (interfejsy wiersza polecenia) i używanie jednostek usługi do automatyzacji.

• Przejrzyj polecenia języka T-SQL (Transact-SQL) nieobsługiwane w usłudze Fabric Data Warehouse.

• Niektóre polecenia języka T-SQL są obsługiwane przez adapter dbt-fabric przy użyciu Create Table as Select (CTAS), DROP, i CREATE poleceń, takich jak ALTER TABLE ADD/ALTER/DROP COLUMN, MERGE, TRUNCATE, sp_rename.

• Przejrzyj nieobsługiwane typy danych , aby dowiedzieć się więcej o obsługiwanych i nieobsługiwanych typach danych.

• Można zgłaszać problemy dotyczące adaptera dbt-fabric na GitHubie, odwiedzając stronę Problemy · microsoft/dbt-fabric · GitHub.

Następny krok

Treści powiązane

• Co to jest magazynowanie danych w usłudze Microsoft Fabric?
• Samouczek: tworzenie magazynu w usłudze Microsoft Fabric
• Samouczek: przekształcanie danych przy użyciu procedury składowanej
• Kontrola źródła za pomocą magazynu