Kompleksowe scenariusze usługi Data Factory: wprowadzenie i architektura

Ten samouczek pomaga przyspieszyć proces oceny usługi Data Factory w usłudze Microsoft Fabric, udostępniając kroki dla pełnego scenariusza integracji danych w ciągu jednej godziny. Po ukończeniu tego samouczka poznasz wartości i kluczowe możliwości usługi Data Factory oraz dowiesz się, jak ukończyć typowy scenariusz integracji danych.

Scenariusz jest podzielony na wprowadzenie i trzy moduły:

• Wprowadzenie do samouczka i dlaczego warto używać usługi Data Factory na platformie Microsoft Fabric.
• Moduł 1. Tworzenie potoku za pomocą usługi Data Factory w celu pozyskiwania danych pierwotnych z magazynu obiektów blob do brązowej tabeli warstwy danych w usłudze Data Lakehouse.
• Moduł 2: Przekształcanie danych za pomocą przepływu danych w usłudze Data Factory celu przetworzenia danych pierwotnych z tabeli bronze i przeniesienia ich do tabeli warstwy danych gold w usłudze Data Lakehouse.
• Moduł 3. Ukończ pierwszą podróż integracji danych i wyślij wiadomość e-mail z powiadomieniem o zakończeniu wszystkich zadań, a na koniec skonfiguruj cały przepływ do uruchomienia zgodnie z harmonogramem.

Dlaczego usługa Data Factory w usłudze Microsoft Fabric?

Usługa Microsoft Fabric udostępnia jedną platformę dla wszystkich potrzeb analitycznych przedsiębiorstwa. Obejmuje ona spektrum analiz, w tym przenoszenie danych, magazyny danych, inżynierię danych, integrację danych, naukę o danych, analizę w czasie rzeczywistym i analizę biznesową. Dzięki Fabric nie trzeba integrować różnych usług od wielu dostawców. Zamiast tego użytkownicy korzystają z kompleksowego produktu, który jest łatwy do zrozumienia, tworzenia, dołączania i obsługi.

Usługa Data Factory w sieci szkieletowej łączy łatwość korzystania z dodatku Power Query z skalowaniem i mocą usługi Azure Data Factory. Łączy najlepsze z obu produktów w jedno doświadczenie. Celem jest, aby zarówno amatorzy, jak i profesjonalni deweloperzy danych mieli odpowiednie narzędzia do integracji danych. Usługa Data Factory udostępnia środowiska przygotowywania i przekształcania danych z małą ilością kodu z obsługą sztucznej inteligencji, transformację w skali petabajtu i setki łączników z łącznością hybrydową i wielochmurową.

Trzy kluczowe funkcje usługi Data Factory

• Pozyskiwanie danych: Działanie kopiowania w potokach (lub autonomiczne zadanie kopiowania) umożliwia przenoszenie danych na skalę petabajtów z wielu setek źródeł danych do Lakehouse danych w celu dalszego przetwarzania.
• Przekształcanie i przygotowywanie danych: Usługa Dataflow Gen2 udostępnia interfejs z małą ilością kodu do przekształcania danych przy użyciu przekształceń danych 300+ z możliwością załadowania przekształconych wyników do wielu miejsc docelowych, takich jak bazy danych Azure SQL Database, Lakehouse i inne.
• Kompleksowa automatyzacja: Pipelines zapewniają organizację działań, które obejmują działania kopiowania, jak również przepływu danych i działania notesu, oraz inne. Działania w potoku można połączyć w łańcuch, aby działały sekwencyjnie lub działać niezależnie. Cały przepływ integracji danych jest uruchamiany automatycznie i może być monitorowany w jednym miejscu.

Architektura tutoriali

W ciągu następnych 50 minut zapoznasz się ze wszystkimi trzema kluczowymi funkcjami usługi Data Factory w miarę ukończenia kompleksowego scenariusza integracji danych.

Scenariusz jest podzielony na trzy moduły:

• Moduł 1. Tworzenie potoku za pomocą usługi Data Factory w celu pozyskiwania danych pierwotnych z magazynu obiektów blob do brązowej tabeli warstwy danych w usłudze Data Lakehouse.
• Moduł 2: Przekształcanie danych za pomocą przepływu danych w usłudze Data Factory celu przetworzenia danych pierwotnych z tabeli bronze i przeniesienia ich do tabeli warstwy danych gold w usłudze Data Lakehouse.
• Moduł 3. Ukończ pierwszą podróż integracji danych i wyślij wiadomość e-mail z powiadomieniem o zakończeniu wszystkich zadań, a na koniec skonfiguruj cały przepływ do uruchomienia zgodnie z harmonogramem.

Przykładowy zestaw danych NYC-Taxi jest używany jako źródło danych na potrzeby samouczka. Po zakończeniu będziesz w stanie uzyskać informacje o codziennych zniżkach na taryfy taksówek w określonym czasie przy użyciu Data Factory w Microsoft Fabric.

Następny krok

Przejdź do następnej sekcji, aby utworzyć pipeline.