Udostępnij przez

Najlepsze rozwiązania dotyczące migracji dla usługi Azure Data Factory do usługi Fabric Data Factory

Usługa Microsoft Fabric łączy narzędzia analityczne firmy Microsoft z pojedynczą platformą SaaS, oferując niezawodne możliwości orkiestracji przepływu pracy, przenoszenia danych, replikacji i transformacji na dużą skalę. Usługa Fabric Data Factory opiera się na usłudze Azure Data Factory (ADF), dzięki czemu jest idealnym wyborem do modernizacji rozwiązań integracji danych.

W tym przewodniku omówiono strategie migracji, zagadnienia i podejścia ułatwiające uaktualnienie z usługi Azure Data Factory do usługi Fabric Data Factory.

Zagadnienia przed migracją

Przed migracją należy ocenić, co należy ponownie użyć, przetłumaczyć lub przeprojektować. Wykonaj następujące kroki, aby zapewnić płynne przejście:

  1. Identyfikowanie wzorców uwierzytelniania, takich jak tożsamość zarządzana lub uwierzytelnianie oparte na kluczach.
  2. Przejrzyj wymagania dotyczące sieci, w tym prywatne punkty końcowe i bramy.
  3. Mapowanie harmonogramów i semantyki wyzwalaczy oraz dostosowywanie ustawień monitorowania i alarmów.
  4. Porównaj funkcje usługi ADF ze swoimi odpowiednikami usługi Fabric, zwracając uwagi na luki, takie jak SSIS lub przepływy danych.
  5. Zdefiniuj niefunkcjonalne cele, takie jak umowy SLA, przepływność, limity kosztów i możliwość obserwowania.
  6. Skompiluj scenariusz testowy z przykładowymi zestawami danych i oczekiwanymi danymi wyjściowymi, aby obiektywnie porównać uruchomienia usług ADF i Fabric.
  7. Zaplanuj rotację tajemnic, konwencje nazewnictwa oraz taksonomię przestrzeni roboczej, aby migracja usprawniła, a nie tylko odtworzyła, bieżącą strategię integracji danych.

Etapowe podejście z równoległymi planami weryfikacji i wycofywania minimalizuje ryzyko przy jednoczesnym umożliwieniu szybszego wykonywania, scentralizowanego monitorowania i głębszej integracji z usługą Microsoft Fabric.

W przypadku dużych migracji rozważ współpracę z certyfikowanymi partnerami firmy Microsoft lub zespołem kont Microsoft, aby uzyskać wskazówki.

Połączenia, połączone usługi i zestawy danych

W usłudze Azure Data Factory (ADF) połączone usługi i zestawy danych definiują połączenia i struktury danych. W usłudze Fabric te odpowiadają na połączenia i ustawienia działań, koncentrując się bardziej na ponownym wykorzystaniu na poziomie obszaru roboczego oraz na zarządzanej tożsamości. Poniżej przedstawiono sposób dostosowywania zasobów usługi ADF:

  1. Przejrzyj ciągłość łącznika między usługą Azure Data Factory a Fabric, aby potwierdzić obsługę źródeł danych i odbiorników.
  2. Konsolidacja nadmiarowych połączeń w celu usprawnienia zarządzania.
  3. Wdrażanie tożsamości zarządzanej na potrzeby bezpiecznego i spójnego uwierzytelniania.
  4. Standaryzacja parametryzacji folderów i tabel przy użyciu czystych konwencji nazewnictwa, na przykład: conn-sql-warehouse-sales lub ds-lh-raw-orders.

Aby zapewnić spójność i skalowalność, w pełni udokumentować każde źródło i miejsce docelowe za pomocą:

  • Właściciele
  • Poziomy czułości
  • Ustawienia ponawiania prób

Ta dokumentacja ułatwia standaryzację operacji w potokach i poprawę zarządzania.

Integracja Runtime i OPDG, brama sieci wirtualnej

Usługa Azure Data Factory (ADF) używa środowisk Integration Runtime (IRs) do definiowania zasobów obliczeniowych na potrzeby przetwarzania danych. Są to:

  • Usługa Cloud IRs dla zasobów obliczeniowych hostowanych na platformie Azure.
  • Self-hosted IRs (SHIRs) dla lokalnych lub prywatnych źródeł sieciowych.
  • IR SSIS dla usług SQL Server Integration Services.
  • IR z obsługą VNet na potrzeby bezpiecznej łączności sieciowej.

W Fabric mapują się do wykonywania w chmurze, Lokalnej Bramy Danych (OPDG) i Bramy Danych Sieci Wirtualnej. Poniżej przedstawiono sposób planowania migracji:

  1. Zidentyfikuj potoki, które korzystają z jednostek SHIR, i zaplanuj mapowanie bramy i ustalanie rozmiaru przepływności.
  2. Zweryfikuj system DNS, ruch wychodzący, reguły zapory i uwierzytelnianie dla każdego łącznika.
  3. Przećwicz scenariusze awaryjnego przełączania, aby zapewnić niezawodność.
  4. Jeśli to możliwe, przeprowadź migrację do prywatnych punktów końcowych lub bram danych sieci wirtualnej, aby uprościć przeglądy zabezpieczeń i zmniejszyć nakład pracy operacyjnej.

Fabric upraszcza zarządzanie obliczeniami, wykorzystując zasoby oparte na chmurze w ramach pojemności Fabric. IRS usług SSIS nie są dostępne w sieci szkieletowej. W przypadku łączności lokalnej użyj lokalnej bramy danych (OPDG). Aby zapewnić bezpieczną łączność sieciową, użyj bramy danych sieci wirtualnej.

Podczas migracji:

  • Nie trzeba przenosić publicznych środowisk wykonawczych Azure IR.
  • Utwórz ponownie shiRs jako OPDGs.
  • Zastąp adresy IP platformy Azure z obsługą sieci wirtualnej bramami danych sieci wirtualnej.

Różnice aktywności potoku

Wszystkie podstawowe działania w usłudze Azure Data Factory (ADF), takie jak kopiowanie, wyszukiwanie, procedura składowana/skrypt SQL, sieć Web i przepływ sterowania, mają bezpośrednie odpowiedniki w sieci szkieletowej. Istnieją jednak pewne różnice w właściwościach, składni wyrażenia i limitach. Podczas migracji zapoznaj się z następującymi tematami:

  • Zasady ponawiania prób i limity czasowe.
  • Ustawienia stronicowania dla źródeł REST.
  • Konfiguracje kopii binarnych i tabelarycznych.
  • Wzorce foreach i filtrów.
  • Zmienne systemowe używane w zawartości dynamicznej.

Platforma często udostępnia więcej rodzimych opcji dla niektórych zadań. Na przykład użyj skryptu SQL w hurtowni danych zamiast ogólnego wywołania procedury składowanej, aby lepiej śledzić pochodzenie i monitorować dane. Aby usprawnić migrację, zcentralizuj typowe wyrażenia, takie jak ścieżki, daty i identyfikatory URI specyficzne dla najemców, do parametrów strumienia. Zmniejsza to dryf i przyspiesza testowanie.

Aby uzyskać więcej informacji, zobacz Ciągłość działania między usługą Azure Data Factory i siecią szkieletową.

Różnice przepływu danych

Azure Data Factory (ADF) przepływy danych mapowania nie są bezpośrednio mapowane na Fabric. Zamiast tego zazwyczaj przerobisz je przy użyciu jednej z następujących opcji:

  • Przepływ danych Gen2 dla transformacji zbiorów wierszy oraz zarządzanych, niskokodowych transformacji.
  • Usługa Fabric Warehouse SQL dla zadań ELT opartych na zestawie, takich jak operacje MERGE lub ELT w pobliżu danych.
  • Notesy Spark do zaawansowanych przekształceń, złożonej logiki lub przetwarzania na dużą skalę.

Podczas migracji zweryfikuj następujące elementy:

  • Typy danych i obsługa wartości null.
  • Klucze zastępcze i powoli zmieniające się wymiary.
  • Idempotentne wzorce ELT, takie jak staging i MERGE, w celu zapewnienia przewidywalności ponownych uruchomień.

Aby zapoznać się ze scenariuszami migracji, zobacz Migrowanie z usługi Dataflow Gen1 do usługi Dataflow Gen2.

Oferty partnerów witryny Azure Marketplace

Zaufani partnerzy migracji, podobnie jak Bitwise Global, udostępniają narzędzia ułatwiające migrację. Te narzędzia mogą wykonywać następujące czynności:

  • Przeskanuj środowisko usługi Azure Data Factory (ADF).
  • Generowanie docelowych artefaktów Fabric.
  • Przeprowadź analizę wpływu i śledzenie pochodzenia.
  • Tworzenie planów testów automatycznych.

Te rozwiązania są szczególnie przydatne, jeśli masz:

  • Setki rurociągów.
  • Różne łączniki.
  • Ścisłe wymagania dotyczące przestojów.

Narzędzia partnerskie standaryzują reguły mapowania, generują raporty konwersji i uruchamiają równoległe testy walidacji. Dzięki temu można porównać liczby wierszy, sumy kontrolne i wydajność między starymi i nowymi środowiskami. Nawet jeśli nie używasz partnera do całej migracji, ich moduły odnajdywania i oceny mogą pomóc w rozpoczęciu wewnętrznego planowania i zmniejszeniu niepewności.

Korzystanie z narzędzi sztucznej inteligencji

Duże modele językowe (LLM), takie jak Microsoft Copilot, ChatGPT i Claude, mogą przyspieszyć zadania migracji. Te narzędzia są przydatne w następujących celach:

  • Refaktoryzacja wyrażeń.
  • Konwertowanie kodu JSON usługi Azure Data Factory (ADF) na składnię sieci szkieletowej.
  • Pisanie instrukcji MERGE.
  • Generowanie szablonów połączeń.
  • Tworzenie skryptów walidacji.

Można ich również używać do tworzenia dokumentacji, takiej jak runbooki, słowniki danych i listy kontrolne dla migracji, aby inżynierowie i operatorzy byli zgodni. Jednak zachowaj te narzędzia na bieżąco, ale nie na czele:

  • Unikaj wklejania poufnych informacji do narzędzi sztucznej inteligencji.
  • Zweryfikuj wszystkie elementy w środowisku projektowym.
  • Użyj testów automatycznych, takich jak liczba wierszy, porównania schematów i kontrole reguł biznesowych — aby wykryć subtelne problemy, takie jak niezgodność typów lub parsowanie dat specyficznych dla ustawień regionalnych.

Aby uzyskać więcej informacji, zobacz Use Copilot in Data Factory and AI in Microsoft Fabric (Używanie narzędzia Copilot w usłudze Data Factory i sztucznej inteligencji w usłudze Microsoft Fabric).

Ścieżki migracji

Ścieżki migracji zależą od zasobów usługi ADF i ich zgodności funkcji. Dostępne opcje:

Treści powiązane

Porównanie usługi Azure Data Factory z usługą Data Factory w Fabric

  • Last updated on