Udostępnij przez

Planowanie migracji dla usługi Azure Data Factory do usługi Fabric Data Factory

Usługa Microsoft Fabric łączy narzędzia analityczne firmy Microsoft w jedną platformę SaaS. Oferuje ona silne możliwości orkiestracji przepływu pracy, przenoszenia danych, replikacji i transformacji na dużą skalę. Usługa Fabric Data Factory udostępnia środowisko SaaS, które opiera się na usłudze Azure Data Factory (ADF) PaaS dzięki ulepszeniom i dodatkowym funkcjom, dzięki czemu usługa Fabric Data Factory jest idealną modernizacją istniejących rozwiązań integracji danych.

W tym przewodniku przedstawiono strategie migracji, zagadnienia i podejścia ułatwiające przejście z usługi Azure Data Factory do usługi Fabric Data Factory.

Dlaczego warto przeprowadzić migrację?

Migrowanie z potoków ADF i Synapse do usługi Fabric Data Factory jest bardziej niż taktyką "lift-and-shift": jest to możliwość uproszczenia zarządzania, standaryzacji schematów i wykorzystania zaawansowanych funkcji usługi Fabric Data Factory w celu ulepszenia strategii integracji danych.

Platforma oferuje wiele nowych funkcji, w tym:

  • Zintegrowane działania potoku, takie jak poczta e-mail i usługa Teams na potrzeby routingu wiadomości
  • Wbudowane potoki CI/CD (ciągła integracja/ciągłe wdrażanie) bez zewnętrznych zależności Git
  • Bezproblemowa integracja obszaru roboczego z usługą OneLake, Warehouse i Lakehouse na potrzeby ujednoliconej analizy
  • Usprawniony semantyczny model danych odświeża te skalowanie w celu spełnienia zarówno potrzeb związanych z samoobsługą, jak i danymi przedsiębiorstwa
  • Wbudowane możliwości sztucznej inteligencji za pomocą narzędzia Copilot ułatwiają tworzenie i zarządzanie potokami

Szczegółowe porównanie można znaleźć w przewodniku porównanie usług Azure Data Factory i Fabric Data Factory.

Zagadnienia przed migracją

Migracja z usługi Azure Data Factory (ADF) do usługi Fabric Data Factory obejmuje kilka kluczowych zagadnień. Oto, co należy wziąć pod uwagę:

  • Złożone potoki i łączniki niestandardowe: mogą one wymagać ręcznego dostosowania do pracy w nowym środowisku.
  • Środowiska Integration Runtime: starsze środowiska uruchomieniowe mogą wymagać refaktoryzacji, aby dostosować je do architektury sieci szkieletowej.
  • Różnice przepływu danych: Przepływy danych mapowania ADF używają przekształceń opartych na platformie Spark, podczas gdy Fabric Dataflow Gen2 działa inaczej i może wymagać modyfikacji.
  • Zabezpieczenia i sieć: Przejrzyj zarządzaną tożsamość, prywatne punkty końcowe i konfiguracje bramy. Ponownie przetestuj te ustawienia i zaktualizuj uprawnienia zgodnie z potrzebami.
  • Testowanie i walidacja: Upewnij się, że zmigrowane potoki generują dokładne dane wyjściowe, dotrzymują umów SLA i są zgodne z wymaganiami. Używaj niezawodnych platform testowych do obiektywnych porównań.

Aby sprostać tym wyzwaniom, wykonaj następujące najlepsze rozwiązania:

  1. Przeprowadzanie dokładnego spisu zasobów. Zidentyfikuj duplikaty, nieużywane elementy i zależności.
  2. Użyj narzędzia do oceny migracji i przejrzyj parzystość łączników i parzystość działań , aby wcześnie identyfikować i mapować luki funkcji.
  3. Rozważ użycie zautomatyzowanych skryptów i narzędzi partnerskich do migracji zbiorczej.
  4. Zachowaj szczegółową dokumentację i plany wycofywania.
  5. Angażowanie uczestników projektu w całym procesie.
  6. Uruchom migracje przyrostowe, aby zminimalizować ryzyko.
  7. Użyj skryptów weryfikacji opartych na sztucznej inteligencji, aby przyspieszyć rozwiązywanie problemów.

Ścieżki migracji

Ścieżki migracji zależą od zasobów usługi ADF i ich zgodności funkcji. Dostępne opcje:

Elementy usługi Azure Data Factory w obszarze roboczym usługi Fabric

Dodanie istniejącej usługi ADF do przestrzeni roboczej Fabric zapewnia natychmiastowy wgląd i zarządzanie podczas przyrostowej migracji. Jest to idealne rozwiązanie do odnajdywania, przypisywania własności i testowania porównawczego, ponieważ zespoły mogą wyświetlać potoki, organizować je w obszarach roboczych Fabric i planować migracje dla poszczególnych domen. Elementy usługi Azure Data Factory umożliwiają katalogowanie istniejących elementów, określanie priorytetów potoków o najwyższej wartości/najniższym ryzyku oraz ustanawianie konwencji (nazewnictwa, folderów, ponownego używania połączeń), które skrypty konwersji i narzędzia partnerskie mogą być zgodne spójnie.

Montowanie w Fabric odbywa się za pomocą typu elementu usługi Azure Data Factory: Bring your Azure Data Factory to Fabric.

Korzystanie z narzędzia uaktualniania programu PowerShell

Firma Microsoft oferuje narzędzie do migracji usługi ADF-to-Fabric w module programu Azure PowerShell. W przypadku korzystania z modułu można przetłumaczyć duży podzbiór kodu JSON usługi ADF (potoki, działania, parametry) na definicje natywne dla sieci szkieletowej, co daje szybki punkt wyjścia. Należy oczekiwać silnego pokrycia wzorców kopiowania/wyszukiwania/procedury składowanej i kontroli przepływu, z ręcznym śledzeniem przypadków brzegowych, takich jak łączniki niestandardowe, złożone wyrażenia i niektóre konstrukcje przepływu danych. Traktuj dane wyjściowe skryptu jako szkielet: uruchom go w partiach, przeprowadź sprawdzanie stylu kodu za pomocą lint, a następnie dołącz połączenia i popraw wszelkie niezgodności właściwości. Abyś mógł iterować w miarę zdobywania wiedzy, utwórz to w powtarzalnym przebiegu CI, zamiast ręcznie edytować każdy pipeline.

Aby zapoznać się z pełnym przewodnikiem, zobacz Migracja programu PowerShell. Aby zapoznać się ze szczegółowym samouczkiem z przykładami, zobacz samouczek migracji programu PowerShell.

Migracja ręczna

Migracja ręczna jest niezbędna w przypadku złożonych potoków o niskiej parzystości, ale jest to również szansa na modernizację architektury i przyjęcie zintegrowanych funkcji Fabric. Ta ścieżka wymaga bardziej z góry planowania i rozwoju, ale może przynieść długoterminowe korzyści w utrzymaniu, wydajności i kosztach.

Aby skutecznie przeprowadzić migrację, należy wziąć pod uwagę następujące kroki:

  1. Ocena i spis: wykaz wszystkich zasobów usługi ADF, w tym potoków, zestawów danych, połączonych usług i środowisk Integration Runtime. Identyfikowanie zależności i wzorców użycia.
  2. Identyfikowanie duplikatów i nieużywanych elementów: Wyczyść nieużywane lub nadmiarowe elementy w usłudze ADF, aby usprawnić migrację i środowisko integracji danych.
  3. Identyfikowanie luk: użyj narzędzia do oceny migracji i przejrzyj odpowiedniość łączników i odpowiedniość działań, aby zidentyfikować luki między potokami ADF i potokami Fabric oraz zaplanować alternatywne rozwiązania.
  4. Zapoznaj się z nowymi funkcjami: skorzystaj z naszego przewodnika po decyzjach dotyczących przenoszenia danych i przewodnika po decyzjach dotyczących integracji danych, aby zdecydować, które narzędzia Fabric będą najlepsze dla Twoich potrzeb.
  5. Plan: Zapoznaj się z najlepszymi praktykami dotyczącymi migracji w celu rozważenia kwestii dotyczących poszczególnych elementów i wytyczne dotyczące jak najlepszego wykorzystania ulepszonych możliwości Fabric.
  6. Przejście usługi ADF: rozważ dodanie elementu usługi Azure Data Factory w usłudze Microsoft Fabric jako pierwszy krok w migracji, co pozwala na stopniowe przejście na tę samą platformę.
  7. Określanie priorytetów: określanie priorytetów potoków w oparciu o wpływ na działalność biznesową, złożoność i łatwość migracji.
  8. Automatyzuj tam, gdzie to możliwe: w przypadku wszystkich potoków o niskiej złożoności rozważ użycie narzędzia uaktualniania programu PowerShell aby zautomatyzować niektóre procesy migracyjne.
  9. Rozważ użycie narzędzi: użyj tych narzędzi, aby ułatwić rekreację:
  10. Migracja ręczna: W przypadku scenariuszy, które nie są obsługiwane przez inne metody migracji, odtwórz je w Fabric:
    1. Ponowne tworzenie połączeń: konfiguracja Połączeń w Fabric w celu zastąpienia połączonych usług w ADF
    2. Rekreacja działań: Skonfiguruj swoje działania w potokach, zastąp nieobsługiwane działania alternatywami Fabric lub użyj działania Wywoływanie potoku.
    3. Harmonogramowanie i ustawienie wyzwalaczy: Ponownie zbuduj harmonogramy i wyzwalacze zdarzeń w Fabric w celu dopasowania ich do harmonogramów usługi ADF
  11. Dokładnie przetestuj: Zweryfikuj zmigrowane potoki pod kątem oczekiwanych danych wyjściowych, benchmarków wydajności oraz wymagań zgodności.

Przykładowe scenariusze migracji

Przejście z usługi ADF do Fabric może obejmować różne strategie w zależności od przypadku użycia. W tej sekcji opisano typowe ścieżki migracji i zagadnienia ułatwiające efektywne planowanie.

Scenariusz 1. Potoki i przepływy danych usługi ADF

Modernizuj środowisko ETL, przenosząc potoki i przepływy danych do Fabric. Zaplanuj następujące elementy:

  • Przekształcanie połączonych usług w połączenia
  • Definiowanie właściwości zestawu danych wbudowanych w działaniach potoku
  • Zastąp elementy SHIRs (self-hosted Integration Runtime) grupami OPDG (lokalnymi bramami danych) i adresami IP sieci wirtualnej przy użyciu bram danych sieci wirtualnej
  • Ponownie skompiluj nieobsługiwane działania usługi ADF przy użyciu alternatyw sieci szkieletowej lub działania Wywołaj potok. Nieobsługiwane działania obejmują:
    • Data Lake Analytics (U-SQL), przestarzała usługa platformy Azure
    • Działanie weryfikacji, które można odtworzyć przy użyciu funkcji Pobierz metadane, pętli potoku oraz działań If
    • Power Query, który jest w pełni zintegrowany z Fabric jako przepływy danych, gdzie kod M można ponownie wykorzystać.
    • Działania notesu, pliku Jar i języka Python można zastąpić działaniem usługi Databricks w usłudze Fabric
    • Działania Hive, Pig, MapReduce, Spark i Streaming można zastąpić działaniem usługi HDInsight w środowisku Fabric

Na przykład poniżej znajduje się strona konfiguracji zestawu danych usługi ADF ze ścieżką pliku i ustawieniami kompresji:

Zrzut ekranu przedstawiający stronę konfiguracji zestawu danych usługi ADF.

Oto działanie kopiowania dla usługi Data Factory w Fabric, w którym kompresja i ścieżka pliku są zawarte bezpośrednio w działaniu:

Zrzut ekranu przedstawiający konfigurację kompresji działania Fabric Copy.

Scenariusz 2. Usługa ADF z usługą CDC, usługą SSIS i przepływem powietrza

Utwórz ponownie cdC jako elementy zadania kopiowania . W przypadku rozwiązania Airflow skopiuj grupy DAGs do oferty Apache Airflow w usłudze Fabric. Wykonaj pakiety usług SSIS przy użyciu potoków usługi ADF i wywołaj je z sieci szkieletowej.

Scenariusz 3. Migracja programu PowerShell

Użyj modułu Microsoft.FabricPipelineUpgrade PowerShell, aby przeprowadzić migrację potoków usługi Azure Data Factory do sieci szkieletowej. Takie podejście dobrze sprawdza się w przypadku automatyzacji migracji potoków, działań i parametrów na dużą skalę. Moduł programu PowerShell tłumaczy duży podzbiór kodu JSON usługi ADF na definicje natywne dla sieci szkieletowej, zapewniając szybki punkt wyjścia do migracji.

Aby uzyskać szczegółowe wskazówki, zobacz samouczek migracji programu PowerShell.

Scenariusz 4. Elementy ADF w obszarze roboczym Fabric

Całą fabrykę usługi ADF można dodać w obszarze roboczym Fabric jako element macierzysty. Dzięki temu można zarządzać fabrykami usługi ADF obok artefaktów sieci szkieletowej w tym samym interfejsie. Interfejs użytkownika usługi ADF pozostaje w pełni dostępny, co umożliwia monitorowanie i edytowanie elementów fabrycznych usługi ADF oraz zarządzanie nimi bezpośrednio z obszaru roboczego sieć szkieletowa. Jednak wykonywanie potoków, działań i środowisk Integration Runtime nadal odbywa się w ramach zasobów platformy Azure.

Ta funkcja jest przydatna w przypadku organizacji przechodzących do sieci szkieletowej, ponieważ zapewnia ujednolicony widok zasobów usługi ADF i sieci szkieletowej, upraszczając zarządzanie i planowanie migracji.

Aby uzyskać więcej informacji, zobacz Bring your Azure Data Factory into Fabric (Przenoszenie usługi Azure Data Factory do sieci szkieletowej).

Powiązana zawartość

  • Last updated on