Planowanie migracji: dedykowane pule SQL usługi Azure Synapse Analytics do usługi Fabric Data Warehouse

Dotyczy:✅ Magazyn w systemie Microsoft Fabric

W tym artykule szczegółowo opisano strategię, zagadnienia i metody migracji magazynowania danych w dedykowanych pulach SQL usługi Azure Synapse Analytics do usługi Microsoft Fabric Warehouse.

Wprowadzenie do migracji

W miarę jak firma Microsoft wprowadziła usługę Microsoft Fabric, kompleksowe rozwiązanie do analizy SaaS dla przedsiębiorstw, które oferuje kompleksowy pakiet usług, w tym usługę Data Factory, Inżynierię Danych, Magazynowanie Danych, Naukę o Danych, Inteligencję w Czasie Rzeczywistym i usługę Power BI.

Ten artykuł koncentruje się na opcjach migracji schematu (DDL), migracji kodu bazy danych (DML) i migracji danych. Firma Microsoft oferuje kilka opcji. W tym miejscu szczegółowo omawiamy każdą opcję i udostępniamy wskazówki dotyczące tych opcji, które należy wziąć pod uwagę w danym scenariuszu. W tym artykule użyto testu porównawczego dla branży TPC-DS do celów ilustracyjnych i testów wydajnościowych. Rzeczywisty wynik może się różnić w zależności od wielu czynników, takich jak typ danych, typy danych, szerokość tabel, opóźnienie źródła danych itp.

Przygotowanie do migracji

Starannie zaplanuj projekt migracji przed rozpoczęciem pracy i upewnij się, że schemat, kod i dane są zgodne z usługą Fabric Warehouse. Istnieją pewne ograniczenia , które należy wziąć pod uwagę. Oszacuj zakres prac związanych z refaktoryzacją niezgodnych elementów oraz wszelkie inne zasoby potrzebne przed realizacją migracji.

Innym kluczowym celem planowania jest dostosowanie projektu, aby zapewnić, że rozwiązanie w pełni korzysta z wysokiej wydajności zapytań, którą zapewnia Fabric Warehouse. Projektowanie magazynów danych na potrzeby skalowania wprowadza unikatowe wzorce projektowe, więc tradycyjne podejścia nie zawsze są najlepsze. Zapoznaj się z wytycznymi dotyczącymi wydajności, ponieważ mimo że po migracji można wprowadzić pewne korekty projektu, wprowadzanie zmian wcześniej w procesie pozwoli zaoszczędzić czas i nakład pracy. Migracja z jednej technologii/środowiska do innego jest zawsze dużym nakładem pracy.

Poniższy diagram przedstawia cykl życia migracji, wymieniając główne filary składające się z Oceny i Ewaluacji, Planowania i Projektowania, Migracji, Monitorowania i Zarządzania, Optymalizacji i Modernizacji wraz z powiązanymi zadaniami w każdym filarze, w celu zaplanowania i przygotowania do bezproblemowej migracji.

Runbook do migracji

Rozważ poniższe działania jako instrukcje planowania migracji z dedykowanych pul SQL usługi Synapse do magazynu danych Fabric Warehouse.

1. Oszacować i ocenić
   1. Identyfikowanie celów i motywacji. Ustanów jasne oczekiwane wyniki.
   2. Odkrywanie, ocenianie i ustalenie stanu bazowego istniejącej architektury.
   3. Identyfikowanie kluczowych uczestników projektu i sponsorów.
   4. Zdefiniuj zakres migrowanych elementów.
      1. Rozpocznij od małych i prostych, przygotuj się do wielu małych migracji.
      2. Rozpocznij monitorowanie i dokumentowanie wszystkich etapów procesu.
      3. Tworzenie spisu danych i procesów migracji.
      4. Zdefiniuj zmiany modelu danych (jeśli istnieją).
      5. Skonfiguruj obszar roboczy Fabric.
   5. Jaki jest twój zestaw umiejętności/preferencje?
      1. Automatyzuj wszędzie tam, gdzie to możliwe.
      2. Użyj wbudowanych narzędzi i funkcji platformy Azure, aby zmniejszyć nakład pracy nad migracją.
   6. Wczesne szkolenie pracowników na nowej platformie.
      1. Zidentyfikuj potrzeby podnoszenia kwalifikacji i zasoby szkoleniowe, w tym Microsoft Learn.
2. Planowanie i projektowanie
   1. Zdefiniuj żądaną architekturę.
   2. Wybierz metodę /narzędzia migracji , aby wykonać następujące zadania:
      1. Wyodrębnianie danych ze źródła.
      2. Konwersja schematu (DDL), w tym metadane dla tabel i widoków
      3. Pozyskiwanie danych, w tym dane historyczne.
         1. W razie potrzeby ponownie zaprojektuj model danych przy użyciu nowej wydajności i skalowalności platformy.
      4. Migracja kodu bazy danych (DML).
         1. Migracja lub refaktoryzacja procedur przechowywanych i procesów biznesowych.
   3. Sporządź inwentarz i wyodrębnij funkcje zabezpieczeń oraz uprawnienia obiektowe ze źródła.
   4. Zaprojektuj i zaplanuj zastąpienie/zmodyfikowanie istniejących procesów ETL/ELT na potrzeby obciążenia przyrostowego.
      1. Tworzenie równoległych procesów ETL/ELT w nowym środowisku.
   5. Przygotuj szczegółowy plan migracji.
      1. Zamapuj bieżący stan na nowy żądany stan.
3. Migrate
   1. Wykonaj schemat, dane, migrację kodu.
      1. Wyodrębnianie danych ze źródła.
      2. Konwersja schematu (DDL)
      3. Pozyskiwanie danych
      4. Migracja kodu bazy danych (DML).
   2. W razie potrzeby przeprowadź tymczasowe skalowanie dedykowanych zasobów puli SQL w górę, aby przyspieszyć migrację.
   3. Stosowanie zabezpieczeń i uprawnień.
   4. Migrowanie istniejących procesów ETL/ELT na potrzeby obciążenia przyrostowego.
      1. Migrowanie lub refaktoryzowanie procesów przyrostowego ładowania danych ETL/ELT.
      2. Testuj i porównuj procesy równoległego ładowania przyrostowego.
   5. Dostosuj szczegółowy plan migracji zgodnie z potrzebami.
4. Monitorowanie i zarządzanie
   1. Uruchom równolegle, a następnie porównaj ze środowiskiem źródłowym.
      1. Testowanie aplikacji, platform analizy biznesowej i narzędzi do wykonywania zapytań.
      2. Testowanie porównawcze i optymalizowanie wydajności zapytań.
      3. Monitorowanie kosztów, zabezpieczeń i wydajności oraz zarządzanie nimi.
   2. Benchmarking i ocena zarządzania.
5. Optymalizowanie i modernizowanie
   1. Gdy firma jest gotowa, zmigruj aplikacje i podstawowe platformy raportowania do Fabric.
      1. Skalowanie zasobów w górę/w dół w miarę przenoszenia obciążeń z usługi Azure Synapse Analytics do usługi Microsoft Fabric.
      2. Utwórz powtarzalny szablon na podstawie doświadczenia zdobytego na potrzeby przyszłych migracji. Iteruj.
      3. Identyfikowanie możliwości optymalizacji kosztów, zabezpieczeń, skalowalności i doskonałości operacyjnej
      4. Zidentyfikuj możliwości modernizacji środowiska danych dzięki najnowszym funkcjom Fabric.

'Przenieść i uruchomić' czy modernizować?

Ogólnie rzecz biorąc, istnieją dwa typy scenariuszy migracji, niezależnie od celu i zakresu planowanej migracji: lift and shift as-is lub podejścia etapowego, które obejmuje zmiany architektury i kodu.

Przeniesienie i umieszczenie

Podczas migracji metodą "lift and shift" istniejący model danych zostaje przeniesiony z drobnymi zmianami do nowej Hurtowni Danych Fabryki. Takie podejście minimalizuje ryzyko i czas migracji, zmniejszając nowe prace potrzebne do realizacji korzyści związanych z migracją.

Migracja w modelu "lift and shift" jest odpowiednia dla następujących scenariuszy:

• Masz istniejące środowisko z niewielką liczbą hurtowni danych do migracji.
• Masz istniejące środowisko z danymi, które są już w dobrze zaprojektowanym schemacie gwiazdy lub płatka śniegu.
• Jesteś pod presją czasu i kosztów, aby przejść do Magazynu Tkanin.

Podsumowując, to podejście dobrze sprawdza się w przypadku obciążeń zoptymalizowanych pod kątem bieżącego środowiska dedykowanych pul SQL usługi Synapse i dlatego nie wymaga istotnych zmian w usłudze Fabric.

Modernizuj w podejściu etapowym ze zmianami architektury

Jeśli starszy magazyn danych ewoluował przez długi czas, może być konieczne ponowne zaprojektowanie go w celu zachowania wymaganych poziomów wydajności.

Możesz również przeprojektować architekturę, aby skorzystać z nowych silników i funkcji dostępnych w Fabric Workspace.

Różnice projektowe: dedykowane pule SQL w Synapse i magazyn Fabric

Rozważ następujące różnice między usługą Azure Synapse a Microsoft Fabric w zakresie magazynowania danych, porównując dedykowane pule SQL z Magazynem Fabric.

Rozważania dotyczące tabeli

Podczas migrowania tabel między różnymi środowiskami zazwyczaj tylko nieprzetworzone dane i metadane są migrowane fizycznie. Inne elementy bazy danych z systemu źródłowego, takie jak indeksy, zwykle nie są migrowane, ponieważ mogą być niepotrzebne lub zaimplementowane inaczej w nowym środowisku.

Optymalizacje wydajności w środowisku źródłowym, takie jak indeksy, wskazują, gdzie można dodać optymalizację wydajności w nowym środowisku, ale teraz Fabric automatycznie zajmuje się tym za Ciebie.

Zagadnienia dotyczące języka T-SQL

Istnieje kilka różnic składni języka manipulowania danymi (DML), o których należy pamiętać. Zapoznaj się z obszarem powierzchni języka T-SQL w usłudze Fabric Data Warehouse. Rozważ również ocenę kodu podczas wybierania metod migracji dla kodu bazy danych (DML).

W zależności od różnic parzystości w czasie migracji może być konieczne ponowne zapisywanie części kodu DML języka T-SQL.

Różnice mapowania typów danych

Istnieje kilka różnic typów danych w Fabric Warehouse. Aby uzyskać więcej informacji, zobacz Typy danych w usłudze Microsoft Fabric.

Poniższa tabela zawiera mapowanie obsługiwanych typów danych z dedykowanych pul SQL usługi Synapse do usługi Fabric Warehouse.

* Datetime2 nie przechowuje dodatkowych informacji o przesunięciach strefy czasowej, które są przechowywane. Ponieważ typ danych datetimeoffset nie jest obecnie obsługiwany w Fabric Warehouse, dane dotyczące przesunięcia strefy czasowej muszą zostać wyodrębnione do oddzielnej kolumny.

Powiązana zawartość

• Tworzenie magazynu w usłudze Microsoft Fabric
• Wytyczne dotyczące wydajności magazynu danych fabryki
• Zabezpieczenia magazynowania danych w usłudze Microsoft Fabric
• Blog: Przypisywanie dedykowanych pul SQL systemu Azure Synapse do obliczeń hurtowni danych Fabric
• Omówienie migracji usługi Microsoft Fabric