Używanie przejściowej bazy danych na potrzeby migracji danych

Ta architektura referencyjna wyróżnia strategiczną rolę przejściowej bazy danych w dużych i złożonych migracjach danych. Zamiast przesyłać dane bezpośrednio z systemu źródłowego do środowiska docelowego, proces wprowadza pośrednią warstwę tymczasową. Dane są najpierw ładowane do tymczasowej bazy danych etapowej migracji, gdzie poddawane są transformacji i walidacji. Dopiero po wykonaniu tych kroków dane są ładowane do usługi Dataverse. Ten wzorzec poprawia jakość danych, zapewnia integralność i zmniejsza prawdopodobieństwo błędów podczas procesu migracji.

Diagram architektury

Dataflow

• Wyodrębnianie: dane są wyodrębniane z systemów źródłowych.
• Etap: dane są ładowane do źródłowej bazy danych przejściowej.
• Przekształcanie: skrypty migracji przetwarzają i przekształcają dane.
• Ładowanie: przekształcone dane są ładowane do docelowej przejściowej bazy danych.
• Weryfikowanie: szablony programu Excel są używane do weryfikowania danych głównych.
• Integracja: Narzędzia do migracji danych ładują dane do usługi Dataverse i plików do usługi Azure Blob lub SharePoint.

Components

• System źródłowy: oryginalne źródło danych, które może obejmować starsze bazy danych, systemy ERP lub aplikacje innych firm.
• Tymczasowa baza danych: tymczasowy, pośredni magazyn danych używany do pozyskiwania, przekształcania i weryfikowania danych przed ostateczną migracją. Ta warstwa rozdziela systemy źródłowe i docelowe, co umożliwia kontrolowanie i przeprowadzanie inspekcji przygotowywania danych.
• Proces ETL/ELT: potoki wyodrębniania, przekształcania i ładowania (lub wyodrębniania, ładowania, przekształcania), które przenoszą dane ze źródła do przejściowej bazy danych, stosują reguły biznesowe i przygotowują je do usługi Dataverse.
• Dane referencyjne: dane używane do weryfikowania i wzbogacania danych głównych podczas migracji. Na przykład szablony danych głównych programu Excel.
• Dataverse: docelowy system, w którym oczyszczone i zweryfikowane dane są ostatecznie ładowane do użycia w aplikacjach platformy Power Platform.
• Magazyn plików: magazyn danych bez struktury, takich jak załączniki i dokumenty. Na przykład usługa Azure Blob Storage lub SharePoint.

Szczegóły scenariusza

Ta architektura działa dobrze w scenariuszach, w których:

• System źródłowy zawiera duże ilości danych lub złożonych struktur relacyjnych, które wymagają przekształcenia przed pozyskaniem danych do usługi Dataverse.
• Migracja bezpośrednia nie jest możliwa z powodu problemów z jakością danych, niezgodności schematów ani konieczności wymuszania reguł biznesowych.
• Proces migracji musi być możliwy do inspekcji, powtarzalny i obsługuje wycofywanie lub ponowne przetwarzanie określonych segmentów danych.
• Organizacja wymaga podejścia etapowego lub przyrostowego, takiego jak podczas modernizacji systemu lub projektu przejścia do chmury.

Przykładowe przypadki użycia

• Migrowanie danych klientów i transakcji z lokalnego systemu ERP do usługi Dataverse do użycia w usługach Power Apps i Power Automate.
• Konsolidowanie danych z wielu starszych systemów w ujednoliconym środowisku usługi Dataverse.
• Wykonywanie wstępnego wzbogacania danych, takich jak geokodowanie adresów lub mapowanie przestarzałych kodów na nowe taksonomie.

Najważniejsze korzyści

• Kontrola jakości danych: warstwa przejściowa umożliwia dokładną walidację i transformację, zanim dane dotrą do środowiska produkcyjnego.
• Izolacja błędów: problemy można zidentyfikować i rozwiązać w środowisku przejściowym bez wpływu na systemy źródłowe lub docelowe.
• Skalowalność: obsługuje duże ilości danych i złożoną logikę przekształcania.
• Inspekcja: umożliwia śledzenie pochodzenia danych i historii transformacji.

Rozważania

Te rozważania wdrażają filary Power Platform Well-Architected, zestaw zasad przewodnich, które poprawiają jakość obciążenia. Dowiedz się więcej w Microsoft Power Platform artykule Dobrze zaprojektowane środowisko.

Reliability

• Zaprojektuj proces przemieszczania i migracji, aby był odporny na błędy. Zaimplementuj logikę ponawiania prób i punktów kontrolnych w potokach ETL, aby obsługiwać błędy przejściowe.
• Przed załadowaniem danych do usługi Dataverse zweryfikuj kompletność i integralność danych, aby uniknąć częściowych lub uszkodzonych migracji.

Zabezpieczenia

• Zastosuj kontrolę dostępu opartą na rolach (RBAC), aby ograniczyć dostęp do przejściowej bazy danych i narzędzi migracji.
• Szyfrowanie danych magazynowanych i przesyłanych, szczególnie w przypadku obsługi poufnych lub osobistych danych.
• Rejestrowanie i monitorowanie dostępu do środowiska testowego i środowiska Dataverse w celu spełnienia wymagań audytu i zgodności.

Efektywność operacyjna

• Zoptymalizuj logikę wyodrębniania i przekształcania danych, aby zminimalizować czas przetwarzania i zużycie zasobów.
• W razie potrzeby używaj przetwarzania wsadowego i równoległości, aby efektywnie obsługiwać duże ilości danych.
• Monitorowanie metryk wydajności środowiska przejściowego i dostosowywanie zasobów obliczeniowych zgodnie z potrzebami.

Doskonałość operacyjna

• Dokumentowanie procesu migracji, w tym mapowań danych, reguł przekształcania i logiki walidacji.
• Zaimplementuj skrypty zautomatyzowanego testowania i walidacji, aby zapewnić powtarzalność i zmniejszyć liczbę błędów ludzkich.
• Użyj narzędzi orkiestracji, takich jak Usługa Azure Data Factory, aby zarządzać przepływem pracy migracji kompleksowej i monitorować go.

Następny krok

W następnym artykule przedstawiono sprawdzone podejście do zarządzania migracjami na dużą skalę. Jednym z największych wyzwań związanych ze skomplikowanymi migracjami jest śledzenie załadowanych danych, obsługa błędów i ponawianie nieudanych rekordów. Ponieważ te migracje mogą obejmować kilka dni lub nawet tygodni, należy użyć strategii etapowej. Ta strategia migruje tylko dane różnicowe podczas ostatecznego przejścia produkcyjnego w celu zminimalizowania zakłóceń.