Verwenden Sie eine Staging-Datenbank für die Datenmigration

Diese Referenzarchitektur hebt die strategische Rolle einer Stagingdatenbank in umfangreichen und komplexen Datenmigrationen hervor. Anstatt Daten direkt vom Quellsystem in die Zielumgebung zu übertragen, führt der Prozess eine Zwischen-Staging-Ebene ein. Daten werden zuerst in eine temporäre Migrations-Staging-Datenbank aufgenommen, wo sie transformiert und validiert werden. Erst nach Abschluss dieser Schritte werden die Daten in Dataverse geladen. Dieses Muster verbessert die Datenqualität, stellt integrität sicher und reduziert die Wahrscheinlichkeit von Fehlern während des Migrationsprozesses.

Architekturdiagramm

Datenfluss

• Extrakt: Daten werden aus Quellsystemen extrahiert.
• Phase: Daten werden in die Quell-Stagingdatenbank geladen.
• Transformieren: Migrationsskripts verarbeiten und transformieren die Daten.
• Laden: Transformierte Daten werden in die Ziel-Stagingdatenbank geladen.
• Validieren: Excel-Vorlagen werden verwendet, um Masterdaten zu überprüfen.
• Integrieren: Datenmigrationstools laden Daten in Dataverse und Dateien in Azure Blob oder SharePoint hoch.

Komponenten

• Quellsystem: Die ursprüngliche Datenquelle, die ältere Datenbanken, ERP-Systeme oder Nicht-Microsoft-Anwendungen umfassen kann.
• Stagingdatenbank: Ein temporärer Zwischendatenspeicher, der zum Aufnehmen, Transformieren und Überprüfen von Daten vor der endgültigen Migration verwendet wird. Diese Ebene entkoppelt die Quell- und Zielsysteme, sodass kontrollierte und auditierbare Daten vorbereitet werden können.
• ETL/ELT-Prozess: Extrahieren, Transformieren und Laden (oder Extrahieren, Laden, Transformieren)-Pipelines, die Daten aus der Quelle in die Stagingdatenbank verschieben, Geschäftsregeln anwenden und auf Dataverse vorbereiten.
• Referenzdaten: Daten, die zum Überprüfen und Anreichern von Stammdaten während der Migration verwendet werden. Beispiel: Excel-Masterdatenvorlagen.
• Dataverse: Das Zielsystem, in dem die bereinigten und validierten Daten letztendlich für die Verwendung in Power Platform-Anwendungen geladen werden.
• Dateispeicher: Speicher für unstrukturierte Daten wie Anlagen und Dokumente. Beispiel: Azure Blob Storage oder SharePoint.

Einzelheiten zum Szenario

Diese Architektur eignet sich gut für Szenarien, in denen:

• Das Quellsystem enthält große Datenmengen oder komplexe relationale Strukturen, die eine Transformation vor der Aufnahme in Dataverse erfordern.
• Die direkte Migration ist aufgrund von Problemen mit der Datenqualität, Schemakonflikten oder der Notwendigkeit der Durchsetzung von Geschäftsregeln nicht machbar.
• Der Migrationsprozess muss auditierbar, wiederholbar sein und das Rollback oder die Erneute Verarbeitung bestimmter Datensegmente unterstützen.
• Die Organisation erfordert einen phasenweisen oder inkrementellen Migrationsansatz, z. B. während einer Systemmodernisierung oder eines Cloudübergangsprojekts.

Beispielhafte Anwendungsfälle

• Migrieren von Kunden- und Transaktionsdaten aus einem lokalen ERP-System zu Dataverse zur Verwendung in Power Apps und Power Automate.
• Konsolidieren von Daten aus mehreren Legacysystemen in einer einheitlichen Dataverse-Umgebung.
• Durchführen der anfänglichen Datenanreicherung, wie Geocodieren von Adressen oder Zuordnung von Legacycodes zu neuen Taxonomien.

Hauptvorteile

• Datenqualitätssicherung: Die Staging-Schicht ermöglicht eine gründliche Überprüfung und Transformation, bevor Daten die Produktionsumgebung erreichen.
• Fehlerisolation: Probleme können in der Stagingumgebung identifiziert und behoben werden, ohne dass sich dies auf die Quell- oder Zielsysteme auswirkt.
• Skalierbarkeit: Unterstützt große Datenmengen und komplexe Transformationslogik.
• Auditierbarkeit: Ermöglicht die Nachverfolgung von Datenlinien und Transformationsverlauf.

Überlegungen

Diese Überlegungen implementieren die Säulen von Power Platform Well-Architected, eine Reihe von Leitprinzipien, welche die Qualität einer Workload verbessern. Weitere Informationen finden Sie unter Microsoft Power Platform Well-Architected.

Zuverlässigkeit

• Entwerfen Sie den Staging- und Migrationsprozess so, dass er ausfallsicher ist. Implementieren Sie Wiederholungslogik und Prüfpunkterstellung in ETL-Pipelines, um vorübergehende Fehler zu behandeln.
• Überprüfen Sie die Vollständigkeit und Integrität der Daten, bevor Sie Daten in Dataverse laden, um partielle oder beschädigte Migrationen zu vermeiden.

Sicherheit

• Wenden Sie die rollenbasierte Zugriffssteuerung (RBAC) an, um den Zugriff auf die Stagingdatenbank und migrationstools einzuschränken.
• Verschlüsseln Sie Daten bei der Speicherung und Übertragung, insbesondere beim Umgang mit vertraulichen oder personenbezogenen Daten.
• Protokollieren und überwachen Sie den Zugriff auf die Stagingumgebung und Dataverse, um Überwachungs- und Complianceanforderungen zu unterstützen.

Leistungseffizienz

• Optimieren Sie die Datenextraktions- und Transformationslogik, um die Verarbeitungszeit und den Ressourcenverbrauch zu minimieren.
• Verwenden Sie die Batchverarbeitung und Parallelität, wenn dies geeignet ist, um große Datenvolumes effizient zu verarbeiten.
• Überwachen Sie die Leistungsmetriken der Stagingumgebung, und passen Sie die Computeressourcen nach Bedarf an.

Operative Exzellenz

• Dokumentieren Sie den Migrationsprozess, einschließlich Datenzuordnungen, Transformationsregeln und Validierungslogik.
• Implementieren Sie automatisierte Test- und Validierungsskripts, um die Wiederholbarkeit zu gewährleisten und menschliche Fehler zu reduzieren.
• Verwenden Sie Orchestrierungstools wie Azure Data Factory zum Verwalten und Überwachen des End-to-End-Migrationsworkflows.

Nächster Schritt

Im nächsten Artikel wird ein bewährter Ansatz für die Verwaltung von Migrationen im großen Maßstab beschrieben. Eine der größten Herausforderungen bei komplexen Migrationen besteht darin, geladene Daten zu verfolgen, Fehler zu behandeln und fehlgeschlagene Datensätze erneut zu versuchen. Da diese Migrationen Tage oder sogar Wochen umfassen können, verwenden Sie eine phasenweise Strategie. Diese Strategie migriert während des endgültigen Produktionswechsels nur die Delta-Daten, um Unterbrechungen zu minimieren.