Freigeben über

Bewährte Methoden für die Migration für Azure Data Factory zu Fabric Data Factory

Microsoft Fabric vereint die Analysetools von Microsoft in einer einzigen SaaS-Plattform, die robuste Funktionen für die Workflow-Orchestrierung, Datenverschiebung, Replikation und Transformation im großen Maßstab bietet. Fabric Data Factory baut auf Azure Data Factory (ADF) auf und ist daher eine ideale Wahl für die Modernisierung von Datenintegrationslösungen.

In diesem Leitfaden werden Migrationsstrategien, Überlegungen und Ansätze erläutert, die Ihnen beim Upgrade von Azure Data Factory auf Fabric Data Factory helfen.

Überlegungen vor der Migration

Bevor Sie migrieren, bewerten Sie, was wiederverwendet, übersetzt oder neu gestaltet werden soll. Führen Sie die folgenden Schritte aus, um einen reibungslosen Übergang sicherzustellen:

  1. Identifizieren Sie Authentifizierungsmuster, z. B. verwaltete Identität oder schlüsselbasierte Authentifizierung.
  2. Überprüfen Sie die Netzwerkanforderungen, einschließlich privater Endpunkte und Gateways.
  3. Stimmen Sie die Planung und Triggersemantik ab und richten Sie Überwachungs- und Warnungskonfigurationen aus.
  4. Vergleichen Sie ADF-Features mit ihren Fabric-Gegenstücken und notieren Sie Lücken wie SSIS oder Datenflüsse.
  5. Definieren Sie nicht funktionsfähige Ziele, z. B. SLAs, Durchsatz, Kostenlimits und Observability.
  6. Erstellen Sie ein Testszenario mit Beispiel-Datasets und erwarteten Ausgaben, um ADF- und Fabric-Ausführungen objektiv zu vergleichen.
  7. Planen Sie die Geheimnisrotation, Namenskonventionen und Arbeitsbereichstaxonomie, damit Ihre Migration nicht nur Ihre aktuelle Datenintegrationsstrategie reproduziert, sondern auch verbessert.

Ein phasenweiser Ansatz mit parallelen Validierungs- und Rollbackplänen minimiert das Risiko und ermöglicht eine schnellere Ausführung, zentrale Überwachung und eine tiefere Integration in Microsoft Fabric.

Berücksichtigen Sie bei großen Migrationen die Arbeit mit zertifizierten Microsoft-Partnern oder Ihrem Microsoft-Kontoteam, um Anleitungen zu erhalten.

Verbindungen, verknüpfte Dienste und Datasets

In Azure Data Factory (ADF) definieren verknüpfte Dienste und Datasets Verbindungen und Datenstrukturen. In Fabric sind diese Verbindungen und Aktivitätseinstellungen zugeordnet, wobei der Schwerpunkt auf der Wiederverwendung und verwalteten Identität auf Arbeitsbereichsebene liegt. Hier erfahren Sie, wie Sie Ihre ADF-Ressourcen anpassen:

  1. Überprüfen Sie die Verbindungskontinuität der Konnektoren zwischen Azure Data Factory und Fabric, um die Unterstützung für Ihre Datenquellen und Zielspeicher zu bestätigen.
  2. Konsolidieren Sie redundante Verbindungen, um die Verwaltung zu optimieren.
  3. Nutzen Sie verwaltete Identitäten für sichere und konsistente Authentifizierung.
  4. Standardisieren Sie die Ordner- und Tabellenparameterisierung mithilfe eindeutiger Benennungskonventionen, z. B.: conn-sql-warehouse-sales oder ds-lh-raw-orders.

Um Konsistenz und Skalierbarkeit zu gewährleisten, dokumentieren Sie jede Quelle und jedes Ziel vollständig mit:

  • Besitzer
  • Vertraulichkeitsstufen
  • Wiederholungseinstellungen

Diese Dokumentation hilft beim Templatisieren von Abläufen über Pipelines hinweg und verbessert die Governance.

Integrationslaufzeiten und OPDG, virtuelles Netzwerkgateway

Azure Data Factory (ADF) verwendet Integration Runtimes (IRs), um Computeressourcen für die Datenverarbeitung zu definieren. Dazu gehören:

  • Cloud-IRs für von Azure gehostete Compute.
  • Selbst gehostete IRs (SHIRs) für lokale oder privat vernetzte Quellen.
  • SSIS-IRs für SQL Server Integration Services.
  • VNet-fähige IRs für sichere Netzwerkkonnektivität.

In Fabric werden diese zugeordnet zu Cloudausführung, On-Premises-Datengateway (OPDG) und Virtuelles Netzwerk-Datengateway. Hier erfahren Sie, wie Sie Ihre Migration planen:

  1. Identifizieren Sie Pipelines, die auf SHIRs basieren, und planen Sie die Gatewayzuordnung und die Durchsatzplanung.
  2. Überprüfen Sie DNS, Ausgang, Firewallregeln und Authentifizierung für jeden Connector.
  3. Testen Sie Failoverszenarien, um die Zuverlässigkeit sicherzustellen.
  4. Migrieren Sie nach Möglichkeit zu privaten Endpunkten oder virtuellen Netzwerkdatengateways, um Sicherheitsüberprüfungen zu vereinfachen und den Betriebsaufwand zu reduzieren.

Fabric vereinfacht die Berechnungsverwaltung mithilfe von cloudbasierten Ressourcen innerhalb Ihrer Fabric-Kapazitäten. SSIS-IRs sind in Fabric nicht verfügbar. Verwenden Sie für die lokale Konnektivität das lokale Datengateway (OPDG). Verwenden Sie für die sichere Netzwerkkonnektivität das Virtuelle Netzwerkdatengateway.

Bei der Migration:

  • Azure-IRs für öffentliche Netzwerke müssen nicht verschoben werden.
  • Erstellen Sie SHIRs als OPDGs neu.
  • Ersetzen Sie VNet-fähige Azure-IRs durch Virtual Network Data Gateways.

Unterschiede bei Pipelineaktivitäten

Alle Kernaktivitäten in Azure Data Factory (ADF), z. B. "Kopieren", "Nachschlagen", "Gespeicherte Prozedur/SQL-Skript", "Web" und "Steuerungsfluss", verfügen über direkte Entsprechungen in Fabric. Es gibt jedoch einige Unterschiede bei Eigenschaften, Ausdruckssyntax und Grenzwerten. Überprüfen Sie bei der Migration Folgendes:

  • Richtlinien für Wiederholungen und Zeitlimits.
  • Paginierungseinstellungen für REST-Quellen.
  • Konfigurationen für binäre und tabellarische Kopien.
  • Foreach- und Filtermuster.
  • Systemvariablen, die in dynamischen Inhalten verwendet werden.

Fabric bietet häufig nativere Optionen für bestimmte Aufgaben. Verwenden Sie z. B. SQL-Skript in einem Warehouse anstelle eines allgemeinen gespeicherten Prozeduraufrufs, um eine bessere Nachvollziehbarkeit und Überwachung zu ermöglichen. Um die Migration zu optimieren, zentralisieren Sie allgemeine Ausdrücke wie Pfade, Datumsangaben und mandantenspezifische URIs in Pipelineparameter. Dies reduziert Drift und beschleunigt tests.

Weitere Informationen finden Sie unter Aktivitätskontinuität zwischen Azure Data Factory und Fabric.

Unterschiede bei Datenflüssen

Azure Data Factory (ADF)- Zuordnungsdatenflüsse ordnen Fabric nicht direkt zu. Stattdessen überarbeiten Sie sie normalerweise mit einer der folgenden Optionen:

  • Dataflow Gen2 für Rowset-Transformationen und gesteuerte Low-Code-Transformationen.
  • Fabric Warehouse SQL für satzbasierte ELT-Aufgaben wie MERGE- oder ELT-Vorgänge nahe an den Daten.
  • Spark-Notebooks für fortgeschrittene Transformationen, komplexe Logik oder großangelegte Verarbeitung.

Überprüfen Sie bei der Migration Folgendes:

  • Datentypen und Nullbehandlung.
  • Ersatzschlüssel und langsam veränderliche Dimensionen.
  • Idempotente ELT-Muster, z. B. Staging und MERGE, um vorhersehbare Wiederholungen sicherzustellen.

Migrationsszenarien finden Sie unter Migrieren von Dataflow Gen1 zu Dataflow Gen2.

Azure Marketplace-Partnerangebote

Vertrauenswürdige Migrationspartner, z. B. Bitwise Global, stellen Tools bereit, die Ihnen bei der Migration helfen. Diese Tools können:

  • Scannen Sie Ihre Azure Data Factory (ADF)-Umgebung.
  • Generieren Sie Fabric-Zielartefakte.
  • Durchführung von Auswirkungsanalysen und Herkunftsverfolgung.
  • Erstellen Sie automatisierte Testpläne.

Diese Lösungen sind besonders hilfreich, wenn Sie folgendes haben:

  • Hunderte von Pipelines.
  • Vielfältige Verbinder.
  • Strenge Ausfallzeitsanforderungen.

Partnertools standardisieren Zuordnungsregeln, generieren Konvertierungsberichte und führen parallele Überprüfungstests aus. Auf diese Weise können Sie Zeilenanzahlen, Prüfsummen und Leistung zwischen Ihren alten und neuen Umgebungen vergleichen. Auch wenn Sie keinen Partner für die gesamte Migration verwenden, können die Ermittlungs- und Bewertungsmodule Ihnen helfen, Ihre interne Planung zu starten und Unsicherheiten zu reduzieren.

Verwenden von KI-Tools

Große Sprachmodelle (LLMs) wie Microsoft Copilot, ChatGPT und Claude können Migrationsaufgaben beschleunigen. Diese Tools sind nützlich für:

  • Refaktorisierung von Ausdrücken.
  • Konvertieren von AZURE Data Factory (ADF)-JSON in Fabric-Syntax.
  • Schreiben von MERGE-Anweisungen.
  • Generieren von Verbindungsvorlagen.
  • Entwerfen von Validierungsskripts.

Sie können sie auch verwenden, um Dokumentationen zu erstellen, z. B. Runbooks, Datenwörterbücher und Migrationsprüflisten, um sicherzustellen, dass Techniker und Operatoren aufeinander abgestimmt bleiben. Behalten Sie diese Tools jedoch im Auge, nicht die Kontrolle übernehmen:

  • Vermeiden Sie das Einfügen vertraulicher Informationen in KI-Tools.
  • Überprüfen aller Elemente in einer Entwicklungsumgebung.
  • Verwenden Sie automatisierte Tests wie Zeilenanzahlen, Schemavergleiche und Geschäftsregelprüfungen, um subtile Probleme wie Typkonflikte oder gebietsschemaspezifische Datumsanalyse zu erfassen.

Weitere Informationen finden Sie unter Verwenden von Copilot in Data Factory und AI in Microsoft Fabric.

Migrationspfade

Migrationspfade hängen von Ihren ADF-Ressourcen und deren Featureparität ab. Zu den Optionen gehören:

Verwandte Inhalte

Vergleichen von Azure Data Factory mit Data Factory in Fabric

  • Last updated on