CI/CD- und ALM-Lösungsarchitekturen für Dataflow Gen2

Microsoft Fabric bietet Tools für kontinuierliche Integration/kontinuierliche Bereitstellung (CI/CD) und Application Lifecycle Management (ALM). Diese Tools helfen Teams beim Erstellen, Testen und Bereitstellen von Datenlösungen mit Konsistenz und Governance.

Dataflow Gen2 mit CI/CD-Unterstützung integriert Datenströme in Fabric-Bereitstellungspipelines. Diese Integration automatisiert Build-, Test- und Bereitstellungsphasen. Sie bietet eine konsistente, versionsgesteuerte Übermittlung von Datenflüssen und verbessert die Zuverlässigkeit, indem Dataflow Gen2 in die Pipeline-Orchestrierung von Fabric eingebettet wird.

Dieser Artikel enthält Anleitungen zu Lösungsarchitekturen für Ihre Dataflow- und verwandten Fabric-Elemente unter Berücksichtigung von CI/CD und ALM. Sie können diese Anleitung verwenden, um eine Lösung zu erstellen, die Ihren Anforderungen entspricht. Dieser Artikel konzentriert sich auf zwei spezifische Ziele:

• Konsistenz: Halten Sie das Mashupskript Ihres Dataflows im gesamten Anwendungslebenszyklus (oder Bereitstellungsphasen in einer Bereitstellungspipeline) unverändert.
• Phasenspezifische Konfiguration: Verwenden Sie dynamische Verweise für Datenquellen und Ziele, die sich an jede Phase anpassen (Dev, Test, Prod).

Lösungsarchitekturen

Eine gute Lösungsarchitektur funktioniert für Ihre Dataflow Gen2 und erweitert sich über Ihre gesamte Fabric-Lösung.

In der folgenden Tabelle werden die verfügbaren Lösungsarchitekturen bei Verwendung eines Dataflow Gen2 behandelt:

Typ	Description	Diagramm	Tutorial
Parametrisierter Datenfluss Gen2	Mithilfe des Modus für öffentliche Parameter können Sie Datenflusskomponenten wie Logik, Quellen oder Ziele parametrisieren und Laufzeitwerte übergeben, um den Dataflow basierend auf der Pipelinephase dynamisch anzupassen.		Link zum Lernprogramm
Variablenverweise in einem Dataflow Gen2	Mithilfe der Integration von Variablenbibliotheken in Dataflow Gen2 können Sie während des gesamten Dataflows auf Variablen verweisen. Diese Variablen werden zur Laufzeit basierend auf in der Bibliothek gespeicherten Werten ausgewertet und ermöglichen das dynamische Verhalten, das an der Pipelinephase ausgerichtet ist.		Link zum Lernprogramm

Der Hauptunterschied zwischen diesen beiden Ansätzen liegt in der Art und Weise, wie Werte zur Laufzeit übergeben werden. Ein parametrisierter Dataflow erfordert einen Prozess über die REST-API oder die Fabric-Pipeline-Dataflow-Aktivität , um Werte zu übergeben. Für die Integration von Variablenbibliotheken in Dataflow Gen2 ist eine Variablebibliothek auf Arbeitsbereichsebene und die richtigen Variablen erforderlich, auf die innerhalb des Dataflow verwiesen wird.

Beide Optionen sind gültig und verfügen über eigene Überlegungen und Einschränkungen. Es wird empfohlen, zu bewerten, wie Ihr Workflow funktioniert und wie er in Ihre gesamte Fabric-Lösung passt.

Allgemeine Hinweise

Hier sind Dinge, die Sie bei der Auswahl einer Lösungsarchitektur mit CI/CD und ALM berücksichtigen sollten:

• Standardverweise: Dataflow Gen2 erstellt standardmäßig absolute Verweise auf Fabric-Elemente (z. B. Lakehouses, Warehouses). Überprüfen Sie Ihren Dataflow, um zu ermitteln, welche Verweise fest bleiben sollen und welche dynamisch in allen Umgebungen angepasst werden sollen.
• Verbindungsverhalten: Dataflow Gen2 unterstützt keine dynamische Neukonfiguration von Datenquellenverbindungen. Wenn Ihr Dataflow eine Verbindung mit Quellen wie SQL-Datenbanken mithilfe von Parametern herstellt (z. B. Servername, Datenbankname), werden diese Verbindungen statisch gebunden und können nicht mithilfe von Arbeitsbereichsvariablen oder Parameterisierung geändert werden.
• Git-Integrationsbereich: Es wird empfohlen, dass nur die erste Phase (in der Regel Dev) die Git-Integration aktiviert ist. Sobald das Mashup-Skript erstellt und zugesichert wurde, können nachfolgende Phasen Bereitstellungspipelinen ohne Git verwenden.
• Verwenden Sie Fabric-Pipelines zur Orchestrierung: Eine Dataflow-Aktivität in Pipelines kann Ihnen helfen, die Ausführung Ihres Dataflows zu steuern und Parameter über eine intuitive Benutzeroberfläche zu übergeben. Sie können auch die Integration der Variablenbibliothek in Pipelines verwenden, um die Werte aus den Variablen abzurufen und diese Werte zur Laufzeit an die Dataflow-Parameter zu übergeben.
• Kompatibilität von Bereitstellungsregeln: Derzeit können Bereitstellungsregeln bestimmte Elementeigenschaften ändern, aber keine Änderung von Datenflussverbindungen oder Mashuplogik unterstützen. Planen Sie Ihre Architektur entsprechend.
• Tests in allen Phasen: Validieren Sie immer das Dataflow-Verhalten in jeder Phase nach der Bereitstellung. Unterschiede in Datenquellen, Berechtigungen oder Variablenwerten können zu unerwarteten Ergebnissen führen.