Moderner Evaluator für Dataflow Gen2 mit CI/CD (Vorschau)

Das Modern Query Evaluation Engine (auch bekannt als "Modern Evaluator") ist ein neues Vorschaufeature für Dataflow Gen2 (mit CI/CD-Unterstützung) in Microsoft Fabric. Es stellt ein neues Abfrageausführungsmodul bereit, das auf .NET Core Version 8 ausgeführt wird, wodurch die Leistung von Datenflüssen in einigen Szenarien erheblich verbessert werden kann.

Datenflüsse, die den modernen Evaluator ausführen, könnten möglicherweise einige der folgenden wichtigen Vorteile sehen:

• Schnellere Datenflussausführung: Das moderne Modul kann die Abfrageauswertungszeit erheblich reduzieren. Viele Datenflüsse werden deutlich schneller ausgeführt, sodass Sie Daten häufiger aktualisieren oder enge Aktualisierungsfenster erfüllen können.

• Effizientere Verarbeitung: Die Engine ist für Effizienz optimiert, mit verbesserten Algorithmen und einer modernen Ausführungsumgebung. Dies bedeutet, dass komplexe Transformationen mit weniger Aufwand verarbeitet werden können, was dazu beiträgt, die Leistung zu gewährleisten, wenn ihr Datenvolume wächst.

• Skalierbarkeit und Zuverlässigkeit: Durch die Beschleunigung der Ausführung und Verringerung von Engpässen hilft der moderne Evaluator, Datenflüsse auf größere Volumes mit größerer Stabilität zu skalieren. Kunden können bei Verwendung des neuen Moduls konsistentere Aktualisierungsdauern und weniger Timeoutprobleme bei großen Datenflüssen erwarten.

Aktivieren des modernen Evaluators

Führen Sie die folgenden Schritte aus, um das Moderne Abfrageauswertungsmodul für einen Datenfluss zu aktivieren:

1. Öffnen Sie den Datenfluss zum Bearbeiten: Navigieren Sie in Fabric Data Factory zu Ihrem Dataflow Gen2 (CI/CD)-Element, und öffnen Sie ihn im Power Query-Editor.

2. Wechseln Sie zu "Optionen" (Skalierungseinstellungen):Wählen Sie im Datenfluss-Editor das Menü "Optionen" aus. Wählen Sie im Dialogfeld "Optionen" die Option auf der Registerkarte "Skalieren" aus.

3. Aktivieren Sie den modernen Evaluator: Suchen Sie die Einstellung für das Moderne Abfrageauswertungsmodul (Vorschau). Aktivieren Sie diese Option (durch Auswahl oder Umschalten).

   

4. Speichern und ausführen: Speichern Sie die Datenflusseinstellungen. Wenn Sie den Datenfluss das nächste Mal ausführen, verwendet er den Modern Evaluator für unterstützte Konnektoren.

Unterstützte Anschlüsse

Das moderne Abfrageausführungs-Engine unterstützt eine begrenzte Gruppe von Datenanschlüssen. Stellen Sie sicher, dass die Datenquellen ihres Datenflusses zu den unterstützten Typen gehören, um die Vorteile des neuen Moduls zu nutzen. Derzeit unterstützte Anschlüsse umfassen:

• Azure Blob Storage
• Azure Data Lake Storage Gen2
• Fabric Lakehouse
• Fabric Warehouse
• OData
• Power Platform Dataflows
• SharePoint Online-Liste
• SharePoint-Ordner
• Web

Wenn ein Datenfluss Connectors verwendet, die nicht in dieser Liste enthalten sind, werden diese Abfragen weiterhin mit dem Standardmodul (Legacy) ausgeführt. Die Unterstützung für zusätzliche Connectoren wird im Laufe der Zeit erweitert, da die Funktion auf eine breitere Verfügbarkeit zusteuert.

Leistungsüberlegungen

Durch den Wechsel zum modernen Auswertungsmodul sollten Sie vor allem bei datenintensiven Abläufen schnellere Aktualisierungszeiten beobachten. Beispielsweise können Datentransformationen, die zuvor eine Stunde dauerten, ungefähr die Hälfte der Zeit abgeschlossen werden, wobei der moderne Evaluator aktiviert ist (die tatsächlichen Ergebnisse variieren je nach Ihren Szenarien). Diese Leistungssteigerung hilft in Szenarien wie:

• Große Datenmengen: Beim Umgang mit Millionen von Zeilen oder großen Dateien kann die Optimierung des neuen Moduls die Verarbeitungszeit verkürzen und die Speicherauslastung verringern.

• Komplexe Transformationen: Datenflüsse mit vielen Transformationsschritten oder schweren Vorgängen (z. B. Verknüpfungen über große Tabellen) profitieren vom verbesserten Ausführungsplan des Moduls, was zu einem reibungsloseren und schnelleren Abschluss führt.

• Häufige Ausführungszeitpläne: Wenn Ihre Datenflüsse mehrmals pro Tag ausgeführt werden, können sich die Zeiteinsparungen pro Aktualisierung kumulieren, sodass Sie aktuelle Daten für Benutzer schneller bereitstellen können.