Évaluateur moderne pour Dataflow Gen2 avec CI/CD (préversion)

Le moteur d’évaluation des requêtes moderne (également appelé « Évaluateur moderne ») est une nouvelle fonctionnalité d’évaluation pour Dataflow Gen2 (avec prise en charge CI/CD) dans Microsoft Fabric. Il fournit un nouveau moteur d’exécution de requête s’exécutant sur .NET Core version 8, ce qui peut améliorer considérablement les performances des exécutions de flux de données dans certains scénarios.

Les flux de données exécutant l’évaluateur moderne pourraient potentiellement voir certains de ces principaux avantages :

• Exécution plus rapide du flux de données : le moteur moderne peut réduire considérablement le temps d’évaluation des requêtes. De nombreux flux de données s’exécutent sensiblement plus rapidement, ce qui vous permet d’actualiser les données plus fréquemment ou de répondre à des fenêtres d’actualisation serrées.

• Traitement plus efficace : le moteur est optimisé pour l’efficacité, à l’aide d’algorithmes améliorés et d’un runtime moderne. Cela signifie qu’il peut gérer des transformations complexes avec moins de surcharge, ce qui permet de maintenir les performances à mesure que votre volume de données augmente.

• Scalabilité et fiabilité : en accélérant l’exécution et en réduisant les goulots d’étranglement, l’évaluateur moderne aide les flux de données à évoluer vers des volumes plus volumineux avec une plus grande stabilité. Les clients peuvent s’attendre à des durées d’actualisation plus cohérentes et à moins de problèmes de délai d’expiration sur les flux de données volumineux lors de l’utilisation du nouveau moteur.

Comment activer l’évaluateur moderne

Procédez comme suit pour activer le moteur d’évaluation des requêtes moderne pour un flux de données :

1. Ouvrez votre dataflow pour modification : dans Fabric Data Factory, accédez à votre élément Dataflow Gen2 (CI/CD) et ouvrez-le dans l’éditeur Power Query.

2. Accédez à Options (Paramètres de mise à l’échelle) : dans l’éditeur de flux de données, sélectionnez le menu Options. Dans la boîte de dialogue Options, sélectionnez l’onglet Mise à l’échelle.

3. Activer l’évaluateur moderne : recherchez le paramètre pour le moteur d’évaluation de requête moderne (version préliminaire). Activez cette option (cochez ou activez-la).

   

4. Enregistrez et exécutez : enregistrez les paramètres du flux de données. La prochaine fois que vous exécuterez le flux de données, il utilisera le Modern Evaluator pour les connecteurs pris en charge.

Connecteurs pris en charge

Le moteur d’évaluation des requêtes moderne prend en charge un ensemble limité de connecteurs de données. Vérifiez que les sources de données de votre dataflow sont parmi les types pris en charge pour tirer parti du nouveau moteur. Les connecteurs actuellement pris en charge sont les suivants :

• Stockage Blob Azure
• Azure Data Lake Storage Gen2
• Fabric Lakehouse
• Fabric Warehouse
• OData
• Power Platform Dataflows
• Liste SharePoint Online
• Dossier SharePoint
• Web

Si un dataflow n’utilise pas de connecteurs dans cette liste, ces requêtes continuent à s’exécuter avec le moteur standard (hérité). La prise en charge d’autres connecteurs s’étend au fil du temps à mesure que la fonctionnalité passe à la disponibilité générale.

Considérations relatives aux performances

En basculant vers le moteur d’évaluation moderne, vous devez observer des temps d’actualisation plus rapides, en particulier pour les flux gourmands en données. Par exemple, les transformations de données qui ont pris auparavant une heure peuvent se terminer en environ la moitié du temps avec l’évaluateur moderne activé (les résultats réels varient en fonction de vos scénarios). Cette amélioration des performances aide dans les scénarios tels que :

• Volumes de données volumineux : lorsque vous traitez des millions de lignes ou de fichiers volumineux, les optimisations du nouveau moteur peuvent raccourcir le temps de traitement et réduire l’utilisation de la mémoire.

• Transformations complexes : les flux de données avec de nombreuses étapes de transformation ou opérations lourdes (telles que des jointures sur des tables volumineuses) bénéficient du plan d’exécution amélioré du moteur, ce qui entraîne une exécution plus fluide et plus rapide.

• Planifications d’exécution fréquentes : si vos flux de données s’exécutent plusieurs fois par jour, les économies de temps par actualisation s’accumulent, ce qui vous permet de fournir des données up-to-date aux utilisateurs plus rapidement.