CI/CD を使用したデータフロー Gen2 の最新エバリュエーター (プレビュー)

モダン クエリ評価エンジン ("モダン エバリュエーター" とも呼ばれます) は、Microsoft Fabric の Dataflow Gen2 (CI/CD サポート付き) の新しいプレビュー機能です。 .NET Core バージョン 8 で実行される新しいクエリ実行エンジンが提供されます。これは、一部のシナリオでデータフロー実行のパフォーマンスを大幅に向上させることができます。

最新のエバリュエーターを実行するデータフローには、次のような主な利点が考えられます。

• データフローの実行の高速化: 最新のエンジンにより、クエリの評価時間を大幅に短縮できます。 多くのデータフローは非常に高速に実行されるため、データをより頻繁に更新したり、タイトな更新ウィンドウを満たしたりできるようになります。

• より効率的な処理:エンジンは、改良されたアルゴリズムと最新のランタイムを使用して、効率のために最適化されています。 つまり、オーバーヘッドが少なく複雑な変換を処理できるため、データ 量の増加に合わせてパフォーマンスを維持できます。

• スケーラビリティと信頼性: 実行を高速化し、ボトルネックを減らすことで、最新のエバリュエーターは、データフローをより大きなボリュームに拡張し、安定性を高めます。 お客様は、新しいエンジンを使用する場合、より一貫性のある更新期間が予想され、大規模なデータフローでのタイムアウトの問題が少なくなります。

Modern エバリュエーターを有効にする方法

データフローの最新のクエリ評価エンジンを有効にするには、次の手順に従います。

1. 編集のためにデータフローを開きます。Fabric Data Factory で、Dataflow Gen2 (CI/CD) 項目に移動し、Power Query エディターで開きます。

2. オプション (スケール設定) に移動: データフロー エディターで、[オプション] メニューを選択します。 [オプション]ダイアログボックスで、[スケール]タブを選択します。

3. モダン エバリュエーターを有効にする: モダン クエリ評価エンジン (プレビュー) の設定を見つけます。 このオプションをオンにします (オンまたは切り替え)。

   

4. 保存して実行する: データフロー設定を保存します。 次回データフローを実行すると、サポートされているコネクタに対して Modern エバリュエーターが使用されます。

サポートされているコネクタ

最新のクエリ評価エンジンでは、限られたデータ コネクタのセットがサポートされています。 新しいエンジンを利用するために、データフローのデータ ソースがサポートされている型の 1 つであることを確認します。 現在サポートされているコネクタは次のとおりです。

• Azure Blob Storage
• Azure Data Lake Storage Gen2
• Fabric Lakehouse
• Fabric Warehouse
• OData
• Power Platform のデータフロー
• SharePoint Online リスト
• SharePoint フォルダー
• ウェブ

データフローでこの一覧にないコネクタが使用されている場合、これらのクエリは引き続き標準 (レガシ) エンジンで実行されます。 機能が一般提供に向かうにつれて、より多くのコネクタのサポートが時間の経過と同時に拡大します。

パフォーマンスに関する考慮事項

最新の評価エンジンに切り替えることで、特にデータ集中型フローの更新時間が短縮されます。 たとえば、以前に 1 時間かかったデータ変換は、Modern エバリュエーターを有効にして約半分の時間で完了する可能性があります (実際の結果はシナリオによって異なります)。 このパフォーマンスの向上は、次のようなシナリオで役立ちます。

• 大量のデータ: 何百万もの行または大きなファイルを処理する場合、新しいエンジンの最適化によって処理時間が短縮され、メモリ使用量が削減されます。

• 複雑な変換: 変換ステップが多いデータフローや大量の操作 (大規模なテーブル間の結合など) は、エンジンの改善された実行プランの恩恵を受け、よりスムーズかつ迅速な完了につながります。

• 頻繁な実行スケジュール: データフローが 1 日に複数回実行される場合、更新ごとの時間の節約が蓄積され、up-to-date データをより迅速にユーザーに配信できます。