Nowoczesny ewaluator dla Dataflow Gen2 z CI/CD (Wersja zapoznawcza)

Nowoczesny silnik oceny zapytań, nazywany także "Modern Evaluator", to nowa funkcja w wersji przedpremierowej dla Dataflow Gen2 z obsługą CI/CD w usłudze Microsoft Fabric. Zapewnia on nowy aparat wykonywania zapytań uruchomiony na platformie .NET Core w wersji 8, co może znacznie poprawić wydajność przebiegów przepływu danych w niektórych scenariuszach.

Przepływy danych mogą potencjalnie skorzystać z niektórych kluczowych korzyści dzięki uruchomieniu nowoczesnego ewaluatora.

• Szybsze wykonywanie przepływu danych: nowoczesny aparat może znacznie skrócić czas oceny zapytań. Wiele przepływów danych działa znacznie szybciej, co umożliwia częstsze odświeżanie danych lub spełnianie napiętych okien odświeżania.

• Bardziej wydajne przetwarzanie: aparat jest zoptymalizowany pod kątem wydajności przy użyciu ulepszonych algorytmów i nowoczesnego środowiska uruchomieniowego. Oznacza to, że może obsługiwać złożone przekształcenia z mniejszym obciążeniem, co pomaga utrzymać wydajność w miarę wzrostu ilości danych.

• Skalowalność i niezawodność: Dzięki przyspieszeniu wykonywania oraz redukcji wąskich gardeł, nowoczesny komponent ewaluacyjny pomaga skalować przepływy danych do większych wolumenów przy zwiększonej niezawodności. Klienci mogą oczekiwać bardziej spójnych czasów trwania odświeżania i mniej problemów z limitem czasu w przypadku dużych przepływów danych przy użyciu nowego silnika.

Jak włączyć nowoczesnego ewaluatora

Wykonaj następujące kroki, aby włączyć nowoczesny aparat oceny zapytań dla przepływu danych:

1. Otwórz przepływ danych do edycji: w usłudze Fabric Data Factory przejdź do elementu Dataflow Gen2 (CI/CD) i otwórz go w edytorze Power Query.

2. Przejdź do pozycji Opcje (ustawienia skalowania): w edytorze przepływu danych wybierz menu Opcje. W oknie dialogowym Opcje wybierz kartę Skalowanie.

3. Włącz nowoczesnego ewaluatora: znajdź ustawienie nowoczesnego aparatu oceny zapytań (wersja zapoznawcza). Włącz tę opcję (zaznacz lub przełącz ją).

   

4. Zapisz i uruchom: zapisz ustawienia przepływu danych. Następnym razem, gdy uruchomisz przepływ danych, użyje nowoczesnego ewaluatora dla obsługiwanych łączników.

Obsługiwane łączniki

Nowoczesny aparat oceny zapytań obsługuje ograniczony zestaw łączników danych. Upewnij się, że źródła danych przepływu danych należą do obsługiwanych typów, aby korzystać z nowego silnika. Obecnie obsługiwane łączniki obejmują:

• Azure Blob Storage
• Azure Data Lake Storage Gen2
• Sieć szkieletowa Lakehouse
• Magazyn tkanin
• OData
• Przepływy danych platformy Power Platform
• Lista usługi SharePoint Online
• Folder programu SharePoint
• Sieć Web

Jeśli przepływ danych używa łączników, które nie znajdują się na tej liście, te zapytania będą nadal działać z wykorzystaniem standardowego (starszego) silnika. Obsługa większej liczby łączników będzie się zwiększać wraz z upływem czasu, gdy funkcja będzie się rozwijać w kierunku ogólnej dostępności.

Zagadnienia dotyczące wydajności

Przełączając się na nowoczesny silnik oceny, powinno się zauważyć szybsze czasy odświeżania, szczególnie w przypadku przepływów intensywnie korzystających z danych. Na przykład przekształcenia danych, które wcześniej trwały godzinę, mogą zakończyć się w mniej więcej połowie czasu z włączonym nowoczesnym ewaluatorem (rzeczywiste wyniki różnią się w zależności od scenariuszy). Ten wzrost wydajności pomaga w scenariuszach, takich jak:

• Duże ilości danych: w przypadku obsługi milionów wierszy lub dużych plików optymalizacje nowego silnika mogą skrócić czas przetwarzania i zmniejszyć użycie pamięci.

• Złożone przekształcenia: przepływy danych z wieloma krokami transformacji lub dużymi operacjami (takimi jak sprzężenia w dużych tabelach) korzystają z ulepszonego planu wykonywania silnika, co prowadzi do płynnego i szybszego ukończenia.

• Częste harmonogramy uruchamiania: Jeśli przepływy danych są uruchamiane wiele razy dziennie, dzięki czemu oszczędności czasu na odświeżenie się kumulują, co pozwala dostarczać użytkownikom aktualne dane szybciej.