Udostępnij przez


Zarządzanie śledzeniem pochodzenia zmaterializowanych widoków w systemie Fabric dla jezior danych.

Zmaterializowane widoki typu lake w sieci szkieletowej (MLV) to wydajny sposób zarządzania dużymi zestawami danych i wykonywania zapytań o nie przez wstępne przetwarzanie i przechowywanie wyników zapytania. W środowisku sieci szkieletowej efektywne zarządzanie tymi widokami może znacznie zwiększyć wydajność i skrócić czas wykonywania zapytań.

W tym dokumencie omawiane są różne aspekty zarządzania MLV węzłami, w tym zrozumienie ich pochodzenia, planowanie przebiegów MLV, eksplorowanie historii MLV oraz szczegółowe informacje dotyczące przebiegów operacyjnych.

Wyświetl linię pochodzenia

Pochodzenie to podstawowa struktura zarządzania zależnościami i planowania zadań. W kontekście MLV, linia genealogiczna reprezentuje sekwencję MLV, która musi zostać wykonana, aby odświeżyć MLV po udostępnieniu nowych danych.

Po utworzeniu Zmaterializowanego Widoku Jeziora, wybierz Zarządzaj zmaterializowanymi widokami jeziora, aby przejść do historii pochodzenia widoku zmaterializowanego.

Zmaterializowane widoki jeziora Pochodzenie

Pochodzenie lub przepływ MLV jest definiowany na podstawie kodu napisanego przez użytkownika w środowisku notebook. Zostanie on utworzony po utworzeniu kompleksowego przepływu uczenia maszynowego.

Ważne

Wszystkie skróty są traktowane jako jednostki źródłowe w widoku pochodzenia. Wszystkie tabele lub zmaterializowane widoki typu lake w schemacie skrótów są traktowane jako jednostki źródłowe w widoku pochodzenia.

Zrzut ekranu przedstawiający wykres zadań w pochodzeniu.

Aby uruchomić pochodzenie, zaplanuj pochodzenie zgodnie z wymaganiami. Po zaplanowaniu zadania Graph przejdź do aktualnego uruchomienia i sprawdź widok zależności.

Zrzut ekranu przedstawiający wykonany widok ścieżki pochodzenia.

Omówienie widoku pochodzenia

Ścieżka przetwarzania dla MLV zapewnia, że dane są przetwarzane w odpowiedniej kolejności, z zachowaniem wszystkich zależności. Każdy węzeł w drzewie rodowodowym reprezentuje określoną operację, taką jak odczytywanie z tabeli źródłowej lub wykonywanie transformacji. Strzałki między węzłami oznaczają zależności, dyktując kolejność wykonywania. Możesz wybrać konkretny węzeł, aby zrozumieć przepływ bezpośrednio z tabel źródłowych i węzłów nadrzędnych do węzłów zależnych.

Interfejs użytkownika pochodzenia ma również następujące funkcje:

  • Odśwież: Ta opcja umożliwia odświeżenie interfejsu użytkownika, aby odzwierciedlić wszelkie ostatnie zmiany stanu.

    Uwaga / Notatka

    • Jest to tylko odświeżenie interfejsu użytkownika dotyczące ścieżki danych, a nie odświeżenie samych danych.
    • Lineage UI jest automatycznie odświeżany co dwie minuty, gdy trwa uruchomiony proces lub karta przeglądarki użytkownika jest aktywna.

    Zrzut ekranu przedstawiający sposób odświeżania interfejsu użytkownika linii.

  • Nowy zmaterializowany widok jeziora: Możesz otworzyć notatnik, aby wprowadzić zmiany w MLV zgodnie z wymaganiami.

    Uwaga / Notatka

    Te notatniki nie są bezpośrednio połączone z interfejsem użytkownika dziedziczenia i są używane do tworzenia MLV.

    Zrzut ekranu przedstawiający nowy zmaterializowany widok jeziora.

  • Harmonogram: Możesz zaplanować działanie zgodnie z wymaganiami biznesowymi i odświeżyć elementy MLV, gdy dostępne są nowe dane.

Zrzut ekranu przedstawiający przycisk harmonogramu.

  • Przełącz widok: Teraz możesz przełączyć widok na orientację pionową lub poziomą w zależności od rozmiaru struktury.

  • Resetowanie pochodzenia danych Możesz dostosować interfejs użytkownika pochodzenia zgodnie z rozmiarem ekranu przy użyciu tej opcji.

    Zrzut ekranu pokazujący, jak zmienić układ widoku dziedzictwa.

Korzystanie ze środowiska niestandardowego

Możliwość dołączania niestandardowego środowiska Spark do rodowodu MLV w Microsoft Fabric umożliwia użytkownikom optymalizację wydajności i wykorzystania zasobów podczas odświeżania rodowodu. Domyślnie linia danych używa środowiska obszaru roboczego. Jednak użytkownicy mogą skojarzyć określone środowisko z danymi lineage, aby dostosować konfiguracje obliczeniowe odpowiednie dla różnych rodzajów obciążeń. Można wybrać tylko środowiska, do których użytkownik ma dostęp, i wszelkie zmiany w środowisku zaczęły obowiązywać od następnego odświeżania. Jeśli użytkownik nie ma dostępu do wybranego środowiska, może nie zobaczyć nazwy środowiska lub szczegółów specyficznych dla obszaru roboczego środowiska, a opcje takie jak "Harmonogram" lub "Uruchom" będą wyłączone dla użytkownika. W przypadkach, gdy skojarzone środowisko zostanie usunięte, na liście rozwijanej pojawia się błąd, który zachęca użytkownika do wybrania dostępnego środowiska, aby kontynuować.