Identyfikowanie kosztownego odczytu w języku DAG platformy Spark

Przejście do DAG

Przy założeniu, że patrzysz na kosztowne zadanie, najpierw potrzebujemy identyfikatora etapu, który wykonuje odczyt. W tym miejscu widać, że identyfikator etapu to 194:

Teraz musimy dotrzeć do SQL DAG. Przewiń na górę strony zadań i kliknij zapytanie SQL powiązane:

Powinieneś teraz zobaczyć DAG. Jeśli nie, przewiń nieco i powinien zostać wyświetlony:

W niektórych przypadkach możesz śledzić DAG i zobaczyć, skąd pochodzą dane. W innych przypadkach wyszukaj identyfikator etapu, który zanotowałeś:

Następnie należy znaleźć węzeł "Skanuj". W tym przypadku dość proste jest powiedzenie, że odczytujemy tabelę o nazwie transactions:

W niektórych przypadkach może być konieczne kliknięcie lub najechanie na węzeł, aby uzyskać lokalizację danych, które odczytujesz.