Diagnozowanie problemów z kosztami i wydajnością przy użyciu interfejsu użytkownika platformy Spark

W tym przewodniku przedstawiono sposób używania interfejsu użytkownika platformy Spark do diagnozowania problemów z kosztami i wydajnością. Jest to przewodnik krok po kroku i praktyczna instrukcja. Zamiast po prostu dostarczać wyjaśnienie, co robi każda strona w interfejsie użytkownika platformy Spark, informuje o tym, co należy szukać i co to znaczy. Jeśli nie znasz pojęć dotyczących sterowników, procesów roboczych, funkcji wykonawczych, etapów i zadań, warto przejrzeć architekturę platformy Spark.

Jeśli szukasz kompleksowej listy różnych narzędzi optymalizacyjnych, skorzystaj z przewodnika Optymalizacja Databricks. Sekcje przewodnika optymalizacji znajdują się w tym przewodniku po interfejsie użytkownika platformy Spark.

Korzystanie z tego przewodnika

Aby przejść przez przewodnik, użyj linków osadzonych na każdej stronie, aby przejść do następnego kroku. Przewodnik zawiera następujące kroki w następującej kolejności:

1. Użyj linii czasu zadań, aby zidentyfikować główne problemy
2. Spójrz na najdłuższy etap
3. Poszukaj niesymetryczności lub rozlania
4. ustal, czy najdłuższy etap jest ograniczony przez we/wy
5. Poszukaj innych przyczyn powolnego działania etapu

Zaczynamy!

Jak otworzyć interfejs użytkownika platformy Spark

1. Przejdź do strony klastra:

   Compute

2. Kliknij Spark UI:

   

Następny krok

Po otwarciu interfejsu Spark UI, przejrzyj oś czasu zdarzeń, aby dowiedzieć się więcej o swoim potoku lub zapytaniu. Zobacz harmonogram zadań .