Przeciążony sterownik platformy Spark

Ustaliliśmy więc, że sterownik jest przeciążony. Najczęstszą przyczyną tego jest zbyt wiele współbieżnych elementów uruchomionych w klastrze. Może to być zbyt wiele strumieni, zapytań lub zadań platformy Spark (niektórzy klienci używają wątków do współbieżnego uruchamiania wielu zadań platformy Spark).

Może być również to, że używasz kodu innego niż Spark w klastrze, który utrzymuje zajęty sterownik. Jeśli widzisz przerwy na osi czasu spowodowane działaniem kodu innego niż Spark, oznacza to, że wszyscy pracownicy są bezczynni i prawdopodobnie marnują pieniądze podczas tych przerw. Być może jest to zamierzone i nieuniknione, ale jeśli możesz napisać ten kod do używania Sparka, w pełni wykorzystasz klaster. Zacznij od tego samouczka, aby dowiedzieć się, jak pracować z platformą Spark.

Jeśli masz jednocześnie zbyt wiele elementów uruchomionych w grupie, masz trzy opcje:

• Zwiększ rozmiar oprogramowania do obsługi
• Zredukuj współbieżność
• Rozłóż obciążenia na wiele grup

W usłudze Azure Databricks zaleca się, aby najpierw spróbować podwoić rozmiar sterownika i zobaczyć, jaki ma to wpływ na zadanie.