Identificando uma leitura dispendiosa no DAG do Spark

Como chegar ao DAG

Supondo que você esteja olhando para um trabalho caro, primeiro precisamos do ID do estágio que está fazendo a leitura. Aqui podemos ver que o ID do Estágio é 194.

Agora precisamos chegar ao SQL DAG. Role para cima até a parte superior da página do trabalho e clique na Consulta SQL associada:

Agora deves ver o DAG. Se não, desloque-se um pouco e deverá encontrá-lo.

Em alguns casos, você pode seguir o DAG e ver de onde os dados estão vindo. Em outros casos, tente encontrar o ID do estágio que anotou:

Então você precisa procurar o nó "Scan". Neste caso, é muito simples dizer que estamos lendo uma tabela chamada transactions:

Em alguns casos, pode ser necessário clicar ou passar o cursor sobre o nó para localizar os dados que está a ler.