Como determinar se o Spark está regravando dados

Primeiro, abra o SQL DAG para a sua fase de escrita. Role para cima até a parte superior da página do trabalho e clique na Consulta SQL associada:

Agora tu deves ver o DAG. Se não, desliza um pouco e deves vê-lo:

Se estiver a realizar uma operação de eliminar ou atualizar, observe a quantidade de dados que está a ser escrita pelo escritor em comparação com o que espera. Se você está vendo muito mais dados sendo gravados do que o esperado, provavelmente está reescrevendo dados:

Se você estiver fazendo uma mesclagem, o nó de mesclagem terá estatísticas explícitas sobre a quantidade de dados que está reescrevendo.