Como determinar se o Spark está reescrevendo dados

Primeiro, abra o SQL DAG para seu estágio de gravação. Role a tela até a parte superior da página Jobe clique em Associated SQL Query (Consulta associada ):

Agora o senhor deve ver o DAG. Caso contrário, role a tela um pouco e o senhor a verá:

Se estiver fazendo uma operação Delete ou Update, observe a quantidade de dados que está sendo gravada pelo escritor em comparação com o que o senhor espera. Se estiver vendo muito mais dados sendo gravados do que o esperado, provavelmente o senhor está reescrevendo dados:

Se o senhor estiver fazendo um merge, o nó merge tem estatísticas explícitas sobre a quantidade de dados que está reescrevendo.