Como determinar se o Spark está reescrevendo dados

Primeiro, abra o SQL DAG para seu estágio de gravação. Role a tela até a parte superior da página do trabalho e clique em Associated SQL Query (Consulta associada ):

Agora você deve ver o DAG. Caso contrário, role um pouco e você verá:

Se estiver fazendo uma operação Delete ou Update, observe a quantidade de dados que está sendo gravada pelo escritor em comparação com o que o senhor espera. Se você está vendo muito mais dados sendo gravados do que o esperado, provavelmente está reescrevendo os dados:

Se o senhor estiver fazendo um merge, o nó merge tem estatísticas explícitas sobre a quantidade de dados que está reescrevendo.