Comment déterminer si Spark réécrit des données

Ouvrez d'abord le DAG SQL pour votre étape d'écriture. Faites défiler jusqu'en haut de la page du Job et cliquez sur la SQL query associée :

Vous devriez maintenant voir le DAG. Sinon, faites défiler un peu et vous devriez le voir :

Si vous effectuez une Opération de suppression ou de mise à jour, examinez la quantité de données écrites par l'enregistreur par rapport à ce que vous attendez. Si vous constatez que davantage de données sont écrites que vous ne l'attendez, vous réécrivez probablement des données :

Si vous effectuez une Merge, le nœud de Merge dispose de statistiques explicites sur la quantité de données qu'il est en train de réécrire.