Spark がデータを書き換えているかどうかを確認する方法

まず、書き込みステージの SQL DAG を開きます。 ジョブのページの上部までスクロールし、関連するSQLクエリをクリックします。

DAG が表示されます。 そうでない場合は、少しスクロールすると表示されます。

削除または更新操作を行う場合は、ライターが書き込むデータ量と予想されるデータ量を比較してください。 予想以上に多くのデータが書き込まれている場合は、おそらくデータを書き換えています。

マージを実行している場合、マージノードには、書き換えるデータの量に関する明示的な統計があります。