Spark がデータを書き換えているかどうかを確認する方法

まず、書き込みステージの SQL DAG を開きます。 ジョブのページの上部までスクロールし、[関連付けられた SQL クエリ] をクリックします。

これで DAG が表示されます。 そうでない場合は、少しスクロールすると表示されます。

削除操作または更新操作を実行している場合は、ライターによって書き込まれるデータの量と予想される量を確認します。 予想よりも多くのデータが書き込まれている場合は、おそらくデータを書き直しています。

マージを実行している場合、マージ ノードには、書き換え中のデータの量に関する明示的な統計情報が含まれます。