スキューとスピル

こぼれ

長期にわたるステージで最初に探すべきことは、流出があるかどうかです。

ステージのページの上部には、流出に関する統計を含む詳細が表示されます。

スピルの統計

ステージの詳細には、ピーク実行メモリなどの他のメトリクスも含まれます。これらおよびその他のステージメトリクスの詳細については、Apache Sparkドキュメントのステージの詳細を参照してください。

spill とは、Spark の実行メモリが不足したときに発生する現象です。このメモリは、シャッフル、結合、ソート、集約などの計算に使用されます。メモリからディスクへのデータの移動が開始されますが、これにはコストがかかる場合があります。これはデータシャッフル中に最も頻繁に発生します。

スピルの統計が表示されない場合は、ステージにスピルがないことを意味します。ステージにスピルがある場合は、シャッフルによるスピルの対処方法について、このガイドを参照してください。

次に調べたいのは、歪みがあるかどうかです。スキューとは、1つまたはいくつかのタスクが他のタスクよりもはるかに時間がかかることです。これにより、クラスタリングの使用率が低下し、ジョブが長くなります。

Summary メトリクス まで下にスクロールします。私たちが探している主なものは、最大デュレーションが75パーセンタイルのデュレーションよりもはるかに高いことです。以下のスクリーンショットは、75パーセンタイルと最大が同じである健康なステージを示しています。

スキュー統計

最大期間が75パーセンタイルより50%長い場合は、スキューが発生している可能性があります。

スキューが見られる場合は、スキューの修正方法についてこちらで確認してください。

スキューやスピルが見つからない場合は、ジョブページに戻って、何が起こっているのかの概要を確認してください。ページの上部までスクロールし、[ 関連付けられたジョブ ID] をクリックします。

ステージからジョブへ

ステージにスピルやスキューがない場合は、次の手順について「Spark ステージの高 I/O 」を参照してください。