スキューとスピル

こぼれ

長期にわたる段階で最初に探すのは、スピルがあるかどうかです。

ステージのページの上部には、スピルに関する統計を含む詳細が表示されます。

スピルの統計

スピルとは、実行 Spark メモリが不足しているときに発生する現象です。メモリからディスクへのデータの移動を開始しますが、これは非常に高価になる可能性があります。これは、データシャッフル中に最も一般的です。

スピルの統計が表示されない場合は、ステージにスピルがないことを意味します。ステージにこぼれがある場合は、シャッフルによるスピルへの対処方法に関するこのガイドを参照してください。

次に調べたいのは、歪みがあるかどうかです。スキューとは、1つまたはいくつかのタスクが他のタスクよりもはるかに時間がかかることです。これにより、クラスターの使用率が低下し、ジョブが長くなります。

Summary メトリクス まで下にスクロールします。私たちが探している主なものは、最大デュレーションが75パーセンタイルのデュレーションよりもはるかに高いことです。以下のスクリーンショットは、75パーセンタイルと最大が同じである健康なステージを示しています。

スキュー統計

最大期間が75パーセンタイルより50%長い場合は、スキューが発生している可能性があります。

スキューが見られる場合は、スキューの修正方法についてこちらで確認してください。

スキューやスピルが見つからない場合は、ジョブページに戻って、何が起こっているのかの概要を確認してください。ページの上部までスクロールし、[ 関連付けられたジョブ ID] をクリックします。

ステージからジョブへ

ステージにスピルやスキューがない場合は、次の手順について「Spark ステージの高 I/O 」を参照してください。