Spark での長時間のジョブの診断

まず、ジョブの最も長いステージを特定します。ジョブのページの一番下までスクロールしてステージのリストを表示し、期間順に並べます。

ステージI/Oの詳細

このステージが何をしていたかについての高レベルのデータを見るには、 入力 、 出力 、 シャッフル読み取り 、および シャッフル書き込み の列を見てください。

列の意味は次のとおりです。

• インプット： このステージがストレージから読み取ったデータの量。 これは、Delta、Parquet、CSVなどからの読み取りである可能性があります。
• アウトプット： このステージがストレージに書き込んだデータの量。 これは、Delta、Parquet、CSVなどへの書き込みである可能性があります。
• シャッフル読み取り: このステージが読み取ったシャッフル データの量。
• シャッフル書き込み: このステージで書き込まれたシャッフル データの量。

シャッフルが何であるかよくわからない場合は、今がその意味について詳しく学ぶ良い機会です。

これらの番号は、後で必要になる可能性があるため、メモしておいてください。

タスクの数

長いステージ内のタスクの数から、問題の方向性がわかります。ここを参照してタスクの数を決定します。

1 つのタスクが表示される場合は、問題の兆候である可能性があります。 詳細については、「 One Spark タスク」を参照してください。

ステージの詳細を見る

ステージに複数のタスクがある場合は、さらに調査することをお勧めします。最長ステージの詳細情報を取得するには、ステージの説明にあるリンクをクリックしてください。

ステージのページに移動したので、「 スキューとスピル」を参照してください。