ジョブのタイムライン

ジョブのタイムラインは、パイプラインやクエリを理解するための出発点として最適です。 これにより、実行されていたもの、各ステップにかかった時間、途中で障害が発生したかどうかの概要が表示されます。

ジョブ タイムラインを開く方法

Spark UI で、次のスクリーンショットで赤で強調表示されている [ジョブ と イベント タイムライン ] をクリックします。 タイムラインが表示されます。 この例では、ドライバーとエグゼキューター 0 が追加されています。

何を探すべきか

以下のセクションでは、イベント タイムラインの読み方をして、パフォーマンスやコストの問題の考えられる原因を見つける方法について説明します。 タイムラインでこれらの傾向のいずれかに気付いた場合は、対応する各セクションの最後に、ガイダンスを提供する記事へのリンクが含まれています。

ジョブの失敗またはエグゼキューターの失敗

これは、失敗したジョブと削除されたエグゼキューターの例で、イベント タイムラインで赤いステータスで示されています。

「失敗しているジョブ」または「失敗しているエグゼキューター」が表示される場合は、「 失敗したジョブ」または「エグゼキューターが削除された」を参照してください。

実行のギャップ

次の例のように、1 分以上のギャップを探します。

この例にはいくつかのギャップがあり、そのうちのいくつかは赤い矢印で強調表示されています。 タイムラインにギャップがある場合、それは1分以上ですか? ドライバーが作業を調整するため、短いギャップが予想されます。 ギャップが長い場合、それらはパイプラインの途中にありますか? それとも、このクラスターは常に実行されているため、ギャップはアクティビティの停止によって説明されますか? これは、ワークロードの開始時刻と終了時刻に基づいて判断できる場合があります。

パイプラインの途中で説明できない長いギャップがある場合は、「 Spark ジョブ間のギャップ」を参照してください。

Long ジョブ

タイムラインは 1 つまたは少数の長いジョブによって支配されていますか? これらの長い仕事は調査すべきものになるでしょう。 次の例では、ワークロードに 1 つのジョブがあり、そのジョブは他のジョブよりもはるかに長いです。 これは調査に適したターゲットです。

最も長いジョブをクリックして掘り下げます。 この長いステージの調査に関する情報については、Sparkでの長いステージの診断を参照してください。

多くの小さなジョブ

ここで探しているのは、小さなジョブが支配するタイムラインです。 次のようになります。

すべての小さな青い線に注目してください。 これらはそれぞれ、数秒以内で完了する小さなジョブです。

タイムラインが主に小さなジョブである場合は、「 多くの小さな Spark ジョブ」を参照してください。

上記のどれでもない

タイムラインが上記のいずれにも似ていない場合、次のステップは最も長いジョブを特定することです。 ジョブを期間で並べ替え、最も長いジョブの説明にあるリンクをクリックします。

最も長いジョブのページに移動したら、この長いステージの調査に関する追加情報については、「 Spark での長いステージの診断」を参照してください。