Spark UIを使用したコストとパフォーマンスの問題の診断

パイプラインまたはクエリーの実行時間が予想よりも長かったり、コストがかかったりする場合、その原因をコードだけで確認することは難しいことがよくあります。Spark UIには、クラスターが実際に実行した内容が表示されます。実行されたジョブ、各ステージにかかった時間、移動されたデータの量、タスクが失敗した場所などがわかります。このガイドでは、Spark UI のパターンと、各パターンに対して次にどのページを読むべきかを説明します。ドライバー、ワーカー、エグゼキューター、ステージ、タスクの概念に慣れていない場合は、起動する前に Spark アーキテクチャを確認してください。

このガイドを使用する場合

クラスターで実行されるワークロードに次のいずれかの症状がある場合に、このガイドを使用してください。

• ジョブ、パイプライン、またはクエリーに予想以上の時間がかかっているか、通常より時間がかかっています。
• ワークロードのコストが、処理するデータ量に対して予想より高くなります。
• ジョブまたはエグゼキューターが失敗し、エラーメッセージから原因を特定できません。

このガイドの使い方

ジョブのタイムラインから起動します。タイムラインはワークロードの全体像を示しており、各パターンはそのパターンを診断するページへのLinkになっています。各ページの下部にあるLinkをたどって、ガイドを進めてください。低速のワークロードを診断するには、次のステップを順番に実行してください：

1. ジョブ タイムラインを使用して主要な問題を特定する
2. 最長のステージを見る
3. ゆがみやこぼれがないか探す
4. 最長ステージが I/O バウンドであるかどうかの判別
5. ステージ・ランタイムが遅い他の原因を探す

ジョブのタイムラインに失敗したジョブ、ジョブ間の長いギャップ、または多くの小さなジョブが表示されている場合は、残りのステップをスキップし、タイムラインページのリンクに従ってそのパターンのページに移動してください。

Spark UIを開く方法

1. クラスターのページに移動します。

   

2. [Spark UI ] をクリックします。

   

次のステップ

次に、イベントタイムラインを確認して、パイプラインまたはクエリーの詳細を確認します。ジョブのタイムラインをご覧ください。