失敗したジョブまたはエグゼキューターが削除されました

ジョブの失敗とエグゼキューターの削除は、どちらも時間がかかります。エグゼキューターが削除されると、Sparkは未完了のタスクを再実行します。Sparkジョブが失敗すると、ジョブを実行するクエリーまたはタスクも失敗します。ジョブが失敗した理由やエグゼキューターが削除された理由を調べ、その挙動が予期されたものか、修正すべき問題かを確認するには、このページを使用してください。

ジョブのタイムラインに失敗したジョブや削除されたエグゼキューターが表示されている場合、このページを使用します。例：

タイムラインに失敗したジョブや削除されたエグゼキューターが表示されない場合は、ジョブのタイムラインで他のパターンを確認し、このガイドの他のページを使用して問題を診断します。「Spark UI を使用してコストとパフォーマンスの問題を診断する」を参照してください。

エグゼキューターが削除される最も一般的な理由は次のとおりです。

• オートスケール : この場合は想定されるものであり、エラーではありません。 「オートスケールを有効にする」を参照してください。
• スポットインスタンスの損失 : クラウドプロバイダーがVMを回収しています。スポットインスタンスの損失を参照してください。
• エグゼキューターのメモリ不足 :Spark メモリの問題を参照してください。

失敗したジョブ

失敗したジョブがある場合は、クリックしてそのページを開きます。次に、下にスクロールして、失敗したステージと失敗の理由を確認します。

一般的なエラーが発生する可能性があります。詳細については、説明にあるLinkをクリックしてください。

このページを下にスクロールすると、各タスクが失敗した理由が表示されます。この場合、メモリの問題が原因のようです：

失敗しているエグゼキューター

エグゼキューターが失敗している理由を調べるには、まずコンピュートの イベントログ をチェックして、エグゼキューターの失敗についての説明がないかどうかを確認してください。たとえば、スポットインスタンスを使用している場合、クラウドプロバイダーがそれらのインスタンスを回収している可能性があります。

エグゼキューターの損失を説明するイベントを探します。たとえば、クラスターのサイズが変更されている、またはスポットインスタンスが失われていることを示すメッセージが表示される場合があります。

• スポットインスタンスを使用している場合は、「スポットインスタンスを失う」を参照してください。
• コンピュートがオートスケールでサイズ変更された場合、それは予期されたものであり、エラーではありません。 オートスケールを有効にするを参照してください。

イベントLogに情報が表示されない場合は、[ Spark UI ] タブに戻り、[ エグゼキューター ] tabをクリックします。

ここでは、障害が発生したエグゼキューターからログを取得できます。

次のステップ

ここまで来た場合、最も可能性の高い説明はメモリの問題です。次のステップは、メモリの問題を掘り下げることです。Spark メモリの問題を参照してください。