ジョブ実行の表示と管理

この記事では、アクセス権のあるジョブの表示、ジョブの実行履歴の表示、およびジョブ実行の詳細の表示のためにDatabricks UI で使用できる機能について説明します。 Databricks CLIを使用してジョブと実行ジョブを表示する方法については、 CLIコマンド databricks jobs list -h、databricks jobs get -h、および databricks jobs run-now -h を使用してください。 Jobs API の使用方法については、 Jobs APIを参照してください。

system.lakeflowスキーマにアクセスできる場合は、アカウント全体のジョブ実行とタスクのレコードを表示およびクエリすることもできます。「ジョブシステムテーブルリファレンス」を参照してください。

ジョブの表示

アクセスできるジョブのリストを表示するには、サイドバーのワークフロー。ワークフロー UI の[ジョブ]タブには、ジョブの作成者、ジョブのトリガー (存在する場合)、最後の実行の結果など、利用可能なすべてのジョブに関する情報がリストされます。

ジョブリストに表示される列を変更するには、列を選択または選択解除します。

ジョブリストでジョブをフィルタリングできます。

キーワードを使用する。このワークスペースでジョブ制限の増加機能が有効になっている場合、キーワードによる検索は、名前、ジョブ ID、およびジョブタグのフィールドに対してのみサポートされます。
自分が所有するジョブのみを選択します。
アクセス権限のあるすべてのジョブを選択します。
タグの使用。キーのみで作成されたタグを検索するには、検索ボックスにキーを入力します。キーと値を使用して作成されたタグを検索するには、キー、値、またはキーと値の両方で検索できます。たとえば、キーがdepartmentで値がfinanceのタグの場合、 departmentまたはfinanceを検索して一致するジョブを見つけることができます。キーと値で検索するには、キーと値をコロンで区切って入力します。たとえば、 department:finance.

任意の列ヘッダーをクリックして、その列でジョブのリストを並べ替えることもできます (降順または昇順)。ジョブ制限の増加機能が有効になっている場合、 Name 、 Job ID 、またはCreated byでのみ並べ替えることができます。デフォルトのソートはNameの昇順です。

クリックジョブのアクションにアクセスします (例: ジョブの削除)。

ジョブの実行を表示する

Apache Airflow や Azure Data Factory などの外部オーケストレーションツールによって開始された実行も含め、アクセスできるすべてのジョブの現在実行中の実行と最近完了した実行の一覧を表示できます。最近実行されたジョブのリストを表示するには:

サイドバーの［ワークフロー］をクリックします。
[名前]列でジョブ名をクリックします。 「実行」タブには、アクティブな実行と完了した実行のマトリックスビューとリストビューが表示されます。

マトリックスビューには、各ジョブタスクを含むジョブの実行履歴が表示されます。

マトリックスの実行合計期間の行には、実行の合計期間と実行の状態が表示されます。実行の詳細（開始時刻、期間、ステータスなど）を表示するには、実行の合計期間の行のバーにマウスを置きます。

タスク行の各セルは、タスクとタスクの対応するステータスを表します。開始時刻、期間、クラスター、ステータスなど、各タスクの詳細を表示するには、そのタスクのセルにマウスを置きます。

ジョブ実行バーとタスク実行バーは、実行のステータスを示すために色分けされています。成功した実行は緑、失敗した実行は赤、スキップされた実行はピンクになります。個々のジョブ実行バーとタスク実行バーの高さは、実行期間を視覚的に示します。

予想される完了時間を設定した場合、実行の期間が設定された時間を超えると、マトリックスビューに警告が表示されます。

デフォルトでは、実行リストビューには次の内容が表示されます。

実行の開始時刻。
実行識別子。
実行がジョブスケジュールまたは API リクエストによってトリガーされたか、または手動で開始されたか。
現在実行中のジョブの経過時間、または完了した実行の合計実行時間。期間が設定された予定完了時間を超えると、警告が表示されます。
Spark ログへのリンク。
実行のステータス。 Queued 、 Pending 、 Running 、Skipped、、 Succeeded 、 Failed 、 Terminating 、 Terminated 、 Internal Error 、 Timed Out 、 Canceled 、 Canceling Waiting for Retryいずれかです。
クリック実行のコンテキスト固有のアクションにアクセスします。たとえば、アクティブな実行を停止したり、完了した実行を削除したりできます。

実行リストビューに表示される列を変更するには、列を選択または選択解除します。

ジョブ実行の詳細を表示するには、実行リストビューの開始時刻列にある実行のリンクをクリックします。このジョブの最新の成功した実行の詳細を表示するには、 [最新の成功した実行に移動]をクリックします。

Databricks はジョブ実行の履歴を最大 60 日間保持します。ジョブの実行を保存する必要がある場合、Databricks では、期限が切れる前に結果をエクスポートすることをお勧めします。詳細については、「ジョブの実行結果のエクスポート」を参照してください。

ジョブ実行の詳細の表示

ジョブ実行の詳細ページには、ジョブ出力とログへのリンクが含まれており、ジョブ実行内の各タスクの成功または失敗に関する情報も含まれています。ジョブの実行タブからジョブ実行の詳細にアクセスできます。 「実行」タブからジョブ実行の詳細を表示するには、実行リストビューの「開始時間」列にある実行のリンクをクリックします。ジョブの「実行」タブに戻るには、ジョブ ID値をクリックします。

ジョブに複数のタスクが含まれている場合は、タスクをクリックして次のようなタスク実行の詳細を表示します。

タスクを実行したクラスター
- タスク用のSpark UI
- タスクのログ
- タスクのメトリクス

ジョブ ID値をクリックして、ジョブの実行タブに戻ります。

タスク実行履歴の表示

成功した実行と失敗した実行を含む、タスクの実行履歴を表示するには:

ジョブ実行の詳細ページでタスクをクリックします。 タスク実行の詳細ページが表示されます。
実行履歴のドロップダウンメニューでタスクの実行を選択します。

`For each`タスクのタスク実行履歴を表示する

For eachタスクの実行履歴へのアクセスは、標準の Databricks ジョブタスクと同じです。(ジョブ実行の詳細)ページでFor eachタスクノードをクリックするか、マトリックスビューの対応するセルをクリックできます。ただし、標準タスクとは異なり、 For each タスクの実行の詳細は、ネストされたタスクのイテレーションのテーブルとして表示されます。

失敗したイテレーションのみを表示するには、[ 失敗したイテレーションのみ] をクリックします。

イテレーションの出力を表示するには、イテレーションの [開始時間 ] または [終了時間 ] の値をクリックします。

最近のジョブ実行の表示

Apache Airflow や Azure Data Factory などの外部オーケストレーションツールによって開始された実行を含め、アクセスできるワークスペース内のすべてのジョブの現在実行中および最近完了した実行の一覧を表示できます。最近実行されたジョブのリストを表示するには:

サイドバーの［ワークフロー］をクリックします。
[ジョブ実行]タブをクリックすると、ジョブ実行リストが表示されます。

[ 完了した実行数 ] グラフには、過去 48 時間に完了したジョブの実行数が表示されます。デフォルトで、グラフには失敗したジョブ実行、スキップされたジョブ実行、および成功したジョブ実行が表示されます。グラフをフィルター処理して、特定の実行ステータスを表示したり、グラフを特定の時間範囲に制限したりすることもできます。 [ ジョブの実行 ] タブには、過去 67 日間のジョブの実行のテーブルも含まれています。デフォルトでは、テーブルには失敗したジョブ実行、スキップされたジョブ実行、および成功したジョブ実行の詳細が含まれます。

注：

完了した実行回数のグラフは、「自分が所有」をクリックした場合にのみ表示されます。

完了した実行数を実行ステータスでフィルタリングできます。

グラフを更新して現在実行中のジョブ、または実行を待機しているジョブを表示するには、 [アクティブ実行]をクリックします。
失敗した実行、成功した実行、スキップされた実行など、完了した実行のみを表示するようにグラフを更新するには、 [完了した実行]をクリックします。
過去 48 時間以内に正常に完了した実行のみを表示するようにグラフを更新するには、 [成功した実行]をクリックします。
グラフを更新してスキップされた実行のみを表示するには、 [スキップされた実行]をクリックします。ワークスペースでの並列実行の最大数を超えたか、ジョブの構成で指定された並列実行の最大数をジョブが超えたため、スキップされます。
エラー状態で完了した実行のみを表示するようにグラフを更新するには、 「失敗した実行」をクリックします。

いずれかのフィルターボタンをクリックすると、実行テーブル内の実行リストも更新され、選択したステータスに一致するジョブ実行のみが表示されます。

完了した実行回数グラフに表示される時間範囲を制限するには、グラフ内でカーソルをクリックしてドラッグし、時間範囲を選択します。グラフと実行テーブルが更新され、選択した時間範囲の実行のみが表示されます。

デフォルトでは、実行テーブルの実行リストには次の内容が表示されます。

実行の開始時刻。
実行に関連付けられたジョブの名前。
ジョブを実行するユーザー名。
実行がジョブスケジュールまたは API リクエストによってトリガーされたか、または手動で開始されたか。
現在実行中のジョブの経過時間、または完了した実行の合計実行時間。期間が設定された予定完了時間を超えると、警告が表示されます。
実行のステータス。 Queued 、 Pending 、 Running 、Skipped、、 Succeeded 、 Failed 、 Terminating 、 Terminated 、 Internal Error 、 Timed Out 、 Canceled 、 Canceling Waiting for Retryいずれかです。
実行のための任意の案。
クリック実行のコンテキスト固有のアクションにアクセスします。たとえば、アクティブな実行を停止したり、完了した実行を削除したりできます。

実行リストに表示される列を変更するには、列を選択または選択解除します。

上位 5 つのエラータイプテーブルには、選択した時間範囲で最も頻繁に発生するエラータイプのリストが表示され、ワークスペースでのジョブの問題の最も一般的な原因をすばやく確認できます。

ジョブ実行の詳細を表示するには、実行の「開始時刻」列のリンクをクリックします。ジョブの詳細を表示するには、 「ジョブ」列のジョブ名をクリックします。

ジョブのリネージ情報の表示

Unity Catalogワークスペースで Unity Catalogが有効になっている場合、ワークフロー内のテーブルのリネージ情報を表示できます。ワークフローでリネージ情報が利用可能な場合は、ジョブの[ジョブの詳細]パネル、ジョブ実行の [ジョブ実行詳細] パネル、またはタスクの[タスク実行詳細]パネルに、上流および下流のテーブルの数を示すリンクが表示されます。実行。リンクをクリックすると、テーブルのリストが表示されます。テーブルをクリックすると、カタログエクスプローラーで詳細情報が表示されます。

ジョブ実行結果のエクスポート

すべてのジョブタイプのノートブック実行結果とジョブ実行ログをエクスポートできます。

ノートブックの実行結果のエクスポート

ジョブの実行結果をエクスポートすることで、ジョブの実行を永続化できます。ノートブックジョブの実行では、レンダリングされたノートブックをエクスポートして、後で Databricks ワークスペースにインポートすることができます。

単一のタスクを含むジョブのノートブック実行結果をエクスポートするには:

[ジョブの詳細] ページで、 [完了した実行 (過去 60 日間)]表の実行列にある実行の[詳細を表示]リンクをクリックします。
「 HTMLにエクスポート」をクリックします。

複数のタスクを含むジョブのノートブック実行結果をエクスポートするには:

[ジョブの詳細] ページで、 [完了した実行 (過去 60 日間)]表の実行列にある実行の[詳細を表示]リンクをクリックします。
エクスポートするノートブックタスクをクリックします。
「 HTMLにエクスポート」をクリックします。

ジョブ実行ログのエクスポート

ジョブ実行のログをエクスポートすることもできます。介してログをDBFS またはに自動的に配信するようにジョブを設定できます。S3APIJobs API の「新しいジョブの作成」操作 ( POST /jobs/create ) に渡されるリクエスト本文のnew_cluster.cluster_log_confオブジェクトを参照してください。