LakeFlow ジョブの監視

Databricks UI では、アクセスできるジョブの表示、各ジョブの実行履歴の表示、および個々のジョブ実行の詳細の表示が可能です。ジョブの通知を設定するには、「ジョブに通知を追加する」を参照してください。

Databricks CLI を使用してジョブを表示し、ジョブを実行する方法については、CLI コマンド databricks jobs list -h、 databricks jobs get -h、および databricks jobs run-now -hを実行します。 Jobs API の使用方法については、 Jobs API を参照してください。

system.lakeflowスキーマにアクセスできる場合は、アカウント全体からジョブ実行とタスクのレコードを表示およびクエリすることもできます。Jobs システムテーブル リファレンスを参照してください。また、ジョブシステムテーブルを請求テーブルと結合して、アカウント全体のジョブのコストを監視することもできます。 システムテーブルによるジョブのコストとパフォーマンスの監視を参照してください。

ジョブとパイプラインを表示する

アクセス権のあるジョブのリストを表示するには、サイドバーの「 ジョブとパイプライン をクリックします。 ジョブ UI の[ジョブとパイプライン] タブには、作成者、トリガー (存在する場合)、最後の 5 つの実行の結果など、使用可能なすべてのジョブとパイプラインに関する情報が一覧表示されます。 Lakeflow

リストに表示される列を変更するには、[ ] をクリックし、列を選択または選択解除します。

備考

preview

統合された ジョブとパイプライン リストは パブリック プレビュー段階です。この機能を無効にしてデフォルトのエクスペリエンスに戻すには、 ジョブとパイプライン: 統合管理、検索、フィルタリング を無効にします。 詳細については、「Databricks プレビューの管理 」を参照してください。

次のスクリーンショットに示すように、 ジョブとパイプライン リストでジョブをフィルタリングできます。

1. テキスト検索 : キーワード検索は、[ 名前 ] フィールドと [ジョブ ID ] フィールドでサポートされています。キーと値を使用して作成されたタグを検索するには、キー、値、またはキーと値の両方で検索できます。たとえば、キーが department で値が financeのタグの場合、 department または finance を検索して一致するジョブを見つけることができます。キーと値で検索するには、キーと値をコロンで区切って入力します(例: department:finance)。
2. 種類 : ジョブのみ、パイプライン、またはすべてを選択します。
3. 所有者 : 所有しているジョブまたはパイプラインのみを選択します。
4. お気に入り : お気に入りとしてマークしたすべてのジョブまたはパイプラインを選択します。
5. タグ : タグを使用します。タグで検索するには、タグのドロップダウンメニューを使用して同時に最大5つのタグをフィルタリングするか、キーワード検索を直接使用できます。
6. 実行: 最大 2 つの run as 値でフィルター処理します。

ジョブまたはパイプラインを開始するには、再生ボタン。ワークフローを停止するには、停止ボタン。その他の操作にアクセスするには、ケバブメニューをクリックしてください。 。例えば、このメニューからワークフローやパイプラインのアクセス設定を削除できます。

すべてのジョブとパイプラインにおける最近の実行状況を表示する

アクセス可能なワークスペース内のすべてのジョブとパイプラインについて、実行中および最近完了した実行のリストを表示できます。これには、Apache AirflowやAzure Data Factoryなどの外部オーケストレーションツールによって開始された実行も含まれます。最近の実行のリストを表示するには:

1. サイドバーの「 ジョブとパイプライン 」をクリックします。
2. 「実行」 タブをクリックすると、完了実行数グラフとジョブおよびパイプライン実行のリストが表示されます。
3. （オプション） 「ジョブ」 または 「パイプライン」 をクリックすると、種類別にリストを絞り込むことができます。

実行リストには、上部のフィルタリング オプション、最近完了した実行と上位 5 つのエラーのグラフ、最近完了した実行のリストが含まれます。

次の条件でフィルタリングできます:

• ジョブまたはパイプラインの 名前 。
• すべて 、 ジョブ 、または パイプライン 。
• パイプラインの種類 (ETL、取り込み、MV/ST、またはデータベース テーブル同期)。
• 実行 ユーザー。
• 特定の実行を検索するための 実行 ID 。
• 実行の 開始時刻 (過去 48 時間以内)。
• 実行ステータス 。
• 失敗した実行の エラー コード 。

フィルターは、グラフ、エラー コード、実行リストに適用されます。

注記

Jobs API runs/submit エンドポイントを通じて送信された実行 (Apache Airflow DatabricksSubmitRunOperator からの実行を含む) は、保存されたジョブによってバックアップされない1回限りの実行です。これらの実行には関連付けられたジョブがないため、ジョブの 名前 でフィルター処理しても見つけることはできません。代わりに 実行 ID 、 実行者 、または 開始時刻 でフィルター処理します。 名前 検索に表示され、再試行をサポートする永続的なジョブを作成するには、runs/submitを使用するのではなくジョブを作成して実行します。

完了した実行回数のグラフ

完了実行数 グラフは、過去48時間に完了した実行回数を示します。デフォルトでは、グラフには失敗した実行、スキップされた実行、成功した実行が表示されます。グラフをフィルタリングして特定の実行状況を表示したり、グラフを特定の期間に限定したりすることもできます。

注記

完了した実行回数の グラフは、 ジョブ または パイプライン でフィルタリングした場合にのみ表示されます。 「すべて」 を選択した場合は表示されません。このグラフは、管理者向けにすべての実行結果について表示されています。管理者以外の場合は、 「実行」 をクリックして 「自分」 を選択する必要があります。

「実行」 タブの上部にあるフィルターがグラフに適用されます。

完了した実行回数 グラフに表示される時間範囲を制限するには、フィルターで時間範囲を定義します。または、グラフ上でカーソルをクリックしてドラッグすることで、時間範囲を選択することもできます。グラフと実行回数表は、指定された期間の実行回数のみを表示するように更新されます。

上位 5 つのエラータイプの 表には、選択した期間で最も頻繁に発生するエラータイプのリストが表示され、問題の最も一般的な原因をすばやく確認できます。 。

実行リスト

この タブ には、過去 60 日間のジョブとパイプライン実行の表も含まれています。 Databricksは、ジョブとパイプラインの両方について、実行履歴を60日間保持します。デフォルトでは、この表には失敗した実行、スキップされた実行、成功した実行に関する詳細情報が含まれます。

「実行」 タブの上部にあるフィルターがリストに適用されます。

デフォルト別では、実行テーブルの実行リストには次のように表示されます。

• 実行の開始時刻。
• 実行に関連付けられたジョブまたはパイプラインの名前。
• 実行のタイプ ( ジョブ または パイプライン )。
• 実行のユーザー名。
• 実行をトリガーしたもの（**[起動済み]**）: スケジュール、API リクエスト、または手動開始です。
• 実行中のジョブまたはパイプラインの経過時間、あるいは完了した実行の合計実行時間。UI では、期間が構成済みの 予想完了時間 を超えると警告が表示されます。
• 実行のステータス:**キュー済み**、**保留中**、**実行中**、**スキップ済み**、**成功**、**失敗を伴う成功**、**失敗**、**タイムアウト**、**キャンセル中**、または**キャンセル済み**。
• 実行が終了したエラー・コード。
• 実行のための任意のパラメーター。
• 実行中のジョブまたはパイプラインを停止するには、停止ボタンをクリックします。実行のアクションを開くには、をクリックします（たとえば、アクティブな実行を停止したり、完了した実行を削除したりするため）。

実行リストに表示される列を変更するには、 をクリックして、列を選択またはクリアします。

ジョブ実行の詳細を表示するには、実行 開始時刻の 列にあるリンクをクリックしてください。ジョブまたはパイプラインの詳細を表示するには、 「ジョブ」 列の名前をクリックします。

1 つのジョブの実行を表示する

Apache Airflow や Azure Data Factory などの外部オーケストレーション ツールによって開始された実行を含む、アクセス権を持つジョブの現在実行中の実行と最近完了した実行の一覧を表示できます。 最近のジョブ実行のリストを表示するには:

1. Databricks ワークスペースのサイドバーで、[ ジョブとパイプライン] をクリックします。

2. 必要に応じて、[ ジョブ ] と [自分が所有] フィルターを選択します。

3. ジョブ の [名前 ] リンクをクリックします。

   実行 タブが表示され、アクティブな実行と完了した実行のマトリックス ビューとリスト ビューが表示されます。

マトリックス ビューには、各ジョブ タスクを含む、ジョブの実行履歴が表示されます。

マトリックスの実行 合計期間 行には、実行の合計期間と実行の状態が表示されます。 開始時刻、期間、ステータスなど、実行の詳細を表示するには、 実行合計期間 行のバーにカーソルを合わせます。

タスク 行の各セルは、タスクとタスクの対応するステータスを表します。開始時刻、期間、クラスター、ステータスなど、各タスクの詳細を表示するには、そのタスクのセルにカーソルを合わせます。

ジョブ実行とタスク実行のバーは、実行状況を示すために色分けされています。成功した実行は緑色になります。 失敗した実行は赤色、スキップされた実行はピンク色、再試行待ちは黄色で表示されます。保留中、キャンセル済み、またはタイムアウト済みのものは灰色で表示されます。個々のジョブ実行およびタスク実行のバーの高さは、実行時間を視覚的に示します。

予想される完了時間を構成した場合、実行時間が構成された時間を超えると、マトリックス ビューに警告が表示されます。

デフォルト別では、実行リストビューには次の情報が表示されます。

• 実行の開始時刻。
• 実行識別子。実行 URL を検索して共有する方法については、「ジョブの実行 URL と ID」を参照してください。
• 実行がジョブ・スケジュールまたは API 要求によってトリガーされたか、または手動で開始されたか。
• 現在実行中のジョブの経過時間、または完了した実行の合計実行時間。 期間が設定された 予定完了時間を超えると、警告が表示されます。
• 実行のステータスは、キュー済み、保留中、実行中、スキップ済み、成功、一部失敗して成功、失敗、タイムアウト、キャンセル中、またはキャンセル済みのいずれかです。
• 実行が終了したエラーコード。
• 実行パラメーター。

現在アクティブな実行には、停止ボタンが表示されます。 アクティブな実行とキューに入っているすべての実行を停止するには、ドロップダウン メニューから [実行のキャンセル] または [ キューに入っているすべての実行のキャンセル ] を選択します。

実行のコンテキスト固有のアクションにアクセスするには、ケバブメニュー をクリックします (たとえば、アクティブな実行を停止したり、完了した実行を削除したりします)。

実行リスト ビューに表示される列を変更するには、[ ] をクリックし、列を選択または選択解除します。

ジョブ実行の詳細を表示するには、実行リスト・ビューの「 開始時刻 」列で実行のリンクをクリックします。このジョブの最新の成功した実行の詳細を表示するには、[ 最新の成功した実行に移動 ] をクリックします。

Databricks は、ジョブの実行履歴を最大 60 日間保持します。 ジョブの実行を保持する必要がある場合、Databricks では、有効期限が切れる前に結果をエクスポートすることをお勧めします。 詳細については、「 ジョブ実行結果のエクスポート」を参照してください。

ジョブ実行の詳細を表示する

ジョブ実行の詳細ページには、ジョブ出力とログへのリンク (ジョブ実行の各タスクの成功または失敗に関する情報を含む) が含まれています。 ジョブの実行詳細には、ジョブ の実行 タブからアクセスできます。

[実行 ] タブからジョブの実行の詳細を表示するには、実行リスト ビューの [開始時刻 ] 列で実行のリンクをクリックします。ジョブ の実行 タブに戻るには、 ジョブ ID の値をクリックします。

複数のタスクを持つジョブには、グラフ、タイムライン、およびリスト ビューが追加されています。

グラフ表示

グラフ内のタスクノードをクリックすると、次のようなタスク実行の詳細が表示されます。

• タスクの詳細には、実行者、ジョブの起動方法、開始時刻、終了時刻、所要時間、ステータスが含まれます。
• ソース コード。
• タスクを実行し、そのクエリ履歴とログにリンクするクラスター。
• タスクのメトリクス。

タイムラインビュー

複数のタスクを含むジョブには、完了に時間がかかっているタスクを特定し、依存関係と重複を理解して、これらのジョブのデバッグと最適化に役立つタイムライン ビューがあります。

サーバレス ジョブの場合、クエリとクエリ プロファイルはタイムライン ビューに統合されます。 タスク名の横にある矢印をクリックすると、クエリステートメントとその実行時間が表示されます。次に、ステートメントをクリックすると、対応するクエリプロファイルに移動します。ジョブ実行のクエリ詳細の表示を参照してください。

リスト表示

デフォルトでは、リストビューにはステータス、名前、タイプ、リソース、期間、および依存関係が表示されます。このビューでは、列を追加したり削除したりできます。

名前でタスクを検索したり、タスクのステータスまたはタスクの種類でフィルターしたり、ステータス、名前、または期間でタスクを並べ替えたりできます。

ジョブ ID の値をクリックして、ジョブ の実行 タブに戻ります。

実行で時間がどこに費やされているか、およびそれを減らすために何ができるかを確認するには、フェーズの内訳を表示します。「フェーズごとの実行の内訳を表示」を参照してください。

Databricks がジョブ実行ステータスを判断する方法

Databricks は、ジョブの 末端タスク の結果に基づいて、ジョブの実行が成功したかどうかを判断します。リーフタスクとは、下流のタスクに依存関係を持たないタスクのことです。ジョブの実行結果は、以下のいずれかになります。

• 成功: すべてのタスクが成功しました。
• 失敗して成功しました: 一部のタスクは失敗しましたが、すべてのリーフ タスクは成功しました。
• 失敗: 1 つ以上のリーフ タスクが失敗しました。
• スキップ: ジョブの実行がスキップされました (たとえば、ジョブまたはワークスペースの最大並列実行を超えたためにタスクがスキップされた可能性があります)。
• タイムアウト: ジョブの実行が完了するまでに時間がかかりすぎたため、タイムアウトしました。
• キャンセル済み: ジョブの実行がキャンセルされました (たとえば、ユーザーが進行中の実行を手動でキャンセルしたなど)。

個々のタスクは、ジョブ設定で明示的に無効にした場合、または上流のタスクが無効になっているために実行用にLakeFlowジョブが無効にした場合にも、 Disabledステータスで終了することがあります。 無効化されたタスクは、 DAGの右上隅。LakeFlowジョブの「無効なタスク」を参照してください。

ジョブのパフォーマンスメトリクスを表示

ストリーミングタスクのメトリクスとサーバレスクエリーパフォーマンスのメトリクスは、他のジョブパフォーマンスツールとともに文書化されています。LakeFlowジョブのパフォーマンス診断を参照してください。

タスクの実行履歴を表示する

タスクの実行履歴(成功および失敗した実行を含む)を表示するには:

1. ジョブ実行詳細 ページでタスクをクリックします。 タスク実行の詳細 ページが表示されます。
2. 実行履歴のドロップダウンメニューでタスクの実行を選択します。

For eachタスクのタスク実行履歴を表示する

For eachタスクの実行履歴へのアクセスは、標準のLakeFlowジョブ タスクの場合と同じです。 ジョブ実行詳細 ページのタスクノードFor eachをクリックするか、マトリックスビューの対応するセルをクリックしてください。ただし、標準タスクとは異なり、 For eachタスクの実行詳細は、ネストされたタスクの反復の表として表示されます。

失敗したイテレーションのみを表示するには、[ 失敗したイテレーションのみ ] をクリックします。

イテレーションの出力を表示するには、イテレーションの開始時間または終了時間の値をクリックします。

ジョブのリネージ情報を表示する

ワークスペースでUnity Catalogが有効になっている場合、ワークフローで任意のUnity Catalogテーブルのリネージ情報を表示できます。ワークフローのリネージ情報が利用可能な場合、アップストリームおよびダウンストリームのテーブル数を示すリンクが、ジョブの ジョブの詳細 ペイン、ジョブ実行の ジョブ実行の詳細 ペイン、またはタスク実行の タスク実行の詳細 ペインに表示されます。リンクをクリックして、テーブルのリストを表示します。テーブルをクリックして、カタログ エクスプローラーで詳細情報を表示します。

宣言型自動化バンドルで作成されたジョブを表示および実行する

LakeFlowジョブ UI を使用して、 Declarative Automation Bundlesによってデプロイされたジョブを表示および実行できます。 デフォルトでは、これらのジョブはジョブUIでは読み取り専用です。バンドルによってデプロイされたジョブを編集するには、バンドル構成ファイルを変更してジョブを再デプロイします。バンドル構成のみに変更を適用することで、バンドルソースファイルが常に最新のジョブ構成を反映することが保証されます。

ただし、ジョブをすぐに変更する必要がある場合は、バンドル設定からジョブを切断して、UI でジョブ設定を編集できるようにすることができます。 ジョブを切断するには、[ ソースから切断] をクリックします。 「ソースから切断 」ダイアログで、「 切断 」をクリックして確定します。

UI でジョブに加えた変更は、バンドル設定には適用されません。 UI で行った変更をバンドルに適用するには、バンドル設定を手動で更新する必要があります。 ジョブをバンドル構成に再接続するには、バンドルを使用してジョブを再デプロイします。

ジョブ実行結果のエクスポート

すべてのジョブ・タイプのノートブック実行結果とジョブ実行ログをエクスポートできます。

ノートブックの実行結果をエクスポートする

ジョブの実行は、結果をエクスポートすることで保持できます。 ノートブック ジョブの実行では、レンダリングされたノートブックを エクスポート して、後で Databricks ワークスペース にインポート できます。

1 つのタスクを含むジョブのノートブック実行結果をエクスポートするには、次のようにします。

1. ジョブの詳細ページで、[ Completed run (past 60 days)] (完了実行 (過去 60 日間)) テーブルの [実行 ] 列にある実行の [View Details] (詳細の表示 ) リンクをクリックします。
2. 「 HTMLにエクスポート」 をクリックします。

複数のタスクを持つジョブのノートブック実行結果をエクスポートするには:

1. ジョブの詳細ページで、[ Completed run (past 60 days)] (完了実行 (過去 60 日間)) テーブルの [実行 ] 列にある実行の [View Details] (詳細の表示 ) リンクをクリックします。
2. エクスポートするノートブック タスクをクリックします。
3. 「 HTMLにエクスポート」 をクリックします。

ジョブ実行ログのエクスポート

ジョブ実行のログをエクスポートできます。 ジョブ コンピュートの設定DBFS S3(コンピュート設定リファレンス を参照) またはジョブ を使用して、ログを または に自動的に配信するようにジョブを設定できます。APIジョブ API の Create a new job 操作 (POST /jobs/create) に渡される要求本文の new_cluster.cluster_log_conf オブジェクトを参照してください。