ジョブの健全性を監視する (プライベートプレビュー)
プレビュー
この機能はプライベートプレビュー段階です。アクセスをリクエストするには、Databricksアカウントチームにお問い合わせください。
LakeFlowジョブの健全性は、さまざまな場所で複数のシグナルを確認することなく、注意が必要なジョブを特定するのに役立つ単一のロールアップスコアです。健全性スコアは、実行ステータス、失敗率、ユーザー定義の警告、自動化された警告、および（オプションで）データ品質シグナルを統合して、**ジョブとパイプライン**のリストおよびジョブページに単一のインジケーターとして表示します。
この記事では、ジョブの健全性を利用して以下を行う方法について説明します：
- 劣化しているジョブを表示するように ジョブとパイプライン リストをフィルタリングします。
- ジョブの健全性サマリーを読んで、パフォーマンスが低下している理由を理解してください。
- インパクトスコアに基づいてジョブの優先順位を付けます。
- 問題のデバッグを支援するためにGenie Codeをトリガーします。
- データ品質モニタリングを有効にすると、ヘルス スコアにテーブル レベルの完全性と鮮度が反映されます。
ジョブの健全性のしくみ
ジョブの健全性スコアは、すべての健全性基準において最も深刻なステータスを反映します。重大度が高いものから低いものの順にステータスは次のとおりです：
- 異常 ：少なくとも1つの基準が異常です。
- **警告**：少なくとも1つの基準が警告状態であり、異常な基準はありません。
- 正常 : フラグが付けられた条件はありません。
ジョブの健全性は、最近実行されたジョブにのみ表示されます。ジョブが約2か月間実行されていない場合、健全性列は空白になります。ジョブの健全性はパイプラインには適用されないため、このプレビュー期間中、パイプラインの列も空白になります。
健全性基準
以下の基準は、各実行の終了時に評価されるか、データ品質シグナルについては、実行完了後に非同期で評価されます：
カテゴリー | 基準 | トリガー時のステータス | 説明 |
|---|---|---|---|
ジョブの失敗 | 前回の実行ステータス | 異常あり | すべての再試行後に最後の実行が失敗しました。 |
ジョブの失敗 | 失敗率 | 警告 | 直近の25回の実行のうち、50%以上が失敗しました。 |
ユーザー定義の警告 | メトリクスしきい値 | 警告 | 実行時間またはストリーミングバックログのユーザーが構成したしきい値を超過しました。 |
自動警告 | 古くなったDBR | 警告 | このジョブは、サポート終了 (end-of-life) に近づいている Databricks Runtime バージョンで実行されています。 |
自動警告 | 期間の異常 | 警告 | 実行期間は、過去25回の成功した実行の平均から2標準偏差を超えています。少なくとも3回の成功した実行が必要です。 |
データ品質 | データ品質 | 異常あり | データ品質モニタリングの異常検出からテーブルレベルの完全性と鮮度を集約します。利用可能な最も低いテーブルレベルのインジケーターが表示されます。データプロファイリングシグナルは含まれていません。 |
データ品質は、スキーマレベルでモニタリングが有効になっている場合にのみ評価されます。ジョブのデータ品質監視を有効にするを参照してください。
問題のあるジョブを特定する
対応が必要なジョブを見つけるには、**ジョブとパイプライン**リストで**ヘルス**フィルターを使用します。
- サイドバーで、
［ ジョブとパイプライン ］をクリックします。 - **Health** フィルターを使用して、「異常あり」、「警告」、またはその両方を選択します。
ヘルス 列は、最近の実行の列の左側に表示されます。異常な状態または警告状態のジョブは、フィルタリングされたリストの先頭に表示され、最初に調査する内容を優先順位付けできます。
最近実行されていないジョブとパイプラインは、 Health 列が空白であり、 Health フィルター結果から除外されます。
ジョブの健全性を一目で把握する
ジョブとパイプライン リストからジョブを開き、その正常性概要を表示します。概要には、どの基準にフラグが立てられているか、ジョブが現在の状態になってからの期間、および劣化した各基準に関する簡単な説明が表示されます。
- ジョブが Unhealthy または Warning の場合、健全性セクションはデフォルトで展開されます。
- ジョブが「**正常**」の場合、このセクションは折りたたまれています。展開して、評価された基準を確認します。
劣化した各基準は展開して詳細を表示でき、関連する場合は、製品の他の部分（たとえば、失敗率の実行リストや、フラグが付けられたテーブルのデータ品質モニタリングページ）へのクロスリンクが提供されるため、基になるシグナルを掘り下げることができます。
インパクトスコアによるトリアージ
影響度はジョブの重要性を示すため、不健全なジョブ間で優先順位を付けることができます。これは、そのジョブが生成するテーブルの下流クエリー量に基づいています。それらのテーブルがクエリーされるほど、影響度は高くなります。影響度はテーブルレベルから集計されるため、影響度の高いテーブルが 1 つあるだけで、ジョブ全体の影響度が高くなります。
インパクト | 適用される時期 |
|---|---|
高 | ジョブのリネージに含まれる少なくとも1つのテーブルがハイインパクトです。 |
M | 影響度の高いテーブルはなく、少なくとも1つのテーブルが中程度の影響度です。 |
低 | 影響度が高い、または中程度のテーブルがないか、ジョブの依存関係データが利用できません。 |
不明 | ジョブが最近実行されていないため、影響はまだ判断されていません。 |
インパクトスコアは、次のリージョンで利用できます: us-east-1、us-east-2、us-west-2、eu-west-1、eu-central-1、およびap-southeast-2。
Genie Code を使用して問題のあるジョブをデバッグする
ヘルスサマリーから、パフォーマンスが低下したジョブの調査をGenie Codeに引き継ぐことができます。
「 診断 」をクリックして、Genie Codeに調査と修正の適用を依頼できるチャットを開きます。ヘルスサマリーを読み込み、ジョブが劣化した理由を説明し、確認後にさらに深く掘り下げたり、対象となる変更を適用したりするために、会話を続けることができます。
Genie Code は健全性スコアをエントリポイントとして使用し、ジョブ関連およびデータ品質関連の情報をクエリして問題の根本原因を特定します。基盤となる機能の詳細については、Genie Code を参照してください。このページでは、健全性サマリーから Genie Code を起動する方法についてのみ説明します。
ジョブのデータ品質モニタリングを有効にする
このジョブが書き込むスキーマのモニタリングが有効になっている場合にのみ、データ品質がヘルススコアに含まれます。ジョブページからモニタリングを有効にする：
- ジョブとパイプライン リストからジョブを開きます。
- サイドバーで、［ ジョブ健全性設定 ］を選択します。
- データ品質モニタリング セクションで、 モニタリングを有効にする をクリックします。
- ジョブが書き込むスキーマのリストを、各スキーマのテーブル数でランク付けして確認してください。
- 選択内容を確認し、[ モニタリングを有効にする ]をクリックします。
モニタリングが有効になると、最初の品質評価が完了した後に、データ品質シグナルがジョブの正常性概要に表示されます。新しいデータ品質結果が利用可能になると、正常性ステータスが更新されます。
データ品質シグナルはリアルタイムでは評価されません。ジョブの実行が完了してから、そのデータ品質結果がヘルスサマリーに表示されるまでに遅延が生じる場合があります。スキャン頻度は異常検出によって決定されます。詳細については、異常検出を参照してください。
データ品質はスキーマレベルで構成されます。
制限事項
- パイプラインはサポートされておらず、健全性ステータスは空白です。
- ヘルス構成オプション（例えば、特定の基準を除く）は利用できません。ノイズの多い基準に関するフィードバックを送信するには、Databricksアカウントチームにご連絡ください。
- ジョブのヘルスステータスを手動で上書きすることはできません。
- ヘルス スコアはシステムテーブルに保持されません。
- ジョブ実行の最後に健全性が評価されます。スケジュールされた実行が欠落した場合（ジョブが実行されない場合）、データ品質モニタリングがその間に異常を検出したとしても、ジョブが再度実行されるまで正常性ステータスは更新されません。