UI によるLakeFlow宣言型パイプラインの監視

このセクションでは、Databricksユーザーインタフェースにおける、ビルトインの監視と可観測性の機能の使い方を説明しますこれらの機能は、次のようなタスクをサポートします。

• パイプラインの更新の進行状況とステータスを監視します。 UI で使用できるパイプラインの詳細を参照してください。
• パイプライン更新の成功や失敗などのパイプライン イベントに関するアラート。 パイプラインイベントのEメール通知の追加を参照してください。
• Apache KafkaやAuto Loaderのようなストリーミングソースのメトリクスの参照 (パブリックプレビュー)。ストリーミングメトリクスの表示を参照してください。

パイプラインイベントのEメール通知を追加する

次の発生時に通知を受信するように 1 つ以上の電子メール アドレスを構成できます。

• パイプラインの更新が正常に完了します。
• パイプラインの更新は、再試行可能または再試行不可能なエラーで失敗します。すべてのパイプライン障害の通知を受信するには、このオプションを選択します。
• パイプラインの更新は、再試行不能 (致命的な) エラーで失敗します。再試行不可能なエラーが発生した場合にのみ通知を受け取るには、このオプションを選択します。
• 1 つのデータ フローが失敗します。

パイプライン を作成 または編集するときに Eメール通知を設定するには:

1. [ 通知を追加 ] をクリックします。
2. 通知を受信する E メール アドレスを 1 つ以上入力します。
3. 設定したEメールアドレスに送信する通知タイプごとにチェックボックスを選択します。
4. [ 通知を追加 ] をクリックします。

注記

Python イベントフックを使用して、通知やカスタム処理などのイベントに対するカスタム応答を作成します。

UI でのパイプラインの表示

ワークスペースサイドバーの Lakeflow ジョブ & パイプライン オプションから、 宣言型パイプラインを見つけます。これにより、 ジョブとパイプライン ページが開き、アクセス権を持つ各ジョブとパイプラインに関する情報を表示できます。 パイプラインの名前をクリックして、パイプラインの詳細ページを開きます。

注記

新しい LakeFlow パイプライン エディタ(ベータ版)でイベントログにアクセスするには、エディタの下部にある 問題と知見 パネルに移動し、 ログの表示 をクリックするか、エラーの横にある ログで開く ボタンをクリックします。 詳細については、LakeFlow パイプライン エディターおよび イベント ログのパイプライン設定を参照してください。

ジョブとパイプラインリストの使用

アクセス権のあるパイプラインのリストを表示するには、サイドバーの ジョブとパイプライン をクリックします。 ジョブとパイプライン タブには、作成者、トリガー (存在する場合)、過去 5 回の実行の結果など、使用可能なすべてのジョブとパイプラインに関する情報が一覧表示されます。

リストに表示される列を変更するには、[ ] をクリックし、列を選択または選択解除します。

次のスクリーンショットに示すように、 [ジョブとパイプライン] リストでジョブをフィルター処理できます。

1. テキスト検索 : 名前 フィールドと ID フィールドでキーワード検索がサポートされています。キーと値を使用して作成されたタグを検索するには、キー、値、またはキーと値の両方で検索できます。たとえば、キーが department で値が financeのタグの場合、 department または finance を検索して一致するジョブを見つけることができます。キーと値で検索するには、キーと値をコロンで区切って入力します(例: department:finance)。
2. タイプ : ジョブ 、 パイプライン 、または すべて でフィルター処理します。 パイプライン を選択した場合は、ETL や取り込みパイプラインなどの パイプラインタイプ でフィルター処理することもできます。
3. 所有者 : 所有しているジョブのみを表示します。
4. お気に入り : お気に入りとしてマークしたジョブを表示します。
5. タグ : タグを使用します。タグで検索するには、タグドロップダウンメニューを使用して最大5つのタグを同時にフィルタリングするか、キーワード検索を直接使用します。
6. 実行者: 最大 2 つの run as 値でフィルター処理します。

ジョブまたはパイプラインを開始するには、再生ボタンをクリックします。ジョブまたはパイプラインを停止するには、停止ボタンをクリックします。他のアクションにアクセスするには、ケバブメニュー をクリックします。たとえば、ジョブやパイプラインを削除したり、そのメニューからパイプラインの設定にアクセスしたりできます。

UI で使用できるパイプラインの詳細は何ですか?

注記

LakeFlow Pipelines エディターのベータ版では、パイプラインの詳細のエクスペリエンスが変更されます。ベータ版にオプトインすると、ここで説明されているものとは異なるUIで情報が表示されます。その UI の詳細については、次のセクションを参照してください。

パイプライン グラフは、パイプラインの更新が正常に開始されるとすぐに表示されます。矢印は、パイプライン内のデータセット間の依存関係を表します。デフォルトでは、パイプラインの詳細ページにはテーブルの最新の更新が表示されますが、ドロップダウン メニューから古い更新を選択できます。

詳細には、パイプライン ID、ソース コード、コンピュート コスト、製品エディション、およびパイプライン用に設定されたチャンネルが含まれます。

データセットの表形式ビューを表示するには、 リスト タブをクリックします。 リストビュー では、パイプライン内のすべてのデータセットをテーブル内の行として表示でき、パイプラインDAGが大きすぎて グラフビュー で視覚化できない場合に便利です。テーブルに表示されるデータ・セットは、データ・セット名、タイプ、状況などの複数のフィルターを使用して制御できます。DAG ビジュアライゼーションに戻すには、 グラフ をクリックします。

実行 ユーザー は パイプライン 所有者であり、 パイプライン 更新 実行 このユーザーの権限で実行。run asユーザーを変更するには、 アクセス許可 をクリックし、パイプライン所有者を変更します。

LakeFlow Pipelines エディターにはどのような変更がありますか?

LakeFlow Pipelines エディター ベータ版と新しいパイプライン モニタリング UI にオプトインしている場合、一部の情報は UI の異なる場所にあります。情報 LakeFlow Pipelines エディターと両方のベータ版のオプトインについては、「LakeFlow Pipelines エディターを有効にする」を参照してください。

備考

ベータ版

この機能は ベータ版です。

パイプラインの詳細ページでのモニタリングに対する次の変更は、両方のベータ版にオプトインすると表示されます。

• 右側のパネルの [パイプラインの詳細 ] と [ 更新の詳細 ] タブは、上部の [パイプラインの詳細] と統合され、その後に更新の詳細が続きます。

• DAG でテーブルをクリックしても、右側のパネルにテーブルの詳細は表示されません。右側のパネルには、パイプラインと更新の詳細が引き続き表示されます。代わりに、下部パネルにテーブル情報が表示されます。

• 開発モードでパイプラインを実行するためのルールが若干更新されました。開発モードに関する情報については、 開発モードと本番運用モードを参照してください。

  • スケジュールまたはトリガーを使用してパイプラインを実行すると、開発モードを使用するかどうかのパイプライン設定に従います。パイプライン 設定でパイプライン のデフォルトを変更できます。
  • モニタリングUIからパイプラインを実行すると、パイプライン設定で定義されたモードが使用されます。 開発モードを使用するかどうかは、ドロップダウンの [異なる設定で実行] オプションを使用して選択できます。
  • パイプライン エディターからパイプラインを実行すると、開発モードにデフォルトします。 ドロップダウンの [異なる設定で実行] オプションを使用して、開発モードを使用しないことを選択できます。

• パイプラインの詳細にソースコードへのリンクがなくなりました。代わりに、上部の [パイプラインの編集 ] を選択します。特定のテーブルのコードにジャンプするには、DAG のテーブルにカーソルを合わせ、[ コードに移動]ボタン をクリックします。

• イベント ログは、更新のたびに デフォルト で表示されなくなりました。 処理中にエラーが発生すると、下部パネルにエラーが表示され、その実行のイベント ログを表示するための [ ログの表示] ボタンが表示されます。イベントログは、右側のパネルの実行の詳細から [ イベントログ 表示]を選択しても使用できます。

• テーブルスキーマ情報は、下部パネルでテーブルを選択し、[ 列] を選択することで使用できます。

• テーブルのコメントは、パイプラインの詳細ページからは使用できません。テーブルのコメントを表示するには、カタログエクスプローラからテーブルを表示します。カタログ エクスプローラーのテーブルに直接ジャンプするには、DAG のテーブルの上にマウスを置き、 をクリックして [ カタログで表示]します。また、下部パネルのテーブルのリストからカタログエクスプローラーの情報にアクセスするには、 アイコンをクリックします。

データセットの詳細を表示するにはどうすればよいですか?

パイプライングラフまたはデータセットリストでデータセットをクリックすると、データセットの詳細が表示されます。詳細には、データ・セット・スキーマ、データ品質メトリクス、およびデータ・セットを定義するソース・コードへのリンクが含まれます。

更新履歴を表示する

パイプライン更新の履歴とステータスを表示するには、上部のバーの更新履歴ドロップダウンメニューをクリックします。

ドロップダウンメニューで更新プログラムを選択して、更新プログラムのグラフ、詳細、イベントを表示します。最新のアップデートに戻るには、[ 最新のアップデートを表示 ] をクリックします。

ストリーミング メトリクスを表示

備考

プレビュー

Lakeflow 宣言型パイプラインのストリーミング オブザーバビリティはパブリック プレビュー段階です。

Lakeflow宣言型パイプラインの各ストリーミングフローにおいて、Apache Kafka、Amazon Kinesis、Deltaテーブル、Auto Loaderなど、Spark構造化ストリーミングでサポートされているデータソースからストリーミング メトリクスを表示できます。メトリクスは、 Lakeflow 宣言型パイプライン UI の右ペインにグラフとして表示され、バックログ秒数、バックログバイト数、バックログレコード、およびバックログファイルが含まれます。 グラフには分単位で集計された最大値が表示され、グラフにカーソルを合わせるとツールチップに最大値が表示されます。データは、現在の時刻から過去 48 時間に制限されます。

ストリーミング メトリクス 使用できるパイプライン内のテーブルは、UI グラフ ビューでパイプライン DAG を表示すると、 アイコンが表示されます。ストリーミング メトリクスを表示するには、 をクリックして、右側のペインの フロー タブにストリーミング メトリクス チャートを表示します。 また、 リスト をクリックし、 ストリーミング メトリクスがある をクリックして、ストリーミング メトリクスを含むテーブルのみを表示するようにフィルターを適用することもできます。

各ストリーミングソースは特定のメトリクスのみをサポートします。 ストリーミングソースでサポートされていないメトリクスは、UI で表示できません。 次の表は、サポートされているストリーミングソースで使用できるメトリクスを示しています。

source	バックログ バイト	バックログ レコード	バックログ秒数	バックログ ファイル
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
Auto Loader	✓			✓
Google Pub/Sub	✓	✓