メインコンテンツまでスキップ

UI での宣言型パイプライン LakeFlow 監視

このセクションでは、組み込み 監視機能と可観測性機能の使用について説明します LakeFlow 宣言型パイプライン Databricks ユーザーインターフェイスで。 これらの機能は、次のようなタスクをサポートします。

パイプラインイベントのEメール通知を追加する​

次の発生時に通知を受信するように 1 つ以上の電子メール アドレスを構成できます。

  • パイプラインの更新が正常に完了します。
  • パイプラインの更新は、再試行可能または再試行不可能なエラーで失敗します。すべてのパイプライン障害の通知を受信するには、このオプションを選択します。
  • パイプラインの更新は、再試行不能 (致命的な) エラーで失敗します。再試行不可能なエラーが発生した場合にのみ通知を受け取るには、このオプションを選択します。
  • 1 つのデータ フローが失敗します。

パイプライン を作成 または編集するときに Eメール通知を設定するには:

  1. [ 通知を追加 ] をクリックします。
  2. 通知を受信する E メール アドレスを 1 つ以上入力します。
  3. 設定したEメールアドレスに送信する通知タイプごとにチェックボックスを選択します。
  4. [ 通知を追加 ] をクリックします。
注記

Python イベントフックを使用して、通知やカスタム処理などのイベントに対するカスタム応答を作成します。

UI でのパイプラインの表示​

ワークスペースサイドバーの Lakeflow Jobs & パイプライン オプションから、 宣言型パイプラインを見つけます。これにより、 ジョブとパイプライン ページが開き、アクセス権を持つ各ジョブとパイプラインに関する情報を表示できます。 パイプラインの名前をクリックして、パイプラインの詳細ページを開きます。

注記

新しい LakeFlow Pipelines エディタ(ベータ版)でイベントログにアクセスするには、エディタの下部にある [問題と知見 ] パネルに移動し、[ ログの表示 ] をクリックするか、エラーの横にある [ ログで開く ] ボタンをクリックします。 詳細については、「 LakeFlow Pipelines エディター」および 「イベント ログのパイプライン設定」を参照してください。

[ジョブとパイプライン] リストの使用​

アクセス権のあるパイプラインのリストを表示するには、サイドバーのワークフローアイコン。 [ ジョブと パイプライン] をクリックします。[ ジョブとパイプライン] タブには、作成者、トリガー (存在する場合)、過去 5 回の実行の結果など、使用可能なすべてのジョブとパイプラインに関する情報が一覧表示されます。

リストに表示される列を変更するには、[ 列設定アイコン ] をクリックし、列を選択または選択解除します。

備考

preview

統合された ジョブとパイプライン リストは パブリック プレビュー段階です。この機能を無効にしてデフォルトのエクスペリエンスに戻すには、 ジョブとパイプライン: 統合管理、検索、フィルタリング を無効にします。 詳細については、「Databricks プレビューの管理 」を参照してください。

次のスクリーンショットに示すように、 [ジョブとパイプライン] リストでジョブをフィルター処理できます。

吹き出しを含むパイプライン リスト ビュー。

  1. テキスト検索 : 名前 フィールドと ID フィールドでキーワード検索がサポートされています。キーと値を使用して作成されたタグを検索するには、キー、値、またはキーと値の両方で検索できます。たとえば、キーが department で値が financeのタグの場合、 department または finance を検索して一致するジョブを見つけることができます。キーと値で検索するには、キーと値をコロンで区切って入力します(例: department:finance)。
  2. タイプ : ジョブ 、 パイプライン 、または すべて でフィルター処理します。[ パイプライン ] を選択した場合は、ETL や [Ingestion パイプライン] などの パイプラインタイプ でフィルター処理することもできます。
  3. 所有者 : 所有しているジョブのみを表示します。
  4. お気に入り : お気に入りとしてマークしたジョブを表示します。
  5. タグ : タグを使用します。タグで検索するには、タグドロップダウンメニューを使用して最大5つのタグを同時にフィルタリングするか、キーワード検索を直接使用します。
  6. 実行者: 最大 2 つの run as 値でフィルター処理します。

ジョブまたはパイプラインを開始するには、[再生 再生アイコン ] ボタンをクリックします。ジョブまたはパイプラインを停止するには、[停止 停止アイコン ] ボタンをクリックします。他のアクションにアクセスするには、ケバブメニュー ケバブメニューのアイコン。をクリックします。たとえば、ジョブやパイプラインを削除したり、そのメニューからパイプラインの設定にアクセスしたりできます。

UI で使用できるパイプラインの詳細は何ですか?​

パイプライン グラフは、パイプラインの更新が正常に開始されるとすぐに表示されます。矢印は、パイプライン内のデータセット間の依存関係を表します。デフォルトでは、パイプラインの詳細ページにはテーブルの最新の更新が表示されますが、ドロップダウン メニューから古い更新を選択できます。

詳細には、パイプライン ID、ソース コード、コンピュート コスト、製品エディション、およびパイプライン用に設定されたチャンネルが含まれます。

データセットの表形式ビューを表示するには、「 リスト」 タブをクリックします。 リストビュー では、パイプライン内のすべてのデータセットをテーブル内の行として表示でき、パイプラインDAGが大きすぎて グラフビューで 視覚化できない場合に便利です。テーブルに表示されるデータ・セットは、データ・セット名、タイプ、状況などの複数のフィルターを使用して制御できます。DAG ビジュアライゼーションに戻すには、[ グラフ] をクリックします。

実行 ユーザー は パイプライン 所有者であり、 パイプライン 更新 実行 このユーザーの権限で実行。run asユーザーを変更するには、[ アクセス許可] をクリックし、パイプライン所有者を変更します。

データセットの詳細を表示するにはどうすればよいですか?​

パイプライングラフまたはデータセットリストでデータセットをクリックすると、データセットの詳細が表示されます。詳細には、データ・セット・スキーマ、データ品質メトリクス、およびデータ・セットを定義するソース・コードへのリンクが含まれます。

更新履歴を表示する​

パイプライン更新の履歴とステータスを表示するには、上部のバーの更新履歴ドロップダウンメニューをクリックします。

ドロップダウンメニューで更新プログラムを選択して、更新プログラムのグラフ、詳細、イベントを表示します。最新のアップデートに戻るには、[ 最新のアップデートを表示 ] をクリックします。

ストリーミング メトリクスを表示​

備考

プレビュー

Lakeflow 宣言型パイプラインのストリーミング オブザーバビリティはパブリック プレビュー段階です。

Lakeflow宣言型パイプラインの各ストリーミングフローにおいて、Apache Kafka、Amazon Kinesis、Deltaテーブル、Auto Loaderなど、Spark構造化ストリーミングでサポートされているデータソースからストリーミング メトリクスを表示できます。メトリクスは、 Lakeflow 宣言型パイプライン UI の右ペインにグラフとして表示され、バックログ秒数、バックログバイト数、バックログレコード、およびバックログファイルが含まれます。 グラフには分単位で集計された最大値が表示され、グラフにカーソルを合わせるとツールチップに最大値が表示されます。データは、現在の時刻から過去 48 時間に制限されます。

ストリーミング メトリクスDLT チャート アイコン 使用できるパイプライン内のテーブルは、UI グラフ ビューでパイプライン DAG を表示すると、 アイコンが表示されます。ストリーミング メトリクスを表示するには、 DLT チャート アイコン をクリックして、右側のペインの [フロー ] タブにストリーミング メトリクス チャートを表示します。 また、[ リスト] をクリックし、[ Has ストリーミング メトリクス] をクリックして、ストリーミング メトリクスを含むテーブルのみを表示するようにフィルターを適用することもできます。

各ストリーミングソースは特定のメトリクスのみをサポートします。 ストリーミングソースでサポートされていないメトリクスは、UI で表示できません。 次の表は、サポートされているストリーミングソースで使用できるメトリクスを示しています。

source

バックログ バイト

バックログ レコード

バックログ秒数

バックログ ファイル

Kafka

✓

✓

Kinesis

✓

✓

Delta

✓

✓

Auto Loader

✓

✓

Google Pub/Sub

✓

✓

に最終更新