パイプライン イベント システム テーブルのリファレンス

備考

ベータ版

このシステムテーブルはベータ版です。

この記事は、アカウント内のパイプラインのLakeflow pipelinesイベントログエントリを記録するpipeline_eventsシステムテーブルのリファレンスです。各行はパイプラインイベントLogからの不変のイベントであり、ライフサイクルの移行、フローの進行状況、データ品質メトリクス、エラー、クラスターリソース、および地域内のすべてのパイプラインとワークスペースにおけるその他の運用データをキャプチャします。

要件

• このシステムテーブルにアクセスするには、ユーザーは次のいずれかを実行する必要があります。
  • メタストア管理者とアカウント管理者の両方である、または
  • システムスキーマにUSE権限とSELECT権限が必要です。システムテーブルへのアクセス権限の付与を参照してください。

利用可能なパイプライン イベント テーブル

パイプラインイベントのシステムテーブルは、ベータ版期間中は lakeflow_pipeline_events_preview スキーマに存在し、一般提供開始時に lakeflow スキーマに移動します：

テーブル	説明	ストリーミングをサポート	無料保持期間	グローバルデータまたはリージョンデータが含まれます。
pipeline_events（ベータ版）	パイプラインのランによって出力されたパイプラインイベントLogsエントリを記録します。	はい	13ヶ月	リージョン

テーブル	説明	ストリーミングをサポート	無料保持期間	グローバルデータまたはリージョンデータが含まれます。
pipeline_events（ベータ版）	パイプラインのランによって出力されたパイプラインイベントLogsエントリを記録します。	はい	13ヶ月	リージョン

注記

スキーマはベータ版期間中は lakeflow_pipeline_events_preview です。一般提供開始時に、テーブルは lakeflow スキーマに移動します（最終的なテーブルパスは system.lakeflow.pipeline_events になります）。ベータ版スキーマに対して記述されたクエリーは、テーブルの移動時に更新する必要があります。

詳細スキーマ参照

パイプライン イベント テーブル スキーマ

パイプラインイベントテーブルは追記専用です。各行は、パイプラインの更新によって発行された単一のイベントを、発行時点のデータとして記録し、行がその場で変更または削除されることはありません。

どのフィールドが行で入力されるかは、イベントタイプによって異なります。error、update_id、および多数の origin.* サブフィールドは、適用されるイベントでのみ設定され、details フィールドの構造も event_type によって異なります。

このテーブルを使用して、過去のパイプラインアクティビティを照会し、パイプラインの失敗に関するアラートを作成し、パイプラインの動作を他のLakeFlowシステムテーブルと関連付けることができます。

テーブルパス ： system.lakeflow_pipeline_events_preview.pipeline_events

プライマリーキー ： (account_id, pipeline_event_id)

列名	データ型	説明	注
account_id	string	このパイプラインイベントが属するアカウントのID
workspace_id	string	このパイプラインイベントが属するワークスペースのID
pipeline_id	string	イベントを出力したパイプラインのID
update_id	string	イベントを発行したパイプライン更新のID
pipeline_event_id	string	イベントのグローバル一意識別子
event_type	string	イベントのタイプ（例えば、flow_progress、update_progress、create_update）	値の全セットについては、イベントタイプの値を参照してください。
origin	struct	イベントの発生元に関するコンテキストメタデータ（クラウドプロバイダー、リージョン、パイプラインタイプ、テーブル名またはフロー名、その他の識別子など）	Origin struct フィールドを参照してください。
message	string	人間にとってわかりやすいイベントの説明	一部のイベントでは空である可能性があります。
level	string	イベントの重大度レベル	INFO、WARN、ERROR、METRICS のいずれか。レベル値を参照してください。
maturity_level	string	イベントスキーマの安定性	STABLE、EVOLVING、またはDEPRECATEDのいずれか。成熟度レベルの値を参照してください。
error	struct	エラーの詳細。エラー情報を持つイベントにのみ設定されます。	エラー構造体フィールドを参照してください。
details	バリアント	イベント固有のペイロードです。含まれるフィールドは、〜によって異なります。 event_type	詳細フィールドを参照してください。
event_time	timestamp	パイプラインから出力されたイベントの時刻	タイムゾーンは+00:00（UTC）として記録されます。

列名	データ型	説明	注
account_id	string	このパイプラインイベントが属するアカウントのID
workspace_id	string	このパイプラインイベントが属するワークスペースのID
pipeline_id	string	イベントを出力したパイプラインのID
update_id	string	イベントを発行したパイプライン更新のID
pipeline_event_id	string	イベントのグローバル一意識別子
event_type	string	イベントのタイプ（例えば、flow_progress、update_progress、create_update）	値の全セットについては、イベントタイプの値を参照してください。
origin	struct	イベントの発生元に関するコンテキストメタデータ（クラウドプロバイダー、リージョン、パイプラインタイプ、テーブル名またはフロー名、その他の識別子など）	Origin struct フィールドを参照してください。
message	string	人間にとってわかりやすいイベントの説明	一部のイベントでは空である可能性があります。
level	string	イベントの重大度レベル	INFO、WARN、ERROR、METRICS のいずれか。レベル値を参照してください。
maturity_level	string	イベントスキーマの安定性	STABLE、EVOLVING、またはDEPRECATEDのいずれか。成熟度レベルの値を参照してください。
error	struct	エラーの詳細。エラー情報を持つイベントにのみ設定されます。	エラー構造体フィールドを参照してください。
details	バリアント	イベント固有のペイロードです。含まれるフィールドは、〜によって異なります。 event_type	詳細フィールドを参照してください。
event_time	timestamp	パイプラインから出力されたイベントの時刻	タイムゾーンは+00:00（UTC）として記録されます。

元の構造体フィールド

サブフィールド	データ型	説明
cloud	string	クラウド プロバイダー（例えば、AWS、AZURE、GCP）
region	string	クラウドプロバイダーリージョン
org_id	bigint	ワークスペース組織ID
pipeline_type	string	パイプラインのタイプ
pipeline_name	string	ユーザーが指定したパイプライン名。
cluster_id	string	パイプライン更新用のコンピュートクラスターID
maintenance_id	string	イベントがメンテナンス実行によるものである場合、メンテナンス更新のID
dataset_name	string	イベントが参照するデータセット（テーブルまたはビュー）の名前
sink_name	string	イベントが参照するシンクの名前
catalog_name	string	Unity Catalogカタログ名
schema_name	string	Unity Catalogスキーマ名
flow_id	string	イベントが参照するフローのID
flow_name	string	イベントが参照するフロー名
batch_id	bigint	ストリーミングフローのマイクロバッチ ID です。bigint 互換性のため
request_id	string	アクションを開始したリクエストID
materialization_name	string	マテリアライゼーション名
operation_id	string	オペレーションのID
source_name	string	データソースの名前
uc_table_id	string	Unity CatalogテーブルID
ingestion_source_type	string	取り込みソースのタイプ（例えば、SQL_SERVER、SALESFORCE）
ingestion_source_connection_name	string	取り込みソースの接続名
ingestion_source_catalog_name	string	アップストリームシステムでのソースカタログ名
ingestion_source_schema_name	string	上流システムのソーススキーマ名
ingestion_source_table_name	string	アップストリームシステムにあるソーステーブル名
ingestion_source_table_version	string	ソーステーブルのバージョン、該当する場合。

サブフィールド	データ型	説明
cloud	string	クラウド プロバイダー（例えば、AWS、AZURE、GCP）
region	string	クラウドプロバイダーリージョン
org_id	bigint	ワークスペース組織ID
pipeline_type	string	パイプラインのタイプ
pipeline_name	string	ユーザーが指定したパイプライン名。
cluster_id	string	パイプライン更新用のコンピュートクラスターID
maintenance_id	string	イベントがメンテナンス実行によるものである場合、メンテナンス更新のID
dataset_name	string	イベントが参照するデータセット（テーブルまたはビュー）の名前
sink_name	string	イベントが参照するシンクの名前
catalog_name	string	Unity Catalogカタログ名
schema_name	string	Unity Catalogスキーマ名
flow_id	string	イベントが参照するフローのID
flow_name	string	イベントが参照するフロー名
batch_id	bigint	ストリーミングフローのマイクロバッチ ID です。bigint 互換性のため
request_id	string	アクションを開始したリクエストID
materialization_name	string	マテリアライゼーション名
operation_id	string	オペレーションのID
source_name	string	データソースの名前
uc_table_id	string	Unity CatalogテーブルID
ingestion_source_type	string	取り込みソースのタイプ（例えば、SQL_SERVER、SALESFORCE）
ingestion_source_connection_name	string	取り込みソースの接続名
ingestion_source_catalog_name	string	アップストリームシステムでのソースカタログ名
ingestion_source_schema_name	string	上流システムのソーススキーマ名
ingestion_source_table_name	string	アップストリームシステムにあるソーステーブル名
ingestion_source_table_version	string	ソーステーブルのバージョン、該当する場合。

エラー構造体フィールド

サブフィールド	データ型	説明
fatal	boolean	エラーにより更新が終了したかどうか
exceptions	array<struct>	エラーに関連する例外の連鎖（最後の根本原因）
exceptions[].sql_state	string	SQLSTATE コード（利用可能な場合）
exceptions[].error_class	string	Databricks エラークラス (利用可能な場合)

サブフィールド	データ型	説明
fatal	boolean	エラーにより更新が終了したかどうか
exceptions	array<struct>	エラーに関連する例外の連鎖（最後の根本原因）
exceptions[].sql_state	string	SQLSTATE コード（利用可能な場合）
exceptions[].error_class	string	Databricks エラークラス (利用可能な場合)

詳細フィールド

details列はVARIANTであり、含まれるフィールドはevent_typeによって異なります。各イベント タイプで利用可能なフィールドについては、「パイプライン イベント ログ スキーマ」を参照してください。variant_get 関数またはドット構文を使用して、ネストされた値を読み取ります。一般的なアクセスパターンについては、以下のクエリ例を参照してください。

event_type キーがペイロードをラップします。たとえば、flow_progress イベントのメトリクスは $.metrics ではなく $.flow_progress.metrics にあります。すべてのパスにイベントタイプキーを含めてください。

SQL

-- Using variant_get (lets you cast to a specific type)
SELECT
  pipeline_id,
  event_time,
  variant_get(details, '$.flow_progress.status', 'STRING')                       AS flow_status,
  variant_get(details, '$.flow_progress.metrics.num_output_rows', 'BIGINT')      AS rows_written,
  variant_get(details, '$.flow_progress.metrics.backlog_bytes', 'BIGINT')        AS backlog_bytes
FROM
  system.lakeflow_pipeline_events_preview.pipeline_events
WHERE
  event_type = 'flow_progress'
  AND event_time >= current_timestamp() - INTERVAL 1 HOUR

SQL

-- Using dot syntax (returns VARIANT, cast when needed)
SELECT
  pipeline_id,
  event_time,
  details:flow_progress.status::STRING               AS flow_status,
  details:flow_progress.metrics.num_output_rows::BIGINT AS rows_written
FROM
  system.lakeflow_pipeline_events_preview.pipeline_events
WHERE
  event_type = 'flow_progress'
  AND event_time >= current_timestamp() - INTERVAL 1 HOUR

クエリの例

SQL

-- Flow throughput for a specific pipeline
SELECT
  origin.flow_name,
  date_trunc('HOUR', event_time) AS hour,
  SUM(variant_get(details, '$.flow_progress.metrics.num_output_rows', 'BIGINT')) AS rows_written
FROM
  system.lakeflow_pipeline_events_preview.pipeline_events
WHERE
  pipeline_id = '<your-pipeline-id>'
  AND event_type = 'flow_progress'
  AND event_time >= current_timestamp() - INTERVAL 7 DAYS
GROUP BY
  origin.flow_name,
  date_trunc('HOUR', event_time)
ORDER BY
  hour DESC,
  rows_written DESC

SQL

-- The latest error for each pipeline that has errored in the last 7 days, with the outermost exception.
-- The exception chain is ordered with the root cause last, so read element -1 for the root cause.
-- On many errors only the first element carries error_class and sql_state.
SELECT
  workspace_id,
  pipeline_id,
  event_time,
  event_type,
  message,
  error.exceptions[0].error_class AS exception_error_class,
  error.exceptions[0].sql_state   AS exception_sql_state
FROM
  system.lakeflow_pipeline_events_preview.pipeline_events
WHERE
  level = 'ERROR'
  AND event_time >= current_timestamp() - INTERVAL 7 DAYS
QUALIFY
  ROW_NUMBER() OVER (PARTITION BY workspace_id, pipeline_id ORDER BY event_time DESC) = 1
ORDER BY
  event_time DESC

SQL

-- Data quality: failed expectations by dataset, per update, in the last 1 day
SELECT
  pipeline_id,
  update_id,
  origin.dataset_name,
  expectation.name AS expectation_name,
  SUM(expectation.failed_records) AS failed_records
FROM
  system.lakeflow_pipeline_events_preview.pipeline_events
  LATERAL VIEW explode(variant_get(details, '$.flow_progress.data_quality.expectations', 'ARRAY<STRUCT<name:STRING,dataset:STRING,passed_records:BIGINT,failed_records:BIGINT>>')) AS expectation
WHERE
  event_type = 'flow_progress'
  AND event_time >= current_timestamp() - INTERVAL 1 DAY
GROUP BY
  pipeline_id,
  update_id,
  origin.dataset_name,
  expectation.name
HAVING
  SUM(expectation.failed_records) > 0
ORDER BY
  failed_records DESC

一般的な結合パターン

パイプライン名でフィルタするため、pipelinesテーブルと結合します。

pipelinesテーブルは、ゆっくり変化するディメンション（SCD2）です。結合する前に、各パイプラインの最新バージョンを使用してください。

SQL

WITH latest_pipelines AS (
  SELECT *
  FROM system.lakeflow.pipelines
  QUALIFY ROW_NUMBER() OVER (PARTITION BY workspace_id, pipeline_id ORDER BY change_time DESC) = 1
)
SELECT
  p.name AS pipeline_name,
  e.event_time,
  e.event_type,
  e.level,
  e.message
FROM
  system.lakeflow_pipeline_events_preview.pipeline_events e
JOIN
  latest_pipelines p
  ON e.workspace_id = p.workspace_id
  AND e.pipeline_id = p.pipeline_id
WHERE
  e.level = 'ERROR'
  AND e.event_time >= current_timestamp() - INTERVAL 24 HOURS
ORDER BY
  e.event_time DESC

pipeline_update_timeline での結合 update_id

SQL

SELECT
  u.period_start_time AS update_start,
  u.period_end_time   AS update_end,
  e.event_time,
  e.event_type,
  e.level,
  e.message
FROM
  system.lakeflow.pipeline_update_timeline u
JOIN
  system.lakeflow_pipeline_events_preview.pipeline_events e
  ON e.update_id = u.update_id
WHERE
  u.pipeline_id = '<your-pipeline-id>'
  AND u.period_start_time >= current_timestamp() - INTERVAL 7 DAYS
ORDER BY
  u.period_start_time DESC,
  e.event_time ASC

アラートのセットアップ

pipeline_events上で、Databricks SQLのアラートを使用してアラートを構築できます。pipeline_eventsに対してSQLクエリを記述し（オプションで他のLakeFlowシステムテーブルと結合）、それをSQLウェアハウスでスケジュールし、通知送信先（Eメール、Slack、webhook、PagerDutyなど）を設定します。

いくつかの便利な開始点：

過去N分間、パイプラインにイベントが到着しなかった場合にアラートします。

これを使用して、停止している、またはサイレントに失敗しているパイプラインを検出します。

SQL

-- Returns one row per pipeline that has not emitted any event in the last 30 minutes.
-- The alert can trigger when this query returns any rows.
SELECT
  workspace_id,
  pipeline_id,
  MAX(event_time) AS last_event_time
FROM
  system.lakeflow_pipeline_events_preview.pipeline_events
WHERE
  event_time >= current_timestamp() - INTERVAL 24 HOURS
GROUP BY
  workspace_id,
  pipeline_id
HAVING
  MAX(event_time) < current_timestamp() - INTERVAL 30 MINUTES

特定のフローのバックログが高すぎる場合にアラートします。

バックログはflow_progressイベントでbacklog_bytesとして報告され、ファイルソースの場合はbacklog_filesとしても報告されます。最新の読み取り値がthresholdを超えたときにTriggerします（例：100 MBの未処理作業）。すべてのソースがすべてのメトリクスを報告するわけではないため、使用しているソースが生成するメトリクスでフィルタリングしてください。

SQL

-- Returns the most recent backlog reading per flow for a given pipeline.
-- The alert can trigger when backlog_bytes exceeds the threshold for any flow.
WITH latest_flow_progress AS (
  SELECT
    workspace_id,
    pipeline_id,
    origin.flow_name,
    event_time,
    CASE
      WHEN variant_get(details, '$.flow_progress.status', 'STRING') = 'COMPLETED' THEN 0
      ELSE variant_get(details, '$.flow_progress.metrics.backlog_bytes', 'BIGINT')
    END AS backlog_bytes
  FROM
    system.lakeflow_pipeline_events_preview.pipeline_events
  WHERE
    pipeline_id = '<your-pipeline-id>'
    AND event_type = 'flow_progress'
    AND event_time >= current_timestamp() - INTERVAL 1 HOUR
    AND (
      variant_get(details, '$.flow_progress.metrics.backlog_bytes', 'BIGINT') IS NOT NULL
      OR variant_get(details, '$.flow_progress.status', 'STRING') = 'COMPLETED'
    )
  QUALIFY
    ROW_NUMBER() OVER (PARTITION BY workspace_id, pipeline_id, origin.flow_name ORDER BY event_time DESC) = 1
)
SELECT *
FROM latest_flow_progress
WHERE backlog_bytes > 100000000

どのソースが遅れているかを見るために、 $.flow_progress.metrics.source_metrics は各ソースごとの読み取り値の配列で、それぞれのソースの読み取り値の横に source_name が並び、その backlog_bytes、 backlog_records 、 backlog_filesが付けられています。

パイプラインのデータ品質低下に関するアラート

各 flow_progress イベントは、EXPECT … DROP 個のエクスペクテーションによって削除された行数を報告します。更新ウィンドウ全体でデータセットごとにこれらを合計し、合計がthresholdを超えた場合にアラートを通知します。

SQL

-- Returns datasets where more than 100 rows were dropped by expectations, per update, in the last hour.
SELECT
  pipeline_id,
  update_id,
  origin.dataset_name,
  SUM(variant_get(details, '$.flow_progress.data_quality.dropped_records', 'BIGINT')) AS dropped_records
FROM
  system.lakeflow_pipeline_events_preview.pipeline_events
WHERE
  event_type = 'flow_progress'
  AND event_time >= current_timestamp() - INTERVAL 1 HOUR
GROUP BY
  pipeline_id,
  update_id,
  origin.dataset_name
HAVING
  SUM(variant_get(details, '$.flow_progress.data_quality.dropped_records', 'BIGINT')) > 100

フローが処理する行数が少なすぎる場合にアラートを出す

flow_progress イベントはmetrics.num_output_rowsをマイクロバッチごとのカウントとしてレポートするため、ウィンドウ内のイベントを合計すると、そのウィンドウ全体で書き込まれた行数が得られます。throughputが期待される下限を下回った場合にアラートを作成します。たとえば、通常は1時間あたり数千行を書き込むフローが、ほぼゼロしか生成しない場合は、ソースの設定が誤っている可能性があります。

このクエリーは、ウィンドウ内で行数を含む flow_progress イベントを出力したフローのみを報告します。完全に停止したフローはイベントを出力しないため、このアラートを上記のアラート（missing-events）と組み合わせて使用してください。

SQL

-- Returns flows that wrote fewer than 100 rows in the last hour.
-- The alert can trigger when this query returns any rows.
SELECT
  pipeline_id,
  origin.flow_name,
  SUM(variant_get(details, '$.flow_progress.metrics.num_output_rows', 'BIGINT')) AS rows_written_last_hour
FROM
  system.lakeflow_pipeline_events_preview.pipeline_events
WHERE
  pipeline_id = '<your-pipeline-id>'
  AND event_type = 'flow_progress'
  AND event_time >= current_timestamp() - INTERVAL 1 HOUR
  AND variant_get(details, '$.flow_progress.metrics.num_output_rows', 'BIGINT') IS NOT NULL
GROUP BY
  pipeline_id,
  origin.flow_name
HAVING
  SUM(variant_get(details, '$.flow_progress.metrics.num_output_rows', 'BIGINT')) < 100

新規データのレイテンシーが高すぎる場合にアラートを出す

ストリーミングフローの場合、flow_progressイベントはstreaming_metricsでレイテンシーを報告します。stream_latency_msは、データがアップストリームに到達してから、マイクロバッチがDeltaテーブルにコミットされるまでの時間です。最新の読み取り値がthresholdを超えたときに発動するTriggerを設定できます（例：5分）。

タグ付けされたイベント時間を持つストリーミングフローのみが stream_latency_ms をレポートし、それはSDP時間メトリクスが有効な場合に限られます。他のフローはイベントごとにNULLを返し、それらのフローに対してこのアラートが起動することはありません。

SQL

-- Returns the most recent new-data latency per flow for a given pipeline.
-- The alert can trigger when stream_latency_ms > 300000 (5 minutes) for any flow.
WITH latest_latency AS (
  SELECT
    workspace_id,
    pipeline_id,
    origin.flow_name,
    event_time,
    CASE
      WHEN variant_get(details, '$.flow_progress.status', 'STRING') = 'COMPLETED' THEN 0
      ELSE variant_get(details, '$.flow_progress.streaming_metrics.stream_latency_ms', 'BIGINT')
    END AS stream_latency_ms
  FROM
    system.lakeflow_pipeline_events_preview.pipeline_events
  WHERE
    pipeline_id = '<your-pipeline-id>'
    AND event_type = 'flow_progress'
    AND event_time >= current_timestamp() - INTERVAL 1 HOUR
    AND (
      variant_get(details, '$.flow_progress.streaming_metrics.stream_latency_ms', 'BIGINT') IS NOT NULL
      OR variant_get(details, '$.flow_progress.status', 'STRING') = 'COMPLETED'
    )
  QUALIFY
    ROW_NUMBER() OVER (PARTITION BY workspace_id, pipeline_id, origin.flow_name ORDER BY event_time DESC) = 1
)
SELECT *
FROM latest_latency
WHERE stream_latency_ms > 300000

本番運用アラートのヒント

• アカウント全体ではなく、各アラートが特定のスコープを対象とするように、pipeline_id でフィルタリングします（ワークスペースごとにアラートを管理している場合は workspace_id も対象とします）。
• アラートの感度に合った評価のケイデンスを設定します。高速フェイル信号には短い間隔（例：5分ごと）を使用し、バックログやデータ品質の傾向には長い間隔（例：1時間ごと）を使用します。「クエリが0より多くの行を返すときにトリガーする」という条件は、ほとんどの場合に機能します。

リファレンス

レベル値

Value	説明
INFO	通常のパイプラインアクティビティ（フローの進捗、更新ライフサイクルの遷移、構成の変更）
WARN	パイプラインが復旧したものの、致命的ではない問題、または対処が必要な問題
ERROR	フローまたは更新におけるパイプラインの進行を妨げた失敗
METRICS	実行中に発行される定量的な測定値（行数、スループット、レイテンシ）

Value	説明
INFO	通常のパイプラインアクティビティ（フローの進捗、更新ライフサイクルの遷移、構成の変更）
WARN	パイプラインが復旧したものの、致命的ではない問題、または対処が必要な問題
ERROR	フローまたは更新におけるパイプラインの進行を妨げた失敗
METRICS	実行中に発行される定量的な測定値（行数、スループット、レイテンシ）

成熟度レベルの値

Value	説明
STABLE	イベントスキーマは安定しています。互換性に影響する変更は想定されません。本番運用クエリーやアラートの構築に安全にご利用いただけます。
EVOLVING	イベントスキーマは今後のリリースで変更される場合があります。注意して使用してください。
DEPRECATED	イベントタイプまたはスキーマは非推奨であり、今後のリリースで削除される予定です。それから移行してください。

Value	説明
STABLE	イベントスキーマは安定しています。互換性に影響する変更は想定されません。本番運用クエリーやアラートの構築に安全にご利用いただけます。
EVOLVING	イベントスキーマは今後のリリースで変更される場合があります。注意して使用してください。
DEPRECATED	イベントタイプまたはスキーマは非推奨であり、今後のリリースで削除される予定です。それから移行してください。

イベントタイプの値

event_typeフィールドは列挙です。値のフルセット：

Value	説明
create_update	新しいパイプライン更新が要求されました。
update_progress	パイプラインの更新がライフサイクル状態を遷移しました。
flow_progress	更新内のフロー（データセット）が状態を遷移しました。
flow_definition	フローに関する静的メタデータ。
dataset_definition	データセットに関する静的メタデータ。
sink_definition	出力シンクに関する静的メタデータ。
deprecation	非推奨の機能がパイプラインによって使用されました。
autoscale	クラスターオートスケール決定。
unsupported_operation	現在の構成では、操作がサポートされていません。
cluster_resources	バッキング コンピュートのタスク スロットおよびオートスケールのメトリクス
planning_information	更新に関する計画段階の情報
gc_pressure	ドライバーまたはエグゼキューターにおけるガベージコレクション負荷。
abnormal_termination	更新が異常に終了しました。
disk_space	クラスター上のディスク容量のひっ迫。
hook_progress	パイプラインフックのライフサイクルの進行状況。
dataset_life_cycle	データセットのライフサイクルイベントです。
background_operation	バックグラウンド操作が状態に遷移しました。
remote_api_usage	パイプラインが外部 API 呼び出しを行いました。
operation_progress	一般的な操作の進行状況。
stream_progress	フローを支えるストリーミングクエリの進捗
rewind_summary	パイプラインの復元操作の概要
advisory	エンジンからのアドバイザリーメッセージです。
runtime_details	ランタイムの設定の詳細。
resource_info	リソース情報（クラスター、インスタンスタイプなど）。
file_notification_set_up	ファイル通知設定状況（クラウドファイルソース向け）。
behavior_change_in_spark_connect	Spark Connect における動作変更の通知
user_action	ユーザーによるパイプラインに対するアクションです。
user_code_context	イベントに関連付けられたユーザーコードに関するコンテキスト。

Value	説明
create_update	新しいパイプライン更新が要求されました。
update_progress	パイプラインの更新がライフサイクル状態を遷移しました。
flow_progress	更新内のフロー（データセット）が状態を遷移しました。
flow_definition	フローに関する静的メタデータ。
dataset_definition	データセットに関する静的メタデータ。
sink_definition	出力シンクに関する静的メタデータ。
deprecation	非推奨の機能がパイプラインによって使用されました。
autoscale	クラスターオートスケール決定。
unsupported_operation	現在の構成では、操作がサポートされていません。
cluster_resources	バッキング コンピュートのタスク スロットおよびオートスケールのメトリクス
planning_information	更新に関する計画段階の情報
gc_pressure	ドライバーまたはエグゼキューターにおけるガベージコレクション負荷。
abnormal_termination	更新が異常に終了しました。
disk_space	クラスター上のディスク容量のひっ迫。
hook_progress	パイプラインフックのライフサイクルの進行状況。
dataset_life_cycle	データセットのライフサイクルイベントです。
background_operation	バックグラウンド操作が状態に遷移しました。
remote_api_usage	パイプラインが外部 API 呼び出しを行いました。
operation_progress	一般的な操作の進行状況。
stream_progress	フローを支えるストリーミングクエリの進捗
rewind_summary	パイプラインの復元操作の概要
advisory	エンジンからのアドバイザリーメッセージです。
runtime_details	ランタイムの設定の詳細。
resource_info	リソース情報（クラスター、インスタンスタイプなど）。
file_notification_set_up	ファイル通知設定状況（クラウドファイルソース向け）。
behavior_change_in_spark_connect	Spark Connect における動作変更の通知
user_action	ユーザーによるパイプラインに対するアクションです。
user_code_context	イベントに関連付けられたユーザーコードに関するコンテキスト。