AUTO CDC APIs : パイプラインを使用して変更データ キャプチャを簡素化
LakeFlow Pipelinesは、AUTO CDCとAUTO CDC FROM SNAPSHOT APIs を使用してチェンジデータキャプチャ (CDC) を簡素化します。これらのAPIsは、CDCフィードまたはデータベーススナップショットのいずれかからslowly changing dimensions (SCD) タイプ1とタイプ2をコンピュートする複雑さを自動化します。また、 AUTO CDC APIは、CDCフィードから二重時間履歴もコンピュートします。SCDタイプ1、SCDタイプ2、および二重時間の詳細については、チェンジデータキャプチャとスナップショットを参照してください。
AUTO CDC APIs APPLY CHANGES APIsに代わるもので、同じ構文を持ちます。 APPLY CHANGES APIs引き続き使用できますが、 Databricks代わりにAUTO CDC APIs使用することをお勧めします。
使用する API は、変更データのソースによって異なります。
AUTO CDC: ソース データベースで CDC フィードが有効になっている場合に使用します。AUTO CDCは変更データフィード (CDF) からの変更を処理します。 パイプライン SQL と Python インターフェースの両方でサポートされています。AUTO CDC FROM SNAPSHOT:ソースデータベースで CDC が有効になっておらず、スナップショットのみが利用可能な場合に使用します。この API はスナップショットを比較して変更を特定し、それらを処理します。パイプラインの SQL インターフェイスと Python インターフェイスの両方でサポートされています。
SCD タイプ 1 のターゲットの場合、1 つ以上の AUTO CDC フローと AUTO CDC FROM SNAPSHOT フローを組み合わせることもできます。ソースから定期的信頼できるスナップショットと、スナップショット間の低レイテンシーのCDCフィードが提供される場合は、このパターンを使用します。
APIs は、ターゲットテーブルに対して次のストレージタイプをサポートしています:
- SCDタイプ1 : レコードを直接更新します。更新されたレコードの履歴は保持されません。両方の APIs でサポートされます。
- SCDタイプ2 : すべての更新または指定された列の更新に対してレコードの履歴を保持します。両方の APIs でサポートされます。
- バイテンポラル : 変更が有効になったビジネス時間と、システムがそれを記録したシステム時間という、2つのタイムライン全体でレコードの履歴を保持します。
AUTO CDCでのみサポートされます。バイテンポラル AUTO CDC を参照してください。
AUTO CDC 部分的な更新もサポートしており、変更レコードは列のサブセットのみを更新します。部分的な更新を適用を参照してください。
AUTO CDC APIs 、 Apache Spark 宣言型パイプラインではサポートされていません。
構文およびその他のリファレンスについては、 「AUTO CDC INTO (パイプライン)」 、 「create_auto_cdc_flow」 、および「create_auto_cdc_from_snapshot_flow 」を参照してください。
これらの APIsを使用して、ソースデータの変更に基づき、パイプラインのテーブルを更新します。Delta テーブルの行レベルの変更情報を記録してクエリーする方法については、「Databricksでチェンジデータフィードを使用する」を参照してください。
要件
CDC APIを使用するには、パイプラインをServerless LakeFlow Pipelines、またはLakeFlow Pipelines Pro または Advanced エディションを使用するように構成する必要があります。
AUTO CDCの仕組み
AUTO CDCでCDC処理を実行するには、ストリーミング テーブルを作成し、 SQLのAUTO CDC ... INTOステートメントまたはPythonのcreate_auto_cdc_flow()関数を使用して、変更フィードのソース、キー、シーケンスを指定します。 シーケンスとSCDロジックの仕組みの説明については、 「チェンジデータ キャプチャ」と「スナップショット」を参照してください。 AUTO CDC の例を参照してください。
変更フィードを含むソースからの初期ハイドレーションの場合は、 onceフローでAUTO CDC使用し、変更フィードの処理を続行します。「AUTO CDC を使用して外部 RDBMS テーブルを複製する」を参照してください。
構文の詳細については、 「AUTO CDC INTO (パイプライン)」または「create_auto_cdc_flow」を参照してください。
スナップショットからの自動CDC仕組み
AUTO CDC FROM SNAPSHOT 順序付きのスナップショットを比較することで、ソースデータの変更を決定します。Delta テーブル、クラウドストレージファイル、または JDBC から直接スナップショットを読み取ることができます。パイプラインの SQL および Python インターフェイスの両方でサポートされています。
AUTO CDC FROM SNAPSHOTでCDC処理を実行するには、ストリーミングテーブルを作成し、フローを定義します。
- SQL では、
CREATE STREAMING TABLEのCREATE FLOWステートメントのAUTO CDC ... FROM SNAPSHOT形式または埋め込みFLOW AUTO CDC句を使用します。ソースは必須のFROM SNAPSHOT (snapshot_query)句と、処理する次のスナップショットバージョンを選択するオプションのWITH VERSION (version_query)句です。CREATE FLOW (パイプライン) を参照してください。 - Pythonでは、
create_auto_cdc_from_snapshot_flow()関数を使用してスナップショット、キー、およびその他の引数を指定します。create_auto_cdc_from_snapshot_flow を参照してください。
2 つの取り込みパターンとそれぞれの使用時期の詳細については、スナップショット処理パターンを参照してください。AUTO CDC FROM スナップショット の例を参照してください。
AUTO CDC FROM スナップショット と AUTO CDC の組み合わせ
スナップショットのバージョンとCDCのシーケンス列によって、1つの順序付けドメインが形成されます。最新のスナップショットよりも新しいCDCイベントは、スナップショットよりも優先されます。新しいスナップショットは、古いCDCイベントよりも優先され、スナップショットに存在しないキーは、スナップショットのバージョンで削除されたものとして扱われます。新しいCDCイベントによって、それらのキーを保持または復元できます。
統合ターゲットは、次の要件を満たしている必要があります:
- ターゲットは SCD タイプ 1 を使用します。
- ターゲットには、
AUTO CDC FROM SNAPSHOTフローが正確に 1 つと、AUTO CDCフローが 1 つ以上あります。 - 各
AUTO CDCフローには一意の名前があります。 - すべてのフローは、同じ順序で同数のキーを使用します。スナップショットフローのキー名は、
AUTO CDCのキー名の大文字と小文字を区別せずに比較されます。複数のAUTO CDCフローでは、同一のキー名と大文字・小文字を使用する必要があります。 - スナップショットバージョンと各 CDC シーケンス列のデータ型は完全に同じです。
AUTO CDC FROM SNAPSHOTフローではエクスペクテーションが定義されていません。AUTO CDCフローでは、IGNORE NULL UPDATESまたはその列リストのバリエーションは使用されません。- パイプラインはトリガーモードを使用します。
- 既存の
AUTO CDC FROM SNAPSHOTターゲットにAUTO CDCフローを追加する場合、ターゲットには、予約済みのAUTO CDCシステム列と名前が競合するユーザー列が含まれていてはなりません。
AUTO CDC フローと AUTO CDC FROM SNAPSHOT フローの両方で、Python または SQL のパイプライン インターフェイスを使用できます。同じターゲット内で SQL フローと Python フローを混在させることができます。
Python の once=True または SQL の ONCE を AUTO CDC FROM SNAPSHOT フローで使用してスナップショットを 1 回バックフィルし、以降の更新では AUTO CDC フローが引き続き新しいイベントを処理できるようにします。ターゲットの完全更新により、1回限りのスナップショットフローが再実行されます。完全な例については、AUTO CDC SCD Type 1 テーブルへのバックフィルの追加を参照してください。
このパターンでは、SCD Type 2 またはバイテンポラル ターゲットはサポートされていません。
シーケンスには複数の列を使用する
複数の列で順序付けるには(たとえば、同点を区切るためのタイムスタンプと ID)、 STRUCTを使用してそれらを結合します。API はまず最初のフィールドで順序付けし、同点の場合は 2 番目のフィールドを考慮します。
- SQL
- Python
SEQUENCE BY STRUCT(timestamp_col, id_col)
sequence_by = struct("timestamp_col", "id_col")
AUTO CDCの例
次の例は、チェンジデータフィード ソースを使用したSCDタイプ 1 およびタイプ 2 の処理を示しています。 サンプル データは、新しいユーザー レコードを作成し、ユーザー レコードを削除し、ユーザー レコードを更新します。SCD タイプ 1 の例では、最後のUPDATE操作が遅れて到着し、ターゲット テーブルから削除され、順序どおりでないイベント処理が示されています。
これらの例で使用される入力レコードは次のとおりです。このデータは、サンプル データの作成セクションでクエリを実行することによって作成されます。
userId | name | city | operation | sequenceNum |
|---|---|---|---|---|
124 | Raul | Oaxaca | INSERT | 1 |
123 | Isabel | Monterrey | INSERT | 1 |
125 | Mercedes | Tijuana | INSERT | 2 |
126 | Lily | Cancun | INSERT | 2 |
123 | null | null | DELETE | 6 |
125 | Mercedes | Guadalajara | UPDATE | 6 |
125 | Mercedes | Mexicali | UPDATE | 5 |
123 | Isabel | Chihuahua | UPDATE | 5 |
サンプル データ生成クエリの最後の行のコメントを解除すると、 sequenceNum=3でテーブルを切り捨てる (テーブルをクリアする) ことを指定する次のレコードが挿入されます。
userId | name | city | operation | sequenceNum |
|---|---|---|---|---|
null | null | null | TRUNCATE | 3 |
以下のすべての例には、 DELETEとTRUNCATE両方の操作を指定するオプションが含まれていますが、それぞれはオプションです。
サンプルデータを作成する
次のステートメントを実行してサンプル データセットを作成します。このコードは、パイプライン定義の一部として実行されることを意図したものではありません。変換フォルダーではなく、パイプラインの探索フォルダーから実行します。
CREATE SCHEMA IF NOT EXISTS main.cdc_tutorial;
CREATE TABLE main.cdc_tutorial.users_cdf
AS SELECT
col1 AS userId,
col2 AS name,
col3 AS city,
col4 AS operation,
col5 AS sequenceNum
FROM (
VALUES
-- Initial load.
(124, "Raul", "Oaxaca", "INSERT", 1),
(123, "Isabel", "Monterrey", "INSERT", 1),
-- New users.
(125, "Mercedes", "Tijuana", "INSERT", 2),
(126, "Lily", "Cancun", "INSERT", 2),
-- Isabel is removed from the system and Mercedes moved to Guadalajara.
(123, null, null, "DELETE", 6),
(125, "Mercedes", "Guadalajara", "UPDATE", 6),
-- This batch of updates arrived out of order. The batch at sequenceNum 6 is the final state.
(125, "Mercedes", "Mexicali", "UPDATE", 5),
(123, "Isabel", "Chihuahua", "UPDATE", 5)
-- Uncomment to test TRUNCATE.
-- ,(null, null, null, "TRUNCATE", 3)
);
SCDタイプ1の更新を処理する
SCD Type 1は、各レコードの最新バージョンのみを保持します。次の例では、上記で作成したチェンジデータフィードから読み取りを行い、ストリーミングテーブルのターゲットに変更を適用します。このコードを実行するにはパイプラインが必要です。LakeFlow Pipelines Editor を使用したETLパイプラインの開発とデバッグを参照してください。
- Python
- SQL
from pyspark import pipelines as dp
from pyspark.sql.functions import col, expr
@dp.view
def users():
return spark.readStream.table("main.cdc_tutorial.users_cdf")
dp.create_streaming_table("users_current")
dp.create_auto_cdc_flow(
target = "users_current",
source = "users",
keys = ["userId"],
sequence_by = col("sequenceNum"),
apply_as_deletes = expr("operation = 'DELETE'"),
apply_as_truncates = expr("operation = 'TRUNCATE'"),
except_column_list = ["operation", "sequenceNum"],
stored_as_scd_type = 1
)
CREATE OR REFRESH STREAMING TABLE users_current;
CREATE FLOW apply_cdc AS AUTO CDC INTO
users_current
FROM
stream(main.cdc_tutorial.users_cdf)
KEYS
(userId)
APPLY AS DELETE WHEN
operation = "DELETE"
APPLY AS TRUNCATE WHEN
operation = "TRUNCATE"
SEQUENCE BY
sequenceNum
COLUMNS * EXCEPT
(operation, sequenceNum)
STORED AS
SCD TYPE 1;
SCDタイプ1の例を実行すると、ターゲットテーブルには次のレコードが含まれます:
userId | name | city |
|---|---|---|
124 | Raul | Oaxaca |
125 | Mercedes | Guadalajara |
126 | Lily | Cancun |
ユーザー 123 (Isabel) は削除されたため、表示されません。ユーザー 125 (メルセデス) には、SCD タイプ 1 が以前の値を上書きするため、最新の都市 (グアダラハラ) のみが表示されます。sequenceNum=5の以前のUPDATEは、 sequenceNum=6の後続の更新が到着したため削除されました。
TRUNCATEレコードのコメントを解除して例を実行すると、テーブルはsequenceNum=3でクリアされます。これは、レコード124と126テーブル内に存在せず、最終的なターゲット テーブルには次のレコードのみが含まれていることを意味します。
userId | name | city |
|---|---|---|
125 | Mercedes | Guadalajara |
SCDタイプ2の更新を処理する
SCD タイプ 2 は、レコードの各バージョンに対して新しい行を作成し、各バージョンがアクティブだった時期を__START_AT列と__END_AT列で示すことで、変更の完全な履歴を保存します。
- Python
- SQL
from pyspark import pipelines as dp
from pyspark.sql.functions import col, expr
@dp.view
def users():
return spark.readStream.table("main.cdc_tutorial.users_cdf")
dp.create_streaming_table("users_history")
dp.create_auto_cdc_flow(
target = "users_history",
source = "users",
keys = ["userId"],
sequence_by = col("sequenceNum"),
apply_as_deletes = expr("operation = 'DELETE'"),
except_column_list = ["operation", "sequenceNum"],
stored_as_scd_type = "2"
)
CREATE OR REFRESH STREAMING TABLE users_history;
CREATE FLOW apply_cdc AS AUTO CDC INTO
users_history
FROM
stream(main.cdc_tutorial.users_cdf)
KEYS
(userId)
APPLY AS DELETE WHEN
operation = "DELETE"
SEQUENCE BY
sequenceNum
COLUMNS * EXCEPT
(operation, sequenceNum)
STORED AS
SCD TYPE 2;
SCDタイプ2の例を実行した後、ターゲットテーブルには以下のレコードが含まれます:
userId | name | city | __START_AT | __END_AT |
|---|---|---|---|---|
123 | Isabel | Monterrey | 1 | 5 |
123 | Isabel | Chihuahua | 5 | 6 |
124 | Raul | Oaxaca | 1 | null |
125 | Mercedes | Tijuana | 2 | 5 |
125 | Mercedes | Mexicali | 5 | 6 |
125 | Mercedes | Guadalajara | 6 | null |
126 | Lily | Cancun | 2 | null |
テーブルには完全な履歴が保存されます。ユーザー 123 には 2 つのバージョンがあります (削除時にシーケンス 6 で終了)。ユーザー 125 には、都市の変更を示す 3 つのバージョンがあります。__END_AT = nullのレコードは現在アクティブです。
SCD タイプ 2 で列のサブセットを追跡する
デフォルトでは、SCD タイプ 2 は列の値が変更されるたびに新しいバージョンを作成します。追跡する列のサブセットを指定して、他の列を変更した場合に新しい履歴レコードを生成するのではなく、現在のバージョンをその場で更新することができます。
次の例では、 city列を履歴追跡から除外します。
- Python
- SQL
from pyspark import pipelines as dp
from pyspark.sql.functions import col, expr
@dp.view
def users():
return spark.readStream.table("main.cdc_tutorial.users_cdf")
dp.create_streaming_table("users_history")
dp.create_auto_cdc_flow(
target = "users_history",
source = "users",
keys = ["userId"],
sequence_by = col("sequenceNum"),
apply_as_deletes = expr("operation = 'DELETE'"),
except_column_list = ["operation", "sequenceNum"],
stored_as_scd_type = "2",
track_history_except_column_list = ["city"]
)
CREATE OR REFRESH STREAMING TABLE users_history;
CREATE FLOW apply_cdc AS AUTO CDC INTO
users_history
FROM
stream(main.cdc_tutorial.users_cdf)
KEYS
(userId)
APPLY AS DELETE WHEN
operation = "DELETE"
SEQUENCE BY
sequenceNum
COLUMNS * EXCEPT
(operation, sequenceNum)
STORED AS
SCD TYPE 2
TRACK HISTORY ON * EXCEPT
(city)
city変更は追跡されないため、都市の更新では新しいバージョンが作成されるのではなく、現在の行が上書きされます。ターゲット テーブルには次のレコードが含まれています。
userId | name | city | __START_AT | __END_AT |
|---|---|---|---|---|
123 | Isabel | Chihuahua | 1 | 6 |
124 | Raul | Oaxaca | 1 | null |
125 | Mercedes | Guadalajara | 2 | null |
126 | Lily | Cancun | 2 | null |
二時相更新の処理
バイテンポラルテーブルは、各変更がいつ有効になったか(ビジネス時間)と、システムがいつ記録したか(システム時間)を追跡します。ビジネス時間列には SEQUENCE BY を使用し、システム時間列には SYSTEM SEQUENCE BY (Pythonでは system_sequence_by )を使用します。バイテンポラルターゲットには両方が必要です。以下のスニペットはフロー定義のみを示しています。完全なパイプラインコードについては、 例:バイテンポラルAUTO CDCによる従業員ロールの追跡を参照してください。
- Python
- SQL
dp.create_auto_cdc_flow(
target = "employees_bitemporal",
source = "employees",
keys = ["employeeId"],
sequence_by = "effectiveDate",
system_sequence_by = "recordedAt",
apply_as_deletes = expr("operation = 'DELETE'"),
except_column_list = ["operation"],
stored_as_scd_type = "bitemporal"
)
CREATE FLOW apply_cdc AS AUTO CDC INTO employees_bitemporal
FROM stream(main.cdc_tutorial.employees_cdf)
KEYS (employeeId)
APPLY AS DELETE WHEN operation = "DELETE"
SEQUENCE BY effectiveDate
SYSTEM SEQUENCE BY recordedAt
COLUMNS * EXCEPT (operation)
STORED AS BITEMPORAL;
バイテンポラルターゲットが追加する列、およびサンプルデータ、順不同の更新、修正、クエリーを含む完全なチュートリアルについては、 バイテンポラル AUTO CDCを参照してください。
スナップショットからの自動CDCの例
次のセクションでは、 AUTO CDC FROM SNAPSHOTを使用してスナップショットを SCD タイプ 1 またはタイプ 2 のターゲット テーブルに処理する例を示します。このAPIを使用する場合の背景については、 「チェンジデータ キャプチャ」と「スナップショット」を参照してください。
このセクションの例には、Python および SQL の実装が含まれています。完全な SQL 構文については、CREATE FLOW (パイプライン) を参照してください。
例: 定期的なスナップショットの処理
このアプローチは、ソースシステムがスケジュールに従って定期的に完全なスナップショット(1時間に1つのファイルなど)をエクスポートし、スナップショットが順序通りに到着する場合に使用します。この例では、各スナップショットは、エクスポートの日時(users_2026-10-15-09.csvなど)をファイル名に含む CSV ファイルです。
- SQL実装では、
WITH VERSIONクエリーを使用して次のスナップショットファイルを検索し、ファイル名の「日付」と「時間」を「スナップショットバージョン」として使用します。パイプラインは、最後に処理されたバージョンを追跡します。 - Pythonの実装では、バージョン関数を使用して次のスナップショットファイルを見つけ、ファイル名の日付と時刻をスナップショットのバージョンとして使用します。
PythonまたはSQLのテーブルや、PythonのJDBC接続など、他のソースタイプからスナップショットを読み取ることもできます。「 1 つのスナップショットから空のターゲットを初期化する」を参照してください。
ステップ 1: サンプルのスナップショットファイルを作成する
ボリュームを作成し、2つの1時間ごとのスナップショットファイルを書き込みます。パイプラインの explorations フォルダーにあるノートブックから次のコードをランします。
spark.sql("CREATE SCHEMA IF NOT EXISTS main.cdc_tutorial")
spark.sql("CREATE VOLUME IF NOT EXISTS main.cdc_tutorial.hourly_snapshots")
dbutils.fs.put(
"/Volumes/main/cdc_tutorial/hourly_snapshots/users_2026-10-15-09.csv",
"userId,city\n1,Oaxaca\n2,Monterrey\n3,Tijuana\n",
overwrite=True
)
dbutils.fs.put(
"/Volumes/main/cdc_tutorial/hourly_snapshots/users_2026-10-15-10.csv",
"userId,city\n2,Carmel\n3,Los Angeles\n4,Death Valley\n6,Kings Canyon\n",
overwrite=True
)
ステップ 2: スナップショットから AUTO CDCを実行
このステップのコードを実行するには、パイプラインが必要です。詳細については、Lakeflow Pipelines EditorによるETLパイプラインの開発とデバッグを参照してください。
パイプラインで、transformationsフォルダに新しいPythonまたはSQLファイルを作成し、次のコードを追加してから、パイプラインを実行します。
- Python
- SQL
import re
from typing import Optional, Tuple
from pyspark import pipelines as dp
from pyspark.sql import DataFrame
snapshot_dir = "/Volumes/main/cdc_tutorial/hourly_snapshots/"
snapshot_pattern = re.compile(r"users_([0-9]{4}-[0-9]{2}-[0-9]{2}-[0-9]{2})[.]csv")
def get_next_snapshot(
latest_snapshot_version: Optional[str]
) -> Optional[Tuple[DataFrame, str]]:
snapshots = []
for file in dbutils.fs.ls(snapshot_dir):
match = snapshot_pattern.fullmatch(file.name)
if match:
version = match.group(1)
if latest_snapshot_version is None or version > latest_snapshot_version:
snapshots.append((version, file.path))
if not snapshots:
return None
next_version, snapshot_path = min(snapshots)
snapshot = (
spark.read
.format("csv")
.option("header", True)
.schema("userId INT, city STRING")
.load(snapshot_path)
)
return (snapshot, next_version)
dp.create_streaming_table("target")
dp.create_auto_cdc_from_snapshot_flow(
target = "target",
source = get_next_snapshot,
keys = ["userId"],
stored_as_scd_type = 2
)
CREATE OR REFRESH STREAMING TABLE target;
CREATE FLOW target_snapshot_flow AS
AUTO CDC INTO target
-- Read the snapshot file selected by WITH VERSION.
FROM SNAPSHOT (
SELECT CAST(userId AS INT) AS userId, city
FROM read_files(
'/Volumes/main/cdc_tutorial/hourly_snapshots/',
format => 'csv',
header => true
)
WHERE _metadata.file_name = CONCAT(
'users_',
(SELECT version FROM current_snapshot_version()),
'.csv'
)
)
-- Select the earliest snapshot file that is newer than the last processed version.
-- The version is the fixed-width date and hour string in the file name.
WITH VERSION (
WITH snapshot_files AS (
SELECT regexp_extract(
path,
'users_([0-9]{4}-[0-9]{2}-[0-9]{2}-[0-9]{2})[.]csv$',
1
) AS version
FROM list_files('/Volumes/main/cdc_tutorial/hourly_snapshots/')
WHERE path RLIKE 'users_[0-9]{4}-[0-9]{2}-[0-9]{2}-[0-9]{2}[.]csv$'
)
SELECT version
FROM snapshot_files
WHERE (
NOT EXISTS (SELECT 1 FROM last_snapshot_version())
OR version > (SELECT version FROM last_snapshot_version())
)
ORDER BY version
LIMIT 1
)
KEYS (userId)
STORED AS SCD TYPE 2;
パイプラインをランします。アップデート中、フローは9:00のスナップショットを処理し、次に10:00のスナップショットを処理します。AUTO CDC FROM SNAPSHOT は 2 つのスナップショットを比較し、ユーザー 1 が削除され、ユーザー 2 と 3 が更新され、ユーザー 4 と 6 が挿入されたことを検出します。ファイル名から解析されたスナップショット バージョンは、__START_AT 列と __END_AT 列に格納されます。
SCDタイプ2では、ターゲットテーブルには以下のレコードが含まれます:
userId | city | __START_AT | __END_AT |
|---|---|---|---|
1 | Oaxaca | 2026-10-15-09 | 2026年10月15日 10:00 |
2 | Monterrey | 2026-10-15-09 | 2026年10月15日 10:00 |
2 | カーメル | 2026年10月15日 10:00 | null |
3 | Tijuana | 2026-10-15-09 | 2026年10月15日 10:00 |
3 | ロサンゼルス | 2026年10月15日 10:00 | null |
4 | デスバレー | 2026年10月15日 10:00 | null |
6 | キングスキャニオン | 2026年10月15日 10:00 | null |
ユーザー1は終了(削除)されました。ユーザー 2 と 3 には、それぞれ都市の変更を示す 2 つのバージョンがあります。ユーザー4と6が新たに挿入されました。
SCDタイプ2の代わりにSCDタイプ1を使用するには、Pythonでstored_as_scd_type=1またはSQLでSTORED AS SCD TYPE 1を設定します。SCDタイプ1のターゲットテーブルには、__START_AT列と__END_AT列が含まれていません。
SCDタイプ1では、ターゲットテーブルに現在の状態のみが表示されます:
userId | city |
|---|---|
2 | カーメル |
3 | ロサンゼルス |
4 | デスバレー |
6 | キングスキャニオン |
ステップ 3: 新しいスナップショットをシミュレートして再実行します
別の1時間ごとのスナップショットファイルを書き込んで、新しいエクスポートが到着するのをシミュレートします。パイプラインの explorations フォルダーにあるノートブックからこのコードをランします。
dbutils.fs.put(
"/Volumes/main/cdc_tutorial/hourly_snapshots/users_2026-10-15-11.csv",
"userId,city\n2,Carmel\n3,San Diego\n4,Death Valley\n6,Kings Canyon\n7,Joshua Tree\n",
overwrite=True
)
パイプラインをもう一度ランします。それ以前のバージョンは既に処理済みであるため、フローは11:00のスナップショットのみを選択します。ユーザー3が更新され、ユーザー7が挿入され、その他のレコードは変更されません。
パイプラインの更新の間にいくつかの一時間ごとのファイルが到着した場合、両方の実装で、次の更新中に利用可能な各ファイルがバージョン順に処理されます。
例:1 つのスナップショットから空のターゲットを初期化する
このアプローチを使用して、1 つの権限のあるスナップショットから新しく空のターゲットを初期化します。Pythonで once=True を設定するか、SQLで ONCE キーワードを使用して、これを1回限りのフローにします。フローが正常にcommitされると、その後の増分パイプライン更新ではスキップされます。完全更新ではターゲットをクリアし、フローを再実行します。
この例では、テーブルをスナップショットソースとして使用し、SCDタイプ1で現在の状態を保存します。AUTO CDCフローからもイベントを受け取るターゲットにスナップショットを追加する方法については、「AUTO CDC SCDタイプ1テーブルにバックフィルを追加する」を参照してください。
ステップ 1: ソーススナップショットを作成する
ソースの現在の状態全体を含むテーブルを作成します。
CREATE SCHEMA IF NOT EXISTS main.cdc_tutorial;
CREATE OR REPLACE TABLE main.cdc_tutorial.initial_users (
userId INT,
city STRING
);
INSERT INTO main.cdc_tutorial.initial_users VALUES
(1, 'Oaxaca'),
(2, 'Monterrey'),
(3, 'Tijuana');
ステップ 2: 1回限りのスナップショット・フローを作成する
パイプラインで、transformationsフォルダーにPythonまたはSQLファイルを作成し、次のコードを追加して、パイプラインを実行します。「 Lakeflow Pipelines Editor を使用したETLパイプラインの開発とデバッグ」を参照してください。
- Python
- SQL
from pyspark import pipelines as dp
dp.create_streaming_table("users")
dp.create_auto_cdc_from_snapshot_flow(
target = "users",
source = "main.cdc_tutorial.initial_users",
keys = ["userId"],
stored_as_scd_type = 1,
once = True
)
CREATE OR REFRESH STREAMING TABLE users;
CREATE FLOW initial_users_flow AS
AUTO CDC ONCE INTO users
FROM SNAPSHOT (
SELECT userId, city
FROM main.cdc_tutorial.initial_users
)
KEYS (userId)
STORED AS SCD TYPE 1;
PythonでJDBCソースを使用する
クラシックコンピュート上のJDBC接続からターゲットを初期化するには、ソーステーブルを読み取るビューを定義し、そのビュー名を source 引数として使用します。
@dp.view(name="initial_users")
def initial_users():
return (spark.read
.format("jdbc")
.option("url", "<jdbc-url>")
.option("dbtable", "<table-name>")
.option("user", "<username>")
.option("password", "<password>")
.load()
)
フローを作成するときに source = "initial_users" と once = True を設定します。
更新が完了すると、ターゲットには次の行が含まれます:
userId | city |
|---|---|
1 | Oaxaca |
2 | Monterrey |
3 | Tijuana |
ステップ3: 1回限りのフロー動作を確認する
ソースデータを別のスナップショットに置き換えます:
TRUNCATE TABLE main.cdc_tutorial.initial_users;
INSERT INTO main.cdc_tutorial.initial_users VALUES
(2, 'Carmel'),
(3, 'Los Angeles'),
(4, 'Death Valley');
別の増分パイプラインの更新をランします。1回限りのフローはすでに完了しているため、ターゲットは変更されません。完全更新を実行すると、パイプラインはターゲットをクリアし、フローを再実行します。ターゲットには置き換えられたスナップショットが含まれます。
制限事項
- シーケンス列は並べ替え可能なデータ型である必要があります。
NULLシーケンス値はサポートされていません。 - AUTO CDCプロセスのターゲットからデータをストリームするには、その変更フィードから読み取ります。 詳細については、 「AUTO CDCターゲット テーブルから変更データフィードを読み取る」を参照してください。
- バイテンポラルターゲットには次の制限があります。
AUTO CDC FROM SNAPSHOTはサポートされていません。スナップショットを処理するには、最初にそれらから変更フィードを派生させます。二時制AUTO CDCでスナップショットを処理するをご覧ください。AUTO CDC FROM SNAPSHOTおよびAUTO CDCフローの組み合わせはサポートされていません。- 同じ二時間ターゲットに書き込む複数の
AUTO CDCフローはサポートされていません。 TRACK HISTORY ON(Pythonでのtrack_history_column_listとtrack_history_except_column_list)はサポートされていません。二時制ターゲットは、すべての列の履歴を追跡します。COLUMNS TO UPDATEとIGNORE NULL UPDATESはサポートされていません。APPLY AS TRUNCATE WHENサポートされていません。
その他のリソース
- 変更データ キャプチャとスナップショット: CDC概念、スナップショット、 SCDタイプについて学びます。
AUTO CDCを使用して外部 RDBMS テーブルを複製します。onceフローを使用して初期ハイドレーションを実行し、変更の処理を続行する方法を学習します。- パイプラインを使用したヒストリカルデータのバックフィル: 追加専用および AUTO CDC SCD Type 1 ターゲットをバックフィルする方法について説明します。
- バイテンポラルAUTO CDC: ビジネス時間とシステム時間にわたって履歴を追跡する方法を学びます。
- 高度な AUTO CDCトピック: AUTO CDCターゲットでの変更操作、変更データフィードの読み取り、メトリクスの処理について学びます。
- パイプラインを巻き戻して再実行:AUTO CDCターゲットを以前の時点に復元し、変更を再処理する方法をご覧ください。
- チュートリアル: チェンジデータキャプチャを使用してETLパイプラインを構築する