メインコンテンツまでスキップ

AUTO CDC APIs : パイプラインを使用して変更データ キャプチャを簡素化

LakeFlow Pipelinesは、AUTO CDCとAUTO CDC FROM SNAPSHOT APIs を使用してチェンジデータキャプチャ (CDC) を簡素化します。これらのAPIsは、CDCフィードまたはデータベーススナップショットのいずれかからslowly changing dimensions (SCD) タイプ1とタイプ2をコンピュートする複雑さを自動化します。また、 AUTO CDC APIは、CDCフィードから二重時間履歴もコンピュートします。SCDタイプ1、SCDタイプ2、および二重時間の詳細については、チェンジデータキャプチャとスナップショットを参照してください。

注記

AUTO CDC APIs APPLY CHANGES APIsに代わるもので、同じ構文を持ちます。 APPLY CHANGES APIs引き続き使用できますが、 Databricks代わりにAUTO CDC APIs使用することをお勧めします。

使用する API は、変更データのソースによって異なります。

  • AUTO CDC : ソース データベースで CDC フィードが有効になっている場合に使用します。AUTO CDCは変更データフィード (CDF) からの変更を処理します。 パイプライン SQL と Python インターフェースの両方でサポートされています。
  • AUTO CDC FROM SNAPSHOT :ソースデータベースで CDC が有効になっておらず、スナップショットのみが利用可能な場合に使用します。この API はスナップショットを比較して変更を特定し、それらを処理します。パイプラインの SQL インターフェイスと Python インターフェイスの両方でサポートされています。

SCD タイプ 1 のターゲットの場合、1 つ以上の AUTO CDC フローと AUTO CDC FROM SNAPSHOT フローを組み合わせることもできます。ソースから定期的信頼できるスナップショットと、スナップショット間の低レイテンシーのCDCフィードが提供される場合は、このパターンを使用します。

APIs は、ターゲットテーブルに対して次のストレージタイプをサポートしています:

  • SCDタイプ1 : レコードを直接更新します。更新されたレコードの履歴は保持されません。両方の APIs でサポートされます。
  • SCDタイプ2 : すべての更新または指定された列の更新に対してレコードの履歴を保持します。両方の APIs でサポートされます。
  • バイテンポラル : 変更が有効になったビジネス時間と、システムがそれを記録したシステム時間という、2つのタイムライン全体でレコードの履歴を保持します。AUTO CDC でのみサポートされます。バイテンポラル AUTO CDC を参照してください。

AUTO CDC 部分的な更新もサポートしており、変更レコードは列のサブセットのみを更新します。部分的な更新を適用を参照してください。

AUTO CDC APIs 、 Apache Spark 宣言型パイプラインではサポートされていません。

構文およびその他のリファレンスについては、 「AUTO CDC INTO (パイプライン)」 、 「create_auto_cdc_flow」 、および「create_auto_cdc_from_snapshot_flow 」を参照してください。

注記

これらの APIsを使用して、ソースデータの変更に基づき、パイプラインのテーブルを更新します。Delta テーブルの行レベルの変更情報を記録してクエリーする方法については、「Databricksでチェンジデータフィードを使用する」を参照してください。

要件​

CDC APIsを使用するには、パイプラインは、LakeFlow Pipelines Pro または Advanced エディションを使用するように構成する必要があります。

AUTO CDCの仕組み​

AUTO CDCでCDC処理を実行するには、ストリーミング テーブルを作成し、 SQLのAUTO CDC ... INTOステートメントまたはPythonのcreate_auto_cdc_flow()関数を使用して、変更フィードのソース、キー、シーケンスを指定します。 シーケンスとSCDロジックの仕組みの説明については、 「チェンジデータ キャプチャ」と「スナップショット」を参照してください。 AUTO CDC の例を参照してください。

変更フィードを含むソースからの初期ハイドレーションの場合は、 onceフローでAUTO CDC使用し、変更フィードの処理を続行します。「AUTO CDC を使用して外部 RDBMS テーブルを複製する」を参照してください。

構文の詳細については、 「AUTO CDC INTO (パイプライン)」または「create_auto_cdc_flow」を参照してください。

スナップショットからの自動CDC仕組み​

AUTO CDC FROM SNAPSHOT 順序付きのスナップショットを比較することで、ソースデータの変更を決定します。Delta テーブル、クラウドストレージファイル、または JDBC から直接スナップショットを読み取ることができます。パイプラインの SQL および Python インターフェイスの両方でサポートされています。

AUTO CDC FROM SNAPSHOTでCDC処理を実行するには、ストリーミングテーブルを作成し、フローを定義します。

  • SQL では、CREATE STREAMING TABLE の CREATE FLOW ステートメントの AUTO CDC ... FROM SNAPSHOT 形式または埋め込み FLOW AUTO CDC 句を使用します。ソースは必須の FROM SNAPSHOT (snapshot_query) 句と、処理する次のスナップショットバージョンを選択するオプションの WITH VERSION (version_query) 句です。CREATE FLOW (パイプライン) を参照してください。
  • Pythonでは、create_auto_cdc_from_snapshot_flow()関数を使用してスナップショット、キー、およびその他の引数を指定します。create_auto_cdc_from_snapshot_flow を参照してください。

2 つの取り込みパターンとそれぞれの使用時期の詳細については、スナップショット処理パターンを参照してください。AUTO CDC FROM スナップショット の例を参照してください。

AUTO CDC FROM スナップショット と AUTO CDC の組み合わせ​

スナップショットのバージョンとCDCのシーケンス列によって、1つの順序付けドメインが形成されます。最新のスナップショットよりも新しいCDCイベントは、スナップショットよりも優先されます。新しいスナップショットは、古いCDCイベントよりも優先され、スナップショットに存在しないキーは、スナップショットのバージョンで削除されたものとして扱われます。新しいCDCイベントによって、それらのキーを保持または復元できます。

統合ターゲットは、次の要件を満たしている必要があります:

  • ターゲットは SCD タイプ 1 を使用します。
  • ターゲットには、AUTO CDC FROM SNAPSHOT フローが正確に 1 つと、AUTO CDC フローが 1 つ以上あります。
  • 各 AUTO CDC フローには一意の名前があります。
  • すべてのフローは、同じ順序で同数のキーを使用します。スナップショットフローのキー名は、AUTO CDC のキー名の大文字と小文字を区別せずに比較されます。複数の AUTO CDC フローでは、同一のキー名と大文字・小文字を使用する必要があります。
  • スナップショットバージョンと各 CDC シーケンス列のデータ型は完全に同じです。
  • AUTO CDC FROM SNAPSHOT フローではエクスペクテーションが定義されていません。
  • AUTO CDC フローでは、IGNORE NULL UPDATES またはその列リストのバリエーションは使用されません。
  • パイプラインはトリガーモードを使用します。
  • 既存の AUTO CDC FROM SNAPSHOT ターゲットに AUTO CDC フローを追加する場合、ターゲットには、予約済みの AUTO CDC システム列と名前が競合するユーザー列が含まれていてはなりません。

AUTO CDC フローと AUTO CDC FROM SNAPSHOT フローの両方で、Python または SQL のパイプライン インターフェイスを使用できます。同じターゲット内で SQL フローと Python フローを混在させることができます。

Python の once=True または SQL の ONCE を AUTO CDC FROM SNAPSHOT フローで使用してスナップショットを 1 回バックフィルし、以降の更新では AUTO CDC フローが引き続き新しいイベントを処理できるようにします。ターゲットの完全更新により、1回限りのスナップショットフローが再実行されます。完全な例については、AUTO CDC SCD Type 1 テーブルへのバックフィルの追加を参照してください。

このパターンでは、SCD Type 2 またはバイテンポラル ターゲットはサポートされていません。

シーケンスには複数の列を使用する​

複数の列で順序付けるには(たとえば、同点を区切るためのタイムスタンプと ID)、 STRUCTを使用してそれらを結合します。API はまず最初のフィールドで順序付けし、同点の場合は 2 番目のフィールドを考慮します。

SQL
SEQUENCE BY STRUCT(timestamp_col, id_col)

AUTO CDCの例​

次の例は、チェンジデータフィード ソースを使用したSCDタイプ 1 およびタイプ 2 の処理を示しています。 サンプル データは、新しいユーザー レコードを作成し、ユーザー レコードを削除し、ユーザー レコードを更新します。SCD タイプ 1 の例では、最後のUPDATE操作が遅れて到着し、ターゲット テーブルから削除され、順序どおりでないイベント処理が示されています。

これらの例で使用される入力レコードは次のとおりです。このデータは、サンプル データの作成セクションでクエリを実行することによって作成されます。

userId

name

city

operation

sequenceNum

124

Raul

Oaxaca

INSERT

1

123

Isabel

Monterrey

INSERT

1

125

Mercedes

Tijuana

INSERT

2

126

Lily

Cancun

INSERT

2

123

null

null

DELETE

6

125

Mercedes

Guadalajara

UPDATE

6

125

Mercedes

Mexicali

UPDATE

5

123

Isabel

Chihuahua

UPDATE

5

userId

name

city

operation

sequenceNum

124

Raul

Oaxaca

INSERT

1

123

Isabel

Monterrey

INSERT

1

125

Mercedes

Tijuana

INSERT

2

126

Lily

Cancun

INSERT

2

123

null

null

DELETE

6

125

Mercedes

Guadalajara

UPDATE

6

125

Mercedes

Mexicali

UPDATE

5

123

Isabel

Chihuahua

UPDATE

5

サンプル データ生成クエリの最後の行のコメントを解除すると、 sequenceNum=3でテーブルを切り捨てる (テーブルをクリアする) ことを指定する次のレコードが挿入されます。

userId

name

city

operation

sequenceNum

null

null

null

TRUNCATE

3

userId

name

city

operation

sequenceNum

null

null

null

TRUNCATE

3

注記

以下のすべての例には、 DELETEとTRUNCATE両方の操作を指定するオプションが含まれていますが、それぞれはオプションです。

サンプルデータを作成する​

次のステートメントを実行してサンプル データセットを作成します。このコードは、パイプライン定義の一部として実行されることを意図したものではありません。変換フォルダーではなく、パイプラインの探索フォルダーから実行します。

SQL
CREATE SCHEMA IF NOT EXISTS main.cdc_tutorial;

CREATE TABLE main.cdc_tutorial.users_cdf
AS SELECT
col1 AS userId,
col2 AS name,
col3 AS city,
col4 AS operation,
col5 AS sequenceNum
FROM (
VALUES
-- Initial load.
(124, "Raul", "Oaxaca", "INSERT", 1),
(123, "Isabel", "Monterrey", "INSERT", 1),
-- New users.
(125, "Mercedes", "Tijuana", "INSERT", 2),
(126, "Lily", "Cancun", "INSERT", 2),
-- Isabel is removed from the system and Mercedes moved to Guadalajara.
(123, null, null, "DELETE", 6),
(125, "Mercedes", "Guadalajara", "UPDATE", 6),
-- This batch of updates arrived out of order. The batch at sequenceNum 6 is the final state.
(125, "Mercedes", "Mexicali", "UPDATE", 5),
(123, "Isabel", "Chihuahua", "UPDATE", 5)
-- Uncomment to test TRUNCATE.
-- ,(null, null, null, "TRUNCATE", 3)
);

SCDタイプ1の更新を処理する​

SCD Type 1は、各レコードの最新バージョンのみを保持します。次の例では、上記で作成したチェンジデータフィードから読み取りを行い、ストリーミングテーブルのターゲットに変更を適用します。このコードを実行するにはパイプラインが必要です。LakeFlow Pipelines Editor を使用したETLパイプラインの開発とデバッグを参照してください。

Python
from pyspark import pipelines as dp
from pyspark.sql.functions import col, expr

@dp.view
def users():
return spark.readStream.table("main.cdc_tutorial.users_cdf")

dp.create_streaming_table("users_current")

dp.create_auto_cdc_flow(
target = "users_current",
source = "users",
keys = ["userId"],
sequence_by = col("sequenceNum"),
apply_as_deletes = expr("operation = 'DELETE'"),
apply_as_truncates = expr("operation = 'TRUNCATE'"),
except_column_list = ["operation", "sequenceNum"],
stored_as_scd_type = 1
)

SCDタイプ1の例を実行すると、ターゲットテーブルには次のレコードが含まれます:

userId

name

city

124

Raul

Oaxaca

125

Mercedes

Guadalajara

126

Lily

Cancun

userId

name

city

124

Raul

Oaxaca

125

Mercedes

Guadalajara

126

Lily

Cancun

ユーザー 123 (Isabel) は削除されたため、表示されません。ユーザー 125 (メルセデス) には、SCD タイプ 1 が以前の値を上書きするため、最新の都市 (グアダラハラ) のみが表示されます。sequenceNum=5の以前のUPDATEは、 sequenceNum=6の後続の更新が到着したため削除されました。

TRUNCATEレコードのコメントを解除して例を実行すると、テーブルはsequenceNum=3でクリアされます。これは、レコード124と126テーブル内に存在せず、最終的なターゲット テーブルには次のレコードのみが含まれていることを意味します。

userId

name

city

125

Mercedes

Guadalajara

userId

name

city

125

Mercedes

Guadalajara

SCDタイプ2の更新を処理する​

SCD タイプ 2 は、レコードの各バージョンに対して新しい行を作成し、各バージョンがアクティブだった時期を__START_AT列と__END_AT列で示すことで、変更の完全な履歴を保存します。

Python
from pyspark import pipelines as dp
from pyspark.sql.functions import col, expr

@dp.view
def users():
return spark.readStream.table("main.cdc_tutorial.users_cdf")

dp.create_streaming_table("users_history")

dp.create_auto_cdc_flow(
target = "users_history",
source = "users",
keys = ["userId"],
sequence_by = col("sequenceNum"),
apply_as_deletes = expr("operation = 'DELETE'"),
except_column_list = ["operation", "sequenceNum"],
stored_as_scd_type = "2"
)

SCDタイプ2の例を実行した後、ターゲットテーブルには以下のレコードが含まれます:

userId

name

city

__START_AT

__END_AT

123

Isabel

Monterrey

1

5

123

Isabel

Chihuahua

5

6

124

Raul

Oaxaca

1

null

125

Mercedes

Tijuana

2

5

125

Mercedes

Mexicali

5

6

125

Mercedes

Guadalajara

6

null

126

Lily

Cancun

2

null

userId

name

city

__START_AT

__END_AT

123

Isabel

Monterrey

1

5

123

Isabel

Chihuahua

5

6

124

Raul

Oaxaca

1

null

125

Mercedes

Tijuana

2

5

125

Mercedes

Mexicali

5

6

125

Mercedes

Guadalajara

6

null

126

Lily

Cancun

2

null

テーブルには完全な履歴が保存されます。ユーザー 123 には 2 つのバージョンがあります (削除時にシーケンス 6 で終了)。ユーザー 125 には、都市の変更を示す 3 つのバージョンがあります。__END_AT = nullのレコードは現在アクティブです。

SCD タイプ 2 で列のサブセットを追跡する​

デフォルトでは、SCD タイプ 2 は列の値が変更されるたびに新しいバージョンを作成します。追跡する列のサブセットを指定して、他の列を変更した場合に新しい履歴レコードを生成するのではなく、現在のバージョンをその場で更新することができます。

次の例では、 city列を履歴追跡から除外します。

Python
from pyspark import pipelines as dp
from pyspark.sql.functions import col, expr

@dp.view
def users():
return spark.readStream.table("main.cdc_tutorial.users_cdf")

dp.create_streaming_table("users_history")

dp.create_auto_cdc_flow(
target = "users_history",
source = "users",
keys = ["userId"],
sequence_by = col("sequenceNum"),
apply_as_deletes = expr("operation = 'DELETE'"),
except_column_list = ["operation", "sequenceNum"],
stored_as_scd_type = "2",
track_history_except_column_list = ["city"]
)

city変更は追跡されないため、都市の更新では新しいバージョンが作成されるのではなく、現在の行が上書きされます。ターゲット テーブルには次のレコードが含まれています。

userId

name

city

__START_AT

__END_AT

123

Isabel

Chihuahua

1

6

124

Raul

Oaxaca

1

null

125

Mercedes

Guadalajara

2

null

126

Lily

Cancun

2

null

userId

name

city

__START_AT

__END_AT

123

Isabel

Chihuahua

1

6

124

Raul

Oaxaca

1

null

125

Mercedes

Guadalajara

2

null

126

Lily

Cancun

2

null

二時相更新の処理​

バイテンポラルテーブルは、各変更がいつ有効になったか(ビジネス時間)と、システムがいつ記録したか(システム時間)を追跡します。ビジネス時間列には SEQUENCE BY を使用し、システム時間列には SYSTEM SEQUENCE BY (Pythonでは system_sequence_by )を使用します。バイテンポラルターゲットには両方が必要です。以下のスニペットはフロー定義のみを示しています。完全なパイプラインコードについては、 例:バイテンポラルAUTO CDCによる従業員ロールの追跡を参照してください。

Python
dp.create_auto_cdc_flow(
target = "employees_bitemporal",
source = "employees",
keys = ["employeeId"],
sequence_by = "effectiveDate",
system_sequence_by = "recordedAt",
apply_as_deletes = expr("operation = 'DELETE'"),
except_column_list = ["operation"],
stored_as_scd_type = "bitemporal"
)

バイテンポラルターゲットが追加する列、およびサンプルデータ、順不同の更新、修正、クエリーを含む完全なチュートリアルについては、 バイテンポラル AUTO CDCを参照してください。

スナップショットからの自動CDCの例​

次のセクションでは、 AUTO CDC FROM SNAPSHOTを使用してスナップショットを SCD タイプ 1 またはタイプ 2 のターゲット テーブルに処理する例を示します。このAPIを使用する場合の背景については、 「チェンジデータ キャプチャ」と「スナップショット」を参照してください。

このセクションの例には、Python および SQL の実装が含まれています。完全な SQL 構文については、CREATE FLOW (パイプライン) を参照してください。

例: 定期的なスナップショットの処理​

このアプローチは、ソースシステムがスケジュールに従って定期的に完全なスナップショット(1時間に1つのファイルなど)をエクスポートし、スナップショットが順序通りに到着する場合に使用します。この例では、各スナップショットは、エクスポートの日時(users_2026-10-15-09.csvなど)をファイル名に含む CSV ファイルです。

  • SQL実装では、 WITH VERSION クエリーを使用して次のスナップショットファイルを検索し、ファイル名の「日付」と「時間」を「スナップショットバージョン」として使用します。パイプラインは、最後に処理されたバージョンを追跡します。
  • Pythonの実装では、バージョン関数を使用して次のスナップショットファイルを見つけ、ファイル名の日付と時刻をスナップショットのバージョンとして使用します。

PythonまたはSQLのテーブルや、PythonのJDBC接続など、他のソースタイプからスナップショットを読み取ることもできます。「 1 つのスナップショットから空のターゲットを初期化する」を参照してください。

ステップ 1: サンプルのスナップショットファイルを作成する​

ボリュームを作成し、2つの1時間ごとのスナップショットファイルを書き込みます。パイプラインの explorations フォルダーにあるノートブックから次のコードをランします。

Python
spark.sql("CREATE SCHEMA IF NOT EXISTS main.cdc_tutorial")
spark.sql("CREATE VOLUME IF NOT EXISTS main.cdc_tutorial.hourly_snapshots")

dbutils.fs.put(
"/Volumes/main/cdc_tutorial/hourly_snapshots/users_2026-10-15-09.csv",
"userId,city\n1,Oaxaca\n2,Monterrey\n3,Tijuana\n",
overwrite=True
)

dbutils.fs.put(
"/Volumes/main/cdc_tutorial/hourly_snapshots/users_2026-10-15-10.csv",
"userId,city\n2,Carmel\n3,Los Angeles\n4,Death Valley\n6,Kings Canyon\n",
overwrite=True
)

ステップ 2: スナップショットから AUTO CDCを実行​

このステップのコードを実行するには、パイプラインが必要です。詳細については、Lakeflow Pipelines EditorによるETLパイプラインの開発とデバッグを参照してください。

パイプラインで、transformationsフォルダに新しいPythonまたはSQLファイルを作成し、次のコードを追加してから、パイプラインを実行します。

Python
import re
from typing import Optional, Tuple

from pyspark import pipelines as dp
from pyspark.sql import DataFrame

snapshot_dir = "/Volumes/main/cdc_tutorial/hourly_snapshots/"
snapshot_pattern = re.compile(r"users_([0-9]{4}-[0-9]{2}-[0-9]{2}-[0-9]{2})[.]csv")

def get_next_snapshot(
latest_snapshot_version: Optional[str]
) -> Optional[Tuple[DataFrame, str]]:
snapshots = []

for file in dbutils.fs.ls(snapshot_dir):
match = snapshot_pattern.fullmatch(file.name)
if match:
version = match.group(1)
if latest_snapshot_version is None or version > latest_snapshot_version:
snapshots.append((version, file.path))

if not snapshots:
return None

next_version, snapshot_path = min(snapshots)
snapshot = (
spark.read
.format("csv")
.option("header", True)
.schema("userId INT, city STRING")
.load(snapshot_path)
)
return (snapshot, next_version)

dp.create_streaming_table("target")

dp.create_auto_cdc_from_snapshot_flow(
target = "target",
source = get_next_snapshot,
keys = ["userId"],
stored_as_scd_type = 2
)

パイプラインをランします。アップデート中、フローは9:00のスナップショットを処理し、次に10:00のスナップショットを処理します。AUTO CDC FROM SNAPSHOT は 2 つのスナップショットを比較し、ユーザー 1 が削除され、ユーザー 2 と 3 が更新され、ユーザー 4 と 6 が挿入されたことを検出します。ファイル名から解析されたスナップショット バージョンは、__START_AT 列と __END_AT 列に格納されます。

SCDタイプ2では、ターゲットテーブルには以下のレコードが含まれます:

userId

city

__START_AT

__END_AT

1

Oaxaca

2026-10-15-09

2026年10月15日 10:00

2

Monterrey

2026-10-15-09

2026年10月15日 10:00

2

カーメル

2026年10月15日 10:00

null

3

Tijuana

2026-10-15-09

2026年10月15日 10:00

3

ロサンゼルス

2026年10月15日 10:00

null

4

デスバレー

2026年10月15日 10:00

null

6

キングスキャニオン

2026年10月15日 10:00

null

userId

city

__START_AT

__END_AT

1

Oaxaca

2026-10-15-09

2026年10月15日 10:00

2

Monterrey

2026-10-15-09

2026年10月15日 10:00

2

カーメル

2026年10月15日 10:00

null

3

Tijuana

2026-10-15-09

2026年10月15日 10:00

3

ロサンゼルス

2026年10月15日 10:00

null

4

デスバレー

2026年10月15日 10:00

null

6

キングスキャニオン

2026年10月15日 10:00

null

ユーザー1は終了(削除)されました。ユーザー 2 と 3 には、それぞれ都市の変更を示す 2 つのバージョンがあります。ユーザー4と6が新たに挿入されました。

注記

SCDタイプ2の代わりにSCDタイプ1を使用するには、Pythonでstored_as_scd_type=1またはSQLでSTORED AS SCD TYPE 1を設定します。SCDタイプ1のターゲットテーブルには、__START_AT列と__END_AT列が含まれていません。

SCDタイプ1では、ターゲットテーブルに現在の状態のみが表示されます:

userId

city

2

カーメル

3

ロサンゼルス

4

デスバレー

6

キングスキャニオン

userId

city

2

カーメル

3

ロサンゼルス

4

デスバレー

6

キングスキャニオン

ステップ 3: 新しいスナップショットをシミュレートして再実行します​

別の1時間ごとのスナップショットファイルを書き込んで、新しいエクスポートが到着するのをシミュレートします。パイプラインの explorations フォルダーにあるノートブックからこのコードをランします。

Python
dbutils.fs.put(
"/Volumes/main/cdc_tutorial/hourly_snapshots/users_2026-10-15-11.csv",
"userId,city\n2,Carmel\n3,San Diego\n4,Death Valley\n6,Kings Canyon\n7,Joshua Tree\n",
overwrite=True
)

パイプラインをもう一度ランします。それ以前のバージョンは既に処理済みであるため、フローは11:00のスナップショットのみを選択します。ユーザー3が更新され、ユーザー7が挿入され、その他のレコードは変更されません。

パイプラインの更新の間にいくつかの一時間ごとのファイルが到着した場合、両方の実装で、次の更新中に利用可能な各ファイルがバージョン順に処理されます。

例:1 つのスナップショットから空のターゲットを初期化する​

このアプローチを使用して、1 つの権限のあるスナップショットから新しく空のターゲットを初期化します。Pythonで once=True を設定するか、SQLで ONCE キーワードを使用して、これを1回限りのフローにします。フローが正常にcommitされると、その後の増分パイプライン更新ではスキップされます。完全更新ではターゲットをクリアし、フローを再実行します。

この例では、テーブルをスナップショットソースとして使用し、SCDタイプ1で現在の状態を保存します。AUTO CDCフローからもイベントを受け取るターゲットにスナップショットを追加する方法については、「AUTO CDC SCDタイプ1テーブルにバックフィルを追加する」を参照してください。

ステップ 1: ソーススナップショットを作成する​

ソースの現在の状態全体を含むテーブルを作成します。

SQL
CREATE SCHEMA IF NOT EXISTS main.cdc_tutorial;

CREATE OR REPLACE TABLE main.cdc_tutorial.initial_users (
userId INT,
city STRING
);

INSERT INTO main.cdc_tutorial.initial_users VALUES
(1, 'Oaxaca'),
(2, 'Monterrey'),
(3, 'Tijuana');

ステップ 2: 1回限りのスナップショット・フローを作成する​

パイプラインで、transformationsフォルダーにPythonまたはSQLファイルを作成し、次のコードを追加して、パイプラインを実行します。「 Lakeflow Pipelines Editor を使用したETLパイプラインの開発とデバッグ」を参照してください。

Python
from pyspark import pipelines as dp

dp.create_streaming_table("users")

dp.create_auto_cdc_from_snapshot_flow(
target = "users",
source = "main.cdc_tutorial.initial_users",
keys = ["userId"],
stored_as_scd_type = 1,
once = True
)

PythonでJDBCソースを使用する

クラシックコンピュート上のJDBC接続からターゲットを初期化するには、ソーステーブルを読み取るビューを定義し、そのビュー名を source 引数として使用します。

Python
@dp.view(name="initial_users")
def initial_users():
return (spark.read
.format("jdbc")
.option("url", "<jdbc-url>")
.option("dbtable", "<table-name>")
.option("user", "<username>")
.option("password", "<password>")
.load()
)

フローを作成するときに source = "initial_users" と once = True を設定します。

更新が完了すると、ターゲットには次の行が含まれます:

userId

city

1

Oaxaca

2

Monterrey

3

Tijuana

userId

city

1

Oaxaca

2

Monterrey

3

Tijuana

ステップ3: 1回限りのフロー動作を確認する​

ソースデータを別のスナップショットに置き換えます:

SQL
TRUNCATE TABLE main.cdc_tutorial.initial_users;

INSERT INTO main.cdc_tutorial.initial_users VALUES
(2, 'Carmel'),
(3, 'Los Angeles'),
(4, 'Death Valley');

別の増分パイプラインの更新をランします。1回限りのフローはすでに完了しているため、ターゲットは変更されません。完全更新を実行すると、パイプラインはターゲットをクリアし、フローを再実行します。ターゲットには置き換えられたスナップショットが含まれます。

制限事項​

  • シーケンス列は並べ替え可能なデータ型である必要があります。NULLシーケンス値はサポートされていません。
  • AUTO CDCプロセスのターゲットからデータをストリームするには、その変更フィードから読み取ります。 詳細については、 「AUTO CDCターゲット テーブルから変更データフィードを読み取る」を参照してください。
  • バイテンポラルターゲットには次の制限があります。
    • AUTO CDC FROM SNAPSHOT はサポートされていません。スナップショットを処理するには、最初にそれらから変更フィードを派生させます。二時制AUTO CDCでスナップショットを処理するをご覧ください。
    • AUTO CDC FROM SNAPSHOT および AUTO CDC フローの組み合わせはサポートされていません。
    • 同じ二時間ターゲットに書き込む複数の AUTO CDC フローはサポートされていません。
    • TRACK HISTORY ON (Pythonでのtrack_history_column_listとtrack_history_except_column_list)はサポートされていません。二時制ターゲットは、すべての列の履歴を追跡します。
    • COLUMNS TO UPDATE と IGNORE NULL UPDATES はサポートされていません。
    • APPLY AS TRUNCATE WHEN サポートされていません。

その他のリソース​