LakeFlow Spark宣言型パイプラインのシンク

フローを作成すると、パイプラインは結果のクエリDeltaテーブル (通常はマテリアライズドビューまたはストリーミングテーブル) に書き込みます。パイプラインは、さまざまなシンクに書き込んだり、プログラムでデータを変換し、 Pythonで書き込むことができる任意のターゲットにデータをストリーミングしたりできる機能も提供します。

次のトピックでは、パイプラインのシンクの機能について説明します。

トピック	説明
LakeFlow Spark宣言型パイプラインシンク	フローで`sink` API を使用して、パイプラインによって変換されたレコードをサポートされている外部データシンクに書き込みます。外部データシンクには、Unity Catalog で管理されるテーブルと外部テーブル、Apache Kafka や Azure Event Hubs などのイベントストリーミングサービスが含まれます。
Pythonカスタムシンク	Pythonカスタムデータソースで`sink` API使用して、任意のデータストアに書き込みます。
ForEachBatchシンク	`foreachBatch` API を使用して任意のデータストアに書き込み、データに対してその他の変換を実行したり、単一フロー内の複数のシンクに書き込んだりします。

詳細情報​

詳細情報