Apache Spark宣言型パイプライン
Lakeflow パイプラインは Apache Spark™ Declarative Pipelines (SDP) に基づいて構築されています。LakeFlow Pipelines は、パフォーマンスが最適化された Databricks Runtime で実行され、SDP と相互運用可能です。パイプラインは独自の APIs ではなく SDP に基づいて構築されているため、記述した変換コードは他の SDP ランタイムにポータブルです。
Spark宣言型パイプラインとは何ですか？
Apache Spark宣言型パイプラインは、SQLおよびPythonでバッチおよびストリーミングデータパイプラインを開発および実行するための宣言型フレームワークです。SDPは、オーケストレーションを自動化し、パイプライン内のフロー間の依存関係を整理します。SDPは、取り込みと変換の開発を簡素化するため、データワークフローのオーケストレーションの仕組みに集中する必要がなくなります。
Spark宣言型パイプラインの一般的なユースケースは次のとおりです。
- クラウドストレージ（Amazon S3、Azure ADLS Gen2、およびGoogle Cloud Storage）などのソースからのバッチデータ取り込み。
- メッセージバス (Apache Kafka、Amazon Kinesis、Google Pub/Sub、Azure EventHub、Apache Pulsarなど) からの増分データ取り込み。
- ステートレスおよびステートフルな演算子を使用した増分バッチおよびストリーミング変換
宣言型データ処理の詳細については、「Databricksにおける手続き型と宣言型のデータ処理」を参照してください。
LakeFlow Pipelines は SDP をどのように拡張しますか？
Lakeflow PipelinesはSDPと同じ宣言型オーサリングモデルを共有し、AUTO CDC、データ品質の期待値、クエリ可能なイベントLogなどの本番運用機能を追加します。この表では、Lakeflow PipelinesがSDPと共有する機能と、Databricksが追加する本番運用機能を比較しています。SDPプロジェクト仕様とパイプライン構成のプロパティごとのマッピングについては、パイプラインのプロパティリファレンスを参照してください。
機能 | SDP | Lakeflowパイプライン |
|---|---|---|
SQL と Python の宣言型パイプライン | ✓ | ✓ |
ストリーミングテーブル | ✓ | ✓ |
マテリアライズドビュー | ✓ | ✓ |
一時的ビュー | ✓ | ✓ |
追加フロー | ✓ | ✓ |
シンク (Delta、Apache Kafka、Azure Event Hub) | ✓ | ✓ |
自動オーケストレーションと依存関係の解決 | ✓ | ✓ |
SDP ランタイム間でポータブルなパイプラインコード | ✓ | ✓ |
AUTO CDC (SCD Type 1およびSCD Type 2)とスナップショットからのAUTO CDC | — | ✓ |
— | ✓ | |
クエリ可能なevent log | — | ✓ |
フローと | — | ✓ |
— | ✓ |