Lakeflow 宣言型パイプライン

Lakeflow 宣言型パイプラインは、 SQL と Pythonでバッチおよびストリーミングデータパイプラインを作成するためのフレームワークです。 Lakeflow宣言型パイプラインの一般的なユースケースには、クラウドストレージ(Amazon S3、Azure ADLS Gen2、Google Cloud Storageなど)やメッセージバス(Apache Kafka、Amazon Kinesis、Google Pub/Sub、 Azure EventHub、Apache Pulsar)、およびインクリメンタルバッチとストリーミングの変換。

このセクションでは、Lakeflow宣言型パイプラインの使用に関する詳細な情報を提供します。次のトピックは、作業を開始するのに役立ちます。

トピック	説明
Lakeflow 宣言型パイプラインの概念	Lakeflow 宣言型パイプラインの高レベルの概念 (パイプライン、flows、ストリーミングテーブル、マテリアライズドビューなど) について説明します。
チュートリアル	チュートリアルに従って、Lakeflow宣言型パイプラインの使用を実際に体験します。
パイプラインの開発	データの取り込みと変換のためのフローを作成するパイプラインを開発およびテストする方法について説明します。
パイプラインの構成	パイプラインをスケジュールおよび構成する方法について説明します。
パイプラインの監視	パイプラインを監視し、パイプラインクエリのトラブルシューティングを行う方法を学びます。
開発者	Lakeflow宣言型パイプラインを開発するときに Python と SQL を使用する方法について説明します。
Lakeflow Databricks SQL の宣言型パイプライン	Databricks SQLで Lakeflow宣言型パイプラインストリーミングテーブルとマテリアライズドビューの使用方法について説明します。

詳細情報​

詳細情報