LakeFlow 宣言型パイプライン

LakeFlow Declarative パイプラインは、 SQL と Pythonでバッチおよびストリーミングデータパイプラインを作成するためのフレームワークです。 LakeFlow宣言型パイプラインの一般的なユースケースには、クラウドストレージ(Amazon S3、Azure ADLS Gen2、Google Cloud Storageなど)やメッセージバス(Apache Kafka、Amazon Kinesis、Google Pub/Sub、 Azure EventHub、Apache Pulsar)、およびインクリメンタルバッチとストリーミングの変換。

このセクションでは、宣言型パイプラインの使用に関する詳細な情報を提供します LakeFlow 。次のトピックは、作業を開始するのに役立ちます。

トピック	説明
LakeFlow 宣言型パイプラインの概念	LakeFlow Declarative パイプラインの高レベルの概念 (パイプライン、flows、ストリーミングテーブル、マテリアライズドビューなど) について説明します。
チュートリアル	チュートリアルに従って、宣言型パイプラインの使用を実際に体験 LakeFlow 。
パイプラインの開発	データの取り込みと変換のためのフローを作成するパイプラインを開発およびテストする方法について説明します。
パイプラインの構成	パイプラインをスケジュールおよび構成する方法について説明します。
パイプラインの監視	パイプラインを監視し、パイプラインクエリのトラブルシューティングを行う方法を学びます。
開発者	宣言型パイプラインを開発するときに Python と SQL を使用する方法について説明します LakeFlow 。
LakeFlow Databricks SQL の宣言型パイプライン	LakeFlowで Declarative パイプラインストリーミングテーブルとマテリアライズドビューの使用方法について説明します。Databricks SQL

詳細情報​

詳細情報