LakeFlow 宣言型パイプライン
LakeFlow Declarative パイプラインは、 SQL と Pythonでバッチおよびストリーミング データパイプラインを作成するためのフレームワークです。 LakeFlow宣言型パイプラインの一般的なユースケースには、クラウドストレージ(Amazon S3、Azure ADLS Gen2、Google Cloud Storageなど)やメッセージバス(Apache Kafka、Amazon Kinesis、Google Pub/Sub、 Azure EventHub、Apache Pulsar)、およびインクリメンタル バッチとストリーミングの変換。
このセクションでは、宣言型パイプラインの使用に関する詳細な情報を提供します LakeFlow 。 次のトピックは、作業を開始するのに役立ちます。
トピック | 説明 |
---|---|
LakeFlow Declarative パイプラインの高レベルの概念 (パイプライン、flows、ストリーミングテーブル、マテリアライズドビューなど) について説明します。 | |
チュートリアルに従って、宣言型パイプラインの使用を実際に体験 LakeFlow 。 | |
データの取り込みと変換のためのフローを作成するパイプラインを開発およびテストする方法について説明します。 | |
パイプラインをスケジュールおよび構成する方法について説明します。 | |
パイプラインを監視し、パイプラインクエリのトラブルシューティングを行う方法を学びます。 | |
宣言型パイプラインを開発するときに Python と SQL を使用する方法について説明します LakeFlow 。 | |
LakeFlowで Declarative パイプライン ストリーミングテーブルとマテリアライズドビュー の使用方法について説明します。Databricks SQL |