メインコンテンツまでスキップ

LakeFlow 宣言型パイプライン

LakeFlow Declarative パイプラインは、 SQL と Pythonでバッチおよびストリーミング データパイプラインを作成するためのフレームワークです。 LakeFlow宣言型パイプラインの一般的なユースケースには、クラウドストレージ(Amazon S3、Azure ADLS Gen2、Google Cloud Storageなど)やメッセージバス(Apache Kafka、Amazon Kinesis、Google Pub/Sub、 Azure EventHub、Apache Pulsar)、およびインクリメンタル バッチとストリーミングの変換。

このセクションでは、宣言型パイプラインの使用に関する詳細な情報を提供します LakeFlow 。 次のトピックは、作業を開始するのに役立ちます。

トピック

説明

LakeFlow 宣言型パイプラインの概念

LakeFlow Declarative パイプラインの高レベルの概念 (パイプライン、flows、ストリーミングテーブル、マテリアライズドビューなど) について説明します。

チュートリアル

チュートリアルに従って、宣言型パイプラインの使用を実際に体験 LakeFlow 。

パイプラインの開発

データの取り込みと変換のためのフローを作成するパイプラインを開発およびテストする方法について説明します。

パイプラインの構成

パイプラインをスケジュールおよび構成する方法について説明します。

パイプラインの監視

パイプラインを監視し、パイプラインクエリのトラブルシューティングを行う方法を学びます。

開発者

宣言型パイプラインを開発するときに Python と SQL を使用する方法について説明します LakeFlow 。

LakeFlow Databricks SQL の宣言型パイプライン

LakeFlowで Declarative パイプライン ストリーミングテーブルとマテリアライズドビュー の使用方法について説明します。Databricks SQL

詳細情報

この記事は役に立ちましたか?