Lakeflow 宣言型パイプライン デベロッパー リファレンス

このセクションには、 Lakeflow 宣言型パイプライン開発者向けのリファレンスと手順が含まれています。

データの読み込みと変換は、ストリーミングテーブルとマテリアライズドビューを定義するクエリによって Lakeflow 宣言型パイプラインで実装されます。 これらのクエリを実装するために、 Lakeflow 宣言型パイプラインは SQL インターフェイスと Python インターフェイスをサポートしています。 これらのインターフェイスは、ほとんどのデータ処理ユースケースで同等の機能を提供するため、パイプライン開発者は最も使いやすいインターフェイスを選択できます。

Python 開発

Pythonコードを使用してLakeFlow宣言型パイプラインを作成します。

トピック	説明
Python を使用したパイプライン コードの開発	Lakeflowでの 宣言型パイプラインの開発の概要Python .
Lakeflow 宣言型パイプライン Python 言語リファレンス	dlt モジュールの Python リファレンスドキュメント。
宣言型パイプラインの Python 依存関係 Lakeflow 管理	Python 宣言型パイプラインを使用してライブラリを管理する手順Lakeflow。
Git フォルダーまたはワークスペース ファイルから Python モジュールをインポートする	Databricks に格納した Python モジュールを使用する手順。

SQL開発

SQLコードを使用してLakeFlow宣言型パイプラインを作成します。

トピック	説明
SQL を使用したパイプライン コードの開発	Lakeflowでの 宣言型パイプラインの開発の概要SQL .
Lakeflow 宣言型パイプライン SQL 言語リファレンス	宣言型パイプラインの 構文に関するリファレンス ドキュメント。SQLLakeflow
Databricks SQLでLakeflow宣言型パイプラインを使用する	Databricks SQLを使用して、宣言型パイプラインLakeFlow操作します。

その他の開発トピック

次のトピックでは、宣言型パイプライン LakeFlow 開発する他の方法について説明します。

トピック	説明
Lakeflow 宣言型パイプラインを Databricks Asset Bundle プロジェクトに変換する	既存のパイプラインをバンドルに変換すると、ソース管理された YAML ファイルでデータ処理構成を管理できるため、メンテナンスが容易になり、ターゲット環境へのデプロイが自動化されます。
Create LakeFlow Declarative パイプライン with dlt-meta	オープンソース dlt-meta ライブラリを使用して、メタデータ駆動型フレームワークを使用して LakeFlow 宣言型パイプラインの作成を自動化します。
Lakeflow 宣言型パイプライン コードをローカル開発環境で開発する	Lakeflow 宣言型パイプライン コードをローカルで開発するためのオプションの概要。