Lakeflow 宣言型パイプライン デベロッパー リファレンス

このセクションには、 Lakeflow 宣言型パイプライン開発者向けのリファレンスと手順が含まれています。

データの読み込みと変換は、ストリーミングテーブルとマテリアライズドビューを定義するクエリによって Lakeflow 宣言型パイプラインで実装されます。 これらのクエリを実装するために、 Lakeflow 宣言型パイプラインは SQL インターフェイスと Python インターフェイスをサポートしています。 これらのインターフェイスは、ほとんどのデータ処理ユースケースで同等の機能を提供するため、パイプライン開発者は最も使いやすいインターフェイスを選択できます。

Python開発

Pythonコードを使用してLakeFlow宣言型パイプラインを作成します。

トピック	説明
Pythonでパイプラインコードを開発する	Lakeflowでの 宣言型パイプラインの開発の概要Python .
Lakeflow 宣言型パイプライン Python 言語リファレンス	pipelinesモジュールの Python リファレンス ドキュメント。
宣言型パイプラインの Python 依存関係 Lakeflow 管理	Python 宣言型パイプラインを使用してライブラリを管理する手順Lakeflow。
Git フォルダまたはワークスペース ファイルから Python モジュールをインポートする	Databricks に保存した Python モジュールを使用する手順。

SQL開発

SQLコードを使用してLakeFlow宣言型パイプラインを作成します。

トピック	説明
SQLを使用してパイプラインコードを開発する	Lakeflowでの 宣言型パイプラインの開発の概要SQL .
Lakeflow 宣言型パイプライン SQL 言語リファレンス	宣言型パイプラインの 構文に関するリファレンス ドキュメント。SQLLakeflow
Databricks SQLでLakeflow宣言型パイプラインを使用する	Databricks SQLを使用して、 LakeFlow宣言型パイプラインを操作します。

その他の開発トピック

次のトピックでは、 LakeFlow宣言型パイプラインを開発する他の方法について説明します。

トピック	説明
Lakeflow 宣言型パイプラインを Databricks Asset Bundle プロジェクトに変換する	既存のパイプラインをバンドルに変換すると、ソース管理された YAML ファイルでデータ処理構成を管理できるようになり、メンテナンスが容易になり、ターゲット環境へのデプロイメントが自動化されます。
dlt-metaによるLakeFlow宣言型パイプラインの作成	オープンソースdlt-metaライブラリを使用して、メタデータ駆動型フレームワークによるLakeFlow宣言型パイプラインの作成を自動化します。
Lakeflow 宣言型パイプライン コードをローカル開発環境で開発する	Lakeflow 宣言型パイプライン コードをローカルで開発するためのオプションの概要。