Lakeflow 宣言型パイプライン Python 言語リファレンス

このセクションでは、 Lakeflow 宣言型パイプライン Python プログラミング インターフェイスについて詳しく説明します。

• Python for Lakeflow 宣言型パイプラインの概念情報と使用の概要については、「Pythonを使用したパイプラインコードの開発」を参照してください。
• SQLリファレンスについては、Lakeflow 宣言型パイプライン SQL 言語リファレンスを参照してください。
• Auto Loaderの構成の詳細については、「Auto Loaderとは」を参照してください。

dlt モジュールの概要

Lakeflow 宣言型パイプライン Python 関数は、 dlt モジュールで定義されます。 Python API で実装されたパイプラインでは、次のモジュールをインポートする必要があります。

Python

import dlt

データセット定義の関数

Lakeflow 宣言型パイプラインでは Python マテリアライズドビューやストリーミングテーブルなどのデータセットを定義するためにデコレータを使用します。 データセットを定義する関数を参照してください。

API リファレンス

• append_flow
• create_auto_cdc_flow
• create_auto_cdc_from_snapshot_flow
• create_sink
• create_streaming_table
• エクスペクテーション
• テーブル
• ビュー

Python Lakeflow 宣言型パイプラインに関する考慮事項

Lakeflow 宣言型パイプライン Python インターフェイスを使用してパイプラインを実装する場合の重要な考慮事項を次に示します。

• Lakeflow 宣言型パイプラインは、計画中およびパイプラインの実行中に、パイプラインを定義するコードを複数回評価します。 データセットを定義する Python 関数には、テーブルまたはビューの定義に必要なコードのみを含める必要があります。データセット定義に任意の Python ロジックが含まれていると、予期しない動作が発生する可能性があります。
• データセット定義にカスタム・モニタリング・ロジックを実装しようとしないでください。 「 イベント フックを使用した Lakeflow 宣言型パイプラインのカスタム モニタリングの定義」を参照してください。
• データセットの定義に使用される関数は、Spark DataFrame を返す必要があります。返された DataFrame に関連しないロジックをデータセット定義に含めないでください。
• ファイルやテーブルを保存または書き込むメソッドを Lakeflow 宣言型パイプライン データセット コードの一部として使用しないでください。

宣言型パイプライン コードで使用 てはならない Apache Spark操作の例を次に示します。Lakeflow

• collect()
• count()
• toPandas()
• save()
• saveAsTable()
• start()
• toTable()