スタンドアロンパイプライン
LakeFlow Spark宣言型パイプラインは、パイプライン内のデータを操作する最も一般的な方法です。 シンプルなクエリ構文を使用して、 LakeFlow Spark宣言型パイプラインの外部でスタンドアロンのマテリアライズドビューとストリーミング テーブルを定義することもでき、 Databricks基礎となるパイプラインを管理します。 スタンドアロン テーブルは、 Databricks SQLウェアハウス、またはサーバレス 一般コンピュートで実行されているノートブックから作成および更新できます。
スタンドアロンテーブルと完全なLakeflow Spark宣言型パイプラインのどちらを決定するかについては、スタンドアロンパイプラインとLakeflow Spark宣言型パイプラインを参照してください。
このセクションは以前は「Databricks SQL のパイプライン」と呼ばれていました。Databricks SQLウェアハウスに加えて、サーバレス 一般コンピュート上で動作するノートブックからスタンドアロンのマテリアライズドビューとストリーミング テーブルを作成するための新しいサポートを反映するために、名前が「 Databricks SQLパイプライン」に変更されました。
このセクションでは、スタンドアロンパイプラインの使用方法について、以下のトピックを含めて説明します。
トピック | 説明 |
|---|---|
機能のサポートや地域での利用可能性など、スタンドアロンのマテリアライズドビューとストリーミング テーブルのコンピュート オプションについて説明します。 | |
ストリーミングテーブルの作成、更新、構成、および監視を行います。 | |
マテリアライズドビューの作成、更新、およびクエリを実行します。 |
ノートブックからPythonを使用してスタンドアロンのマテリアライズドビューとストリーミングテーブルを作成および更新するには、「スタンドアロンパイプラインでPythonを使用する」を参照してください。