Databricks のテーブルとビュー

Databricks におけるデータエンジニアリングの主要なデータオブジェクトは、テーブル、ビュー、マテリアライズドビュー、ストリーミングテーブルであり、それぞれ異なるストレージと更新動作を持ちます。

テーブル

テーブルは、特定の場所に格納される構造化されたデータセットです。Databricks で登録されるデフォルトテーブルタイプは、マネージドテーブルUnity Catalogです。テーブルは、コマンドまたはDataFrame APIsを使用してクエリSQLおよび操作でき、 INSERT、 UPDATE、 DELETE、 MERGE INTOなどの操作をサポートします。「Databricks テーブル」を参照してください

ビュー

ビューは、データを格納せず、1 つ以上のテーブルのデータを特定の形式または抽象化で表示できるクエリによって定義される仮想テーブルです。ビューは、複雑なクエリを簡略化し、ビジネス ロジックをカプセル化し、ストレージを重複させることなく基になるデータへの一貫したインターフェイスを提供するのに役立ちます。ビューとはを参照してください。

マテリアライズドビュー

ビューと同様に、マテリアライズドビューはクエリーによって定義されます。ただし、ビューとは異なり、マテリアライズドビューはクエリーの結果を事前計算して保存します。クエリーはビューよりもマテリアライズドビューに対して高速に実行できますが、余分なストレージを消費します。Databricks SQLを使用してスタンドアロンのマテリアライズドビューを作成および更新したり、Lakeflow Pipelinesを使用して1つ以上のマテリアライズドビュー、ストリーミングテーブル、およびビューを作成および更新したりできます。スタンドアロンのマテリアライズドビューの使用およびマテリアライズドビューを参照してください。

ストリーミングテーブル

ストリーミングテーブルは、フローを使用して処理ロジックを定義するUnity Catalogマネージドテーブルの一種です。Databricks SQLを使用してスタンドアロンのストリーミングテーブルを作成および更新したり、LakeFlow Pipelinesを使用して1つ以上のストリーミングテーブル、マテリアライズドビュー、およびビューを作成および更新したりできます。「スタンドアロンのストリーミングテーブルを使用する」および「ストリーミングテーブル」を参照してください。

マテリアライズドビュー vs. ストリーミングテーブル

マテリアライズドビュー と ストリーミングテーブルは、データエンジニアリングに使用される 2 つの一般的なデータ オブジェクトです。 マテリアライズドビュー はバッチ セマンティクスを使用し、ストリーミングテーブルはストリーミング セマンティクスを使用します。 バッチとストリーミングの比較、およびデータエンジニアリング ワークロードでそれらを選択する際の考慮事項については、「Databricksでのバッチとストリーミングのデータ処理」を参照してください。