Databricks SQLでのマテリアライズドビューの使用

注：

マテリアライズドビューで AWS PrivateLink 接続を使用する必要がある場合は、Databricks の担当者にお問い合わせください。

この記事では、Databricks SQL でマテリアライズドビューを作成して使用し、パフォーマンスを向上させ、データ処理と分析のワークロードのコストを削減する方法について説明します。

マテリアライズドビューとは

Databricks SQL では、マテリアライズドビューは、ユーザーがソース テーブル内の最新バージョンのデータに基づいて結果を事前に計算できるようにする Unity Catalog マネージド テーブルです。 Databricks のマテリアライズドビューは、マテリアライズドビューがクエリされるときに常に結果を更新するのではなく、返される結果がマテリアライズドビューが最後に更新されたときのデータの状態を反映するため、他の実装とは異なります。 マテリアライズドビューを手動で更新したり、更新をスケジュールしたりできます。

マテリアライズドビューは、抽出、変換、読み込み (ETL) 処理などのデータ処理ワークロード大きな効果を発揮します。 マテリアライズドビューは、コンプライアンス、修正、集計、または一般的なチェンジデータキャプチャ (CDC) のデータを処理するためのシンプルで宣言的な方法を提供します。 マテリアライズドビューは、低速なクエリーと頻繁に使用される計算を事前に計算することで、コストを削減し、クエリーの待機時間を改善します。 マテリアライズドビューでは、ベーステーブルのクリーニング、エンリッチメント、および非正規化による使いやすい変換も可能です。 マテリアライズドビューは、場合によってはベーステーブルから変更を段階的に計算できるため、簡素化されたエンドユーザーエクスペリエンスを提供しながらコストを削減できます。

マテリアライズド ビューは、Delta Live Tablesのリリースにより Databricks で初めてサポートされました。 Databricks SQL ウェアハウスでマテリアライズド ビューを作成すると、マテリアライズド ビューへの更新を処理するための Delta Live Tables パイプラインが作成されます。 Delta Live Tables UI、Delta Live Tables API、または Delta Live Tables CLI で更新操作のステータスを監視できます。 「マテリアライズド ビューの更新ステータスの表示」を参照してください。

要件

マテリアライズドビューを作成または更新するには:

• Unity Catalog 対応の Pro または サーバレス SQLウェアハウスを使用する必要があります。

• マテリアライズド ビューを更新するには、そのビューを作成したワークスペース内にいる必要があります。

• ワークスペースは、 SQL Serverをサポートするリージョンにある必要があります。

• サーバーの使用条件に同意している必要があります。

マテリアライズドビューをクエリするには:

• マテリアライズドビューの所有者であるか、マテリアライズドビューに SELECT があり、その親に USE SCHEMA と USE CATALOG を持っている必要があります。

• 次のコンピュート リソースのいずれかを使用する必要があります。

  • SQLウェアハウス

  • Delta Live Tables インターフェース

  • 共有アクセスモードコンピュート

  • Databricks Runtime 15.4 以降のシングルユーザー アクセス モード (ワークスペースでサーバレス コンピュートが有効になっている場合)。 「シングルユーザーコンピュートでのきめ細かいアクセス制御」を参照してください。

  • マテリアライズド ビューの所有者 (14.3 から 15.3 の Databricks Runtime を実行しているシングル ユーザー アクセス モードのコンピュート リソース) の場合のみ。

具体化されたビューの使用に関するその他の制限については、「 制限事項」を参照してください。

マテリアライズドビューを作成する

Databricks SQL 具体化されたビュー CREATE 操作では、Databricks SQL ウェアハウスを使用して、具体化されたビューでデータを作成および読み込みます。 実体化ビュー (Materialized View) の作成は同期操作であるため、 CREATE MATERIALIZED VIEW コマンドは、実体化ビュー (Materialized View) が作成され、初期データの読み込みが終了するまでブロックされます。 サーバレス Delta Live Tables パイプラインは、 Databricks SQL マテリアライズドビューごとに自動的に作成されます。 具体化された ビューが更新されると 、Delta Live Tables パイプラインによって更新が処理されます。

実体化ビュー (Materialized View) を作成するには、 CREATE MATERIALIZED VIEW 文を使用します。 create ステートメントを送信するには、Databricks UI、 Databricks SQL CLI、または Databricks SQL API の SQL エディターを使用します。

構文とパラメーターの詳細については、 CREATE MATERIALIZED VIEWを参照してください。

注：

マテリアライズドビューを作成するユーザーはマテリアライズドビューの所有者であり、次の権限が必要です。

• SELECT マテリアライズドビューによって参照されるベーステーブルに対する権限。

• USE CATALOG マテリアライズド ビューのソース テーブルを含むカタログとスキーマに対するUSE SCHEMA権限。

• USE CATALOG マテリアライズドビューのターゲットカタログとスキーマに対する USE SCHEMA 権限。

• CREATE TABLE マテリアライズドビューを含むスキーマに対する CREATE MATERIALIZED VIEW 権限。

次の例では、ベーステーブルbase_table1からマテリアライズドビューmv1を作成します。

CREATE MATERIALIZED VIEW mv1
AS SELECT
  date, sum(sales) AS sum_of_sales
FROM
  table1
GROUP BY
  date;

外部システムからデータを読み込む

Databricks 、サポートされているデータソースについては、レイクハウスフェデレーションを使用して外部データを読み込むことを推奨しています。 レイクハウスフェデレーションでサポートされていないソースからデータをロードする方法については、 「データ形式オプション」を参照してください。

マテリアライズドビューを更新する

REFRESH操作では、実体化ビュー (Materialized View) が更新され、ベース・テーブルに対する最新の変更が反映されます。デフォルトでは、操作は同期的であるため、更新操作が完了するまでコマンドはブロックされます。 マテリアライズド・ビューを更新するには、 REFRESH MATERIALIZED VIEW 文を使用します。 このコマンドの 構文とパラメーターの詳細については 、 REFRESH(MATERIALIZED VIEW またはSTREAMING TABLE ) を参照してください。SQL増分更新できる具体化されたビューの種類の詳細については、「 具体化されたビューの更新操作」を参照してください。

更新ステートメントを送信するには、SQL DatabricksUI の エディター、 ウェアハウスにアタッチされたノートブック、SQL Databricks SQLCLI、またはDatabricks SQLAPI を使用します。

マテリアライズドビューを REFRESH できるのは所有者だけです。

次の例では、 mv1マテリアライズド ビューを更新します。

REFRESH MATERIALIZED VIEW mv1;

Databricks SQL マテリアライズドビューはどのように更新されますか?

マテリアライズド ビューは、サーバレス Delta Live Tables パイプラインを自動的に作成して使用し、更新操作を処理します。 更新は Delta Live Tables パイプラインによって管理され、更新は具体化されたビューの作成に使用される Databricks SQL ウェアハウスによって監視されます。

Delta Live Tables パイプラインは、継続実行モードまたはトリガー実行モードのいずれかを使用します。 マテリアライズドビューは、どちらの実行モードでも更新できます。 連続実行モードで動作しているときに不要な処理を回避するために、パイプラインは依存する Delta テーブルを自動的に監視し、依存テーブルの内容が変更された場合にのみ更新を実行します。 「Delta Live Tables パイプラインとは何ですか?」を参照してください。

注：

Delta Live Tables Deltaデータソース以外の変更を検出できません。 テーブルは引き続き定期的に更新されますが、コンピュート上で発生する増分処理が過度に再計算されて遅くなるのを防ぐために、トリガー間隔が長くなっています。

デフォルトでは、更新操作は同期的に実行されます。 更新操作を非同期で実行するように設定することもできます。 各アプローチに関連する動作は次のとおりです。

• 同期: 同期更新は、更新操作が完了するまで他の操作をブロックします。 これにより、ジョブなどのオーケストレーション ツールで更新操作をシーケンスできます。 マテリアライズドビューをジョブでオーケストレーションするには、 SQL タスクタイプを使用します。 「 ワークフローのスケジュールと調整」を参照してください。

• 非同期: 非同期更新は、具体化されたビューの更新が開始されると、 Delta Live Tables コンピュートでバックグラウンド ジョブを開始し、データのロードが完了する前にコマンドが戻ります。

一部のクエリは、増分的に更新できます。 マテリアライズド ビューの更新操作を参照してください。 増分更新を実行できない場合は、代わりに完全更新が実行されます。

マテリアライズドビューの更新をスケジュールする

Databricks SQL マテリアライズド ビューは、定義されたスケジュールに基づいて自動的に更新されるように構成できます。 スケジュールを設定するには、次のいずれかの操作を行います。

• SCHEDULE 句を使用してスケジュールを設定するときは、具体化ビュー

• ALTER MATERIALIZED VIEW 文を使用してスケジュールを追加します。

スケジュールが作成されると、更新を処理するように新しい Databricks ジョブが自動的に構成されます。

スケジュールを表示するには、次のいずれかの操作を行います。

• Databricks UI の SQL エディターから DESCRIBE EXTENDED ステートメントを実行します。

• カタログエクスプローラを使用して、マテリアライズドビューを表示します。 スケジュールは、[ 概要 ] タブの [更新ステータス] の下に表示されます。 「カタログエクスプローラとは」を参照してください。

マテリアライズドビューの更新のステータスを表示する

注：

Delta Live Tables パイプラインはマテリアライズドビューの更新を管理するため、パイプラインの起動時間によって待機時間が発生します。 この時間は、更新の実行に必要な時間に加えて、秒から分単位になる場合があります。

マテリアライズドビューの更新の状態を表示するには、Delta Live Tables UI でマテリアライズドビューを管理するパイプラインを表示するか、マテリアライズドビューの DESCRIBE EXTENDED コマンドによって返される 更新情報 を表示します。

また、Delta Live Tables イベント ログに対してクエリを実行して、マテリアライズドビューの更新履歴を表示することもできます。 「マテリアライズドビューの更新履歴を表示する」を参照してください。

Delta Live Tables UIで更新状態を表示する

デフォルトにより、マテリアライズドビューを管理する Delta Live Tables パイプラインは Delta Live Tables UIに表示されません。 Delta Live Tables UI でパイプラインを表示するには、パイプラインの [パイプラインの詳細] ページへのリンクに直接アクセスする必要があります。リンクにアクセスするには:

• DESCRIBE EXTENDED ステートメントによって返されるテーブルの Latest 更新 行に示されているリンクをコピーして貼り付けます。

• マテリアライズドビューの系列 タブで 、[ パイプライン] をクリックし、パイプライン リンクをクリックします。

Databricks UI の SQL エディターを使用して送信された非同期 REFRESH コマンドの場合は、[ 結果 ] パネルに表示されるリンクに従って更新状態を表示できます。

アクティブな更新を停止する

Delta Live Tables UI でアクティブな更新を停止するには、パイプラインの詳細ページで [停止]をクリックしてパイプラインの更新を停止します。 Databricks CLIまたはPOST /api/2.0/パイプライン/{パイプライン}/stopを使用して更新を停止することもできます。 パイプラインAPIでの操作。

マテリアライズドビューの定義を更新する

実体化ビュー (Materialized View) の定義を更新するには、まず実体化ビュー (Materialized View) を削除してから再作成する必要があります。

マテリアライズドビューのドロップ

注：

マテリアライズド ビューを削除するコマンドを送信するには、そのマテリアライズド ビューの所有者である必要があります。

実体化ビュー (Materialized View) を削除するには、 DROP VIEW 文を使用します。 DROPステートメントを送信するには、Databricks UI、Databricks SQL CLI、または Databricks SQL API の SQL エディターを使用できます。次の例では、 mv1 具体化ビュー (Materialized View) を削除します。

DROP MATERIALIZED VIEW mv1;

マテリアライズドビューの説明

マテリアライズド・ビューのカラムとデータ型を取得するには、 DESCRIBE 文を使用します。 マテリアライズドビューの列、データ型、およびメタデータ (所有者、ロケーション、作成時刻、更新ステータスなど) を取得するには、 DESCRIBE EXTENDEDを使用します。 DESCRIBEステートメントを送信するには、Databricks UI、Databricks SQL CLI、または Databricks SQL API の SQL エディターを使用します。

マテリアライズドビューの所有者を変更する

メタストア管理者とワークスペース管理者の両方である場合は、マテリアライズド ビューの所有者を変更できます。 マテリアライズド ビューは、Delta Live Tables パイプラインを自動的に作成し、使用して変更を処理します。 マテリアライズド ビューの所有者を変更するには、次の手順に従います。

• マテリアライズドビューの系列 タブで 、[ パイプライン] をクリックし、パイプライン リンクをクリックします。

• クリックパイプライン名の右側にあるケバブ メニューをクリックし、 [権限]をクリックします。 これにより、権限ダイアログが開きます。

• 現在の所有者の名前の右側にある [ x ] をクリックして、現在の所有者を削除します。

• 入力を開始して、使用可能なユーザーのリストをフィルタリングします。 新しいパイプラインの所有者となるユーザーをクリックします。

• 「 保存 」をクリックして変更を保存し、ダイアログを閉じます。

パイプラインで定義されたマテリアライズド ビューを含むすべてのパイプライン アセットは、新しいパイプライン所有者が所有します。 今後のすべての更新は、新しい所有者の ID を使用して実行されます。

マテリアライズドビューへのアクセスを制御する

マテリアライズドビューは、豊富なアクセス制御をサポートして、潜在的にプライベートなデータを公開しないようにしながら、データ共有をサポートします。 マテリアライズドビューの所有者は、他のユーザーに SELECT 権限を付与できます。 マテリアライズドビューへの SELECT アクセス権を持つユーザーは、マテリアライズドビューによって参照されるテーブルへの SELECT アクセス権を必要としません。 このアクセス制御により、基になるデータへのアクセスを制御しながら、データを共有できます。

マテリアライズドビューへの権限の付与

実体化ビュー (Materialized View) へのアクセス権を付与するには、 GRANT ステートメントを使用します。

GRANT
  privilege_type [, privilege_type ] ...
  ON <mv_name> TO principal;

privilege_typeは次のとおりです。

• SELECT - ユーザーはマテリアライズドビュー SELECT できます。

• REFRESH - ユーザーはマテリアライズドビュー REFRESH できます。 更新は所有者の権限を使用して実行されます。

次の例では、マテリアライズド ビューを作成し、ユーザーに選択権限と更新権限を付与します。

CREATE MATERIALIZED VIEW <mv_name> AS SELECT * FROM <base_table>;
GRANT SELECT ON <mv_name> TO user;
GRANT REFRESH ON <mv_name> TO user;

マテリアライズドビューからの権限の取り消し

マテリアライズドビューからのアクセスを取り消すには、 REVOKE ステートメントを使用します。

REVOKE
  privilege_type [, privilege_type ]
  ON <name> FROM principal;

ベーステーブルに対する SELECT 権限が、マテリアライズドビューの所有者またはマテリアライズドビューに対する SELECT 権限を付与されている他のユーザーから取り消された場合、またはベーステーブルが削除された場合、マテリアライズドビューの所有者またはアクセス権を付与されたユーザーは、引き続きマテリアライズドビューをクエリできます。 ただし、次の動作が発生します。

• マテリアライズドビューの所有者、またはマテリアライズドビューにアクセスできなくなった他のユーザーは、そのマテリアライズドビュー REFRESH できなくなり、マテリアライズドビューは古くなります。

• スケジュールで自動化されている場合、次にスケジュールされているREFRESHは失敗するか、実行されません。

次に、mv1から SELECT 権限を取り消します。

REVOKE SELECT ON mv1 FROM user1;

チェンジデータフィードを有効にする

特定の高度な使用例を除き、マテリアライズド ビューのベース テーブルにはチェンジデータ フィードが必要です。 基本テーブルでチェンジデータフィードを有効にするには、次の構文を使用してdelta.enableChangeDataFeedテーブル プロパティを設定します。

ALTER TABLE table1 SET TBLPROPERTIES (delta.enableChangeDataFeed = true);

マテリアライズドビューの更新履歴を表示する

現在および過去の更新を含む、マテリアライズドビューに対する REFRESH 操作の状態を表示するには、Delta Live Tables イベント ログをクエリーします。

SELECT
  *
FROM
  event_log(TABLE(<fully-qualified-table-name>))
WHERE
  event_type = "update_progress"
ORDER BY
  timestamp desc;

<fully-qualified-table-name> を、カタログとスキーマを含む実体化ビュー (Materialized View) の完全修飾名に置き換えます。

「Delta Live Tables イベント ログとは何ですか?」を参照してください。

増分更新と完全更新のどちらを使用するかの判断

マテリアライズドビューの更新のパフォーマンスを最適化するために、Databricks はコスト モデルを使用して、更新に使用する手法を選択します。 次の表では、これらの手法について説明します。

技術	増分更新ですか?	説明
FULL_RECOMPUTE	いいえ	マテリアライズドビューが完全に再計算されました
NO_OP	該当なし	ベーステーブルへの変更が検出されなかったため、マテリアライズドビューは更新されませんでした。
ROW_BASED または PARTITION_OVERWRITE	はい	マテリアライズドビューは、指定された手法を使用して増分更新されました。

使用された手法を確認するには、 event_typeがplanning_informationである Delta Live Tables イベント ログをクエリします。

SELECT
  timestamp,
  message
FROM
  event_log(TABLE(<fully-qualified-table-name>))
WHERE
  event_type = 'planning_information'
ORDER BY
  timestamp desc;

<fully-qualified-table-name> を、カタログとスキーマを含む実体化ビュー (Materialized View) の完全修飾名に置き換えます。

「Delta Live Tables イベント ログとは何ですか?」を参照してください。

制限事項

• コンピュートおよびワークスペースの要件については、 「要件」を参照してください。

• マテリアライズドビューは、ID 列または代理キーをサポートしていません。

• 実体化ビュー (Materialized View) が NULL可能なカラムに対して合計集計を使用し、そのカラムに NULL 値しか残っていない場合、マテリアライズドビュー (Materialized View) の結果の集計値は NULLではなく 0 になります。

• マテリアライズド ビューからチェンジデータ フィードを読み取ることはできません。

• マテリアライズドビューをサポートする基になるファイルには、マテリアライズドビューの定義に表示されないアップストリームテーブルのデータ (個人を特定できる可能性のある情報を含む) が含まれる場合があります。 このデータは、マテリアライズドビューの増分更新をサポートするために、基になるストレージに自動的に追加されます。 マテリアライズドビューの基になるファイルは、マテリアライズドビュー スキーマの一部ではないアップストリーム テーブルからのデータを公開するリスクがあるため、Databricks では、基になるストレージを信頼されていないダウンストリーム コンシューマーと共有しないことをお勧めします。 たとえば、マテリアライズドビューの定義に COUNT(DISTINCT field_a) 句が含まれているとします。 マテリアライズドビュー定義には aggregate COUNT DISTINCT 句のみが含まれていますが、基になるファイルには field_aの実際の値のリストが含まれます。