メインコンテンツまでスキップ
に最終更新

スタンドアロンパイプラインの要件

このページでは、スタンドアロンのマテリアライズドビューとストリーミングテーブルを作成および更新するための要件について説明します。

SQLウェアハウスを使用すると、スタンドアロンのマテリアライズドビューとストリーミングテーブルを作成および更新できます。CREATEおよびREFRESHステートメントを送信するには、Databricks UI の SQL エディタ、 Databricks SQL CLI 、またはDatabricks SQL API を使用します。

サーバーレス一般コンピュート (ベータ版、地域限定) で実行されているノートブックからスタンドアロンのマテリアライズドビューとストリーミング テーブルを作成および更新することもできます。 See ノートブック.

一般要件​

以下の要件は、すべてのスタンドアロンパイプラインに適用されます。

以下の条件を満たしている必要があります：

作成または更新するための権限​

テーブルを作成するユーザー（所有者）は、以下の権限を持っている必要があります。

  • SELECT 基本テーブルに対する権限。
  • USE CATALOG ソーステーブルを含むカタログおよびスキーマに対する権限はUSE SCHEMA 。
  • USE CATALOG 対象のカタログとスキーマに対する権限はUSE SCHEMAです。
  • CREATE MATERIALIZED VIEW マテリアライズドビューを含むスキーマに対する権限。
  • CREATE TABLE ストリーミングテーブルを含むスキーマに対する権限。従来のパブリッシングモードを使用するパイプラインでは、マテリアライズドビューに対してCREATE TABLE権限も必要です。

スタンドアロンのマテリアライズドビューまたはストリーミングテーブルを更新するには：

  • 作成したワークスペースにいる必要があります。
  • テーブルに対するREFRESH権限が必要です。所有者はこの特権を暗黙のうちに有している。

ソーステーブルの要件​

Deltaテーブルからマテリアライズドビューを増分更新するには、ソース テーブルで行追跡が有効になっている必要があります。

SQLウェアハウス​

SQLウェアハウスを使用してスタンドアロンのマテリアライズドビューとストリーミング テーブルを作成または更新するには、Unity Catalog 対応のプロまたはサーバーレスSQLウェアハウスが必要です。

ノートブック​

サーバレス汎用コンピュートを使用すると、ノートブックからスタンドアロンのマテリアライズドビューやストリーミングテーブルを作成・更新できます。

サーバレス総合コンピュート​

備考

ベータ版

サーバレス一般コンピュート上のノートブックからスタンドアロンのマテリアライズドビューとストリーミングテーブルを作成・更新する機能はベータ版です。 この機能は一部地域でのみ利用可能です。地域別の提供状況をご覧ください。

サーバレス総合コンピュートに付属するノートブックからスタンドアロンのマテリアライズドビューとストリーミングテーブルを作成・更新することができます。 このオプションは、SQLウェアハウスをプロビジョニングせずに、マテリアライズドビューやストリーミングテーブルを他のノートブックベースのワークフローと並行して定義および実行したい場合に便利です。

サーバーレスの一般的なコンピュート要件​

  • サーバレス総合コンピュートに付属するノートブック。
  • Databricks Runtime 18.1以降。インタラクティブ ノートブックはこの要件を自動的に満たします。 古いバージョンへのジョブピン留めはできません。
  • ワークスペースは、サポートされているリージョンにある必要があります。

制限事項​

  • テーブルを更新できるのはテーブルの所有者のみです。他のユーザーが更新できるようにするには、所有者を変更してください。ストリーミングテーブルの所有者を変更する、およびマテリアライズドビューの所有者を変更するを参照してください。
  • 非同期更新はサポートされていません。代わりに同期更新を使用してください。
  • プレビューチャンネルはサポートされていません。サーバレス総合コンピュートで作成されたテーブルは、 currentチャンネルを使用します。
  • テーブルは、作成時に使用したコンピュート タイプを使用してのみ更新できます。 SQLウェアハウスで作成したテーブルはSQLウェアハウスで更新する必要があり、サーバレス汎用コンピュートで作成したテーブルはサーバレス汎用コンピュートで更新する必要があります。 コンピュート タイプを確認するには、カタログ エクスプローラーでテーブルを表示します。
  • コストの帰属および管理はできません。テーブルごとのコスト配分が必要な場合は、SQLウェアハウスを使用してください。
  • メモリ不足エラー時の垂直オートスケールは使用できません。
  • スキーマアップグレードの再試行は利用できません。
  • 更新時のパフォーマンスモード選択は利用できません。スケジュールされた更新のパフォーマンスモードの選択を参照してください。
注記

spark.sql サーバレス一般コンピュート上のノートブックで更新を実行する場合にサポートされます。

:::

クエリ要件​

スタンドアロンのマテリアライズドビューまたはストリーミング テーブルをクエリするには、所有者であるか、テーブルにSELECTがあり、その親にUSE CATALOGおよびUSE SCHEMAが存在する必要があります。

次のコンピュート リソースのいずれかを使用する必要があります。

  • SQLウェアハウス
  • Lakeflow Spark宣言型パイプライン インターフェイス
  • 標準アクセス モード コンピュート (以前の共有アクセス モード)
  • ワークスペースがサーバーレス コンピュートに対して有効になっている場合、 Databricks Runtime 15.4 以降の専用アクセス モード コンピュート (以前のシングル ユーザー アクセス モード)。 専用コンピュートのきめ細かいアクセス制御を参照してください。 所有者の場合は、 Databricks Runtime 14.3 以降を実行する専用アクセス モード コンピュートを使用できます。

Databricks Runtime 15.3 以下のストリーミング テーブルの場合、ストリーミング テーブルを所有している場合にのみ、専用のコンピュートを使用してストリーミング テーブルをクエリできます。 Databricks Runtime 15.4 LTS以降では、所有者でなくても、専用のコンピュートでパイプラインで生成されたテーブルのクエリをサポートしています。 データ フィルタリング操作を実行するために専用のコンピュートを使用する場合、サーバレス コンピュート リソースに対して料金が発生する場合があります。 専用コンピュートのきめ細かいアクセス制御を参照してください。

地域限定​

Databricks SQLウェアハウスを使用して作成および更新されたテーブルは、サーバレスDatabricks SQLウェアハウスをサポートするすべてのリージョンで利用できます。

サーバレス一般コンピュートでのスタンドアロンのマテリアライズドビューとストリーミングテーブルの作成と更新は、一部のリージョンでのみ利用できます。

両方のコンピュート オプションでサポートされているリージョンのリストについては、 「 サーバレスの可用性 」を参照してください。

このページの見出し