Unity Catalogのコンピュート アクセス モードの制限事項
Databricks では、ほとんどのワークロードに Unity Catalog と共有アクセス モードを使用することをお勧めします。 この記事では、Unity Catalog の各アクセス モードの制限と要件について説明します。 アクセスモードの詳細については、「 アクセスモード」を参照してください。
Databricks 、ほとんどのユーザーにとって構成オプションを簡素化するために、コンピュート ポリシーの使用を推奨しています。 「コンピュートポリシーの作成と管理」を参照してください。
注:
分離なしの共有は、Unity Catalog をサポートしていないレガシ アクセス モードです。
重要
init スクリプトとライブラリは、アクセス モードと Databricks ランタイムのバージョンによってサポートが異なります。 「init スクリプトはどこにインストールできますか?」を参照してください。 およびクラスタースコープのライブラリ。
Unity Catalogでのシングル ユーザー アクセス モードの制限
Unity Catalog のシングル ユーザー アクセス モードには、次の制限があります。 これらは、すべての Unity Catalog アクセス モードの一般的な制限に追加されます。 「Unity Catalog の一般的な制限事項」を参照してください。
Unity Catalog のシングルユーザーアクセスモードのきめ細かなアクセス制御の制限
Databricks Runtime 15.3 以前では、シングル ユーザー コンピュートでの詳細なアクセス制御はサポートされていません。 具体的には:
行フィルターまたは列マスクを持つ表にはアクセスできません。
動的ビューにはアクセスできません。
任意のビューから読み取るには、ビューが参照するすべてのテーブルとビューに
SELECT
が必要です。
動的ビュー、基になるテーブルとビューに SELECT
がないビュー、および行フィルターまたは列マスクを持つテーブルに対してクエリを実行するには、次のいずれかの操作を行います。
SQLウェアハウスを使用してください。
共有アクセス モードでコンピュートを使用します。
Databricks Runtime 15.4 LTS以降 (パブリック プレビュー) では、シングル ユーザー アクセス モードでコンピュートを使用します。
Databricks Runtime 15.4 LTS以降では、シングル ユーザー コンピュートでのきめ細かいアクセス制御がサポートされています。 Databricks Runtime 15.4 LTS以降で提供されるデータ フィルタリングを利用するには、ワークスペースでサーバレス コンピュートが有効になっていることも確認する必要があります。これは、きめ細かいアクセス制御をサポートするデータ フィルタリング機能がサーバレス コンピュートで実行されるためです。 したがって、シングルユーザー コンピュートを使用してデータ フィルタリング操作を実行する場合、サーバレス コンピュート リソースに対して料金が発生する可能性があります。 「シングルユーザーコンピュートでのきめ細かいアクセス制御」を参照してください。
Unity Catalog シングル ユーザー アクセス モードのストリーミング テーブルとマテリアライズド ビューの制限
Databricks Runtime15.3 以前では、シングル ユーザー コンピュートを使用しDelta Live Tables て、ストリーミング テーブル や マテリアライズド ビュー など、 パイプラインによって作成されたテーブルをクエリすることはできません。
Delta Live Tables パイプラインによって作成されたテーブルをクエリするには、次のいずれかを実行します。
SQLウェアハウスを使用してください。
Databricks Runtime 13.3 LTS以降では、共有アクセス モードでコンピュートを使用します。
Databricks Runtime 15.4 LTS以降 (パブリック プレビュー) では、シングル ユーザー アクセス モードでコンピュートを使用します。
Databricks Runtime 15.4 LTS以降では、シングル ユーザー コンピュートでのDelta Live Tables で生成されたテーブルに対するクエリがサポートされています。 Databricks Runtime 15.4 LTS以降で提供されるデータ フィルターを利用するには、ワークスペースでサーバーレス コンピュートが有効になっていることも確認する必要があります。これは、 Delta Live Tables で生成されたテーブルをサポートするデータ フィルター機能がサーバーレス コンピュートで実行されるためです。 したがって、シングルユーザー コンピュートを使用してデータ フィルタリング操作を実行する場合、サーバレス コンピュート リソースに対して料金が発生する可能性があります。 「シングルユーザーコンピュートでのきめ細かいアクセス制御」を参照してください。
Unity Catalogの一般的な制限事項
次の制限は、Unity Catalog が有効なすべてのアクセス モードに適用されます。
UDF (UDF の場合)
Unity Catalog 対応クラスター上の UDF に対する Graviton インスタンスのサポートは、Databricks Runtime 15.2 以降で利用できます。 共有アクセス モードには、追加の制限があります。 Unity Catalog 共有アクセス モードの UDF の制限と要件を参照してください。
Unity Catalogのストリーミングの制限事項
Apache Spark の連続処理モードはサポートされていません。 『Spark構造化ストリーミング・プログラミング・ガイド』の 「連続処理 」を参照してください。
Unity Catalog シングルユーザー アクセス モードでのストリーミングの制限とUnity Catalog 共有アクセス モードでのストリーミングの制限と要件も参照してください。
Unity Catalog を使用したストリーミングの詳細については、「 構造化ストリーミングでの Unity Catalog の使用」を参照してください。