Unity Catalogのコンピュート アクセス モードの制限事項
Databricks では、ほとんどのワークロードに Unity Catalog と共有アクセス モードを使用することをお勧めします。 この記事では、Unity Catalog の各アクセス モードの制限と要件について説明します。 アクセスモードの詳細については、「 アクセスモード」を参照してください。
Databricks 、ほとんどのユーザーにとって構成オプションを簡素化するために、コンピュート ポリシーの使用を推奨しています。 「コンピュートポリシーの作成と管理」を参照してください。
注:
分離なしの共有は、Unity Catalog をサポートしていないレガシ アクセス モードです。
重要
init スクリプトとライブラリは、アクセス モードと Databricks ランタイムのバージョンによってサポートが異なります。 「init スクリプトはどこにインストールできますか?」を参照してください。 およびクラスタースコープのライブラリ。
Unity Catalogでのシングル ユーザー アクセス モードの制限
Unity Catalog のシングル ユーザー アクセス モードには、次の制限があります。 これらは、すべての Unity Catalog アクセス モードの一般的な制限に追加されます。 「Unity Catalog の一般的な制限事項」を参照してください。
Unity Catalog のシングルユーザーアクセスモードのきめ細かなアクセス制御の制限
Databricks Runtime 15.3 以前では、シングル ユーザー コンピュートに対するきめ細かなアクセス制御はサポートされていません。具体的には:
行フィルターまたは列マスクを持つ表にはアクセスできません。
動的ビューにはアクセスできません。
任意のビューから読み取るには、ビューが参照するすべてのテーブルとビューに
SELECT
が必要です。
動的ビュー、基になるテーブルとビューに SELECT
がないビュー、および行フィルターまたは列マスクを持つテーブルに対してクエリを実行するには、次のいずれかを使用します。
SQLウェアハウス。
共有アクセスモードによるコンピュート。
Databricks Runtime 15.4 LTS 以上のシングル ユーザー アクセス モードを備えたコンピュート。
Databricks Runtime 15.4 LTS 以降では、シングル ユーザー コンピュートに対するきめ細かなアクセス制御がサポートされています。 Databricks Runtime 15.4 LTS 以降で提供されているデータフィルタリングを利用するには、ワークスペースでサーバレス コンピュートが有効になっていることを確認します。
サーバレス コンピュートは、データ・フィルタリングを処理します。これにより、基礎となるテーブルやビューに対するパーミッションを必要とせずにビューにアクセスできます。 サーバレス コンピュートはデータ フィルタリングを処理するため、シングル ユーザ コンピュートを使用してビューをクエリすると、サーバレス コンピュートの料金が発生する場合があります。 詳細については、「 シングル ユーザー コンピュートでのきめ細かなアクセス制御」を参照してください。
Unity Catalog シングル ユーザー アクセス モードのストリーミング テーブルとマテリアライズド ビューの制限
Databricks Runtime 15.3 以前では、Delta Live Tables パイプラインを使用して作成されたテーブル (ストリーミングテーブルやマテリアライズドビューなど) が他のユーザーによって所有されている場合、それらのテーブルをクエリするためにシングルユーザーコンピュートを使用できません。テーブルを作成するユーザーが所有者です。
Delta Live Tables によって作成され、他のユーザーが所有するストリーミング テーブルと具体化されたビューに対してクエリを実行するには、次のいずれかを使用します。
SQLウェアハウス。
Databricks Runtime 13.3 LTS以降の共有アクセス モードを使用したコンピュート。
Databricks Runtime 15.4 LTS 以上のシングル ユーザー アクセス モードを備えたコンピュート。
また、ワークスペースでサーバレス コンピュートが有効になっている必要があります。 詳細については、「 シングル ユーザー コンピュートでのきめ細かなアクセス制御」を参照してください。
Unity Catalogの一般的な制限事項
次の制限は、Unity Catalog が有効なすべてのアクセス モードに適用されます。
UDF (UDF の場合)
Unity Catalog 対応クラスター上の UDF に対する Graviton インスタンスのサポートは、Databricks Runtime 15.2 以降で利用できます。 共有アクセス モードには、追加の制限があります。 Unity Catalog 共有アクセス モードの UDF の制限と要件を参照してください。
Unity Catalogのストリーミングの制限事項
Apache Spark の連続処理モードはサポートされていません。 『Spark構造化ストリーミング・プログラミング・ガイド』の 「連続処理 」を参照してください。
Unity Catalog シングルユーザー アクセス モードでのストリーミングの制限とUnity Catalog 共有アクセス モードでのストリーミングの制限と要件も参照してください。
Unity Catalog を使用したストリーミングの詳細については、「 構造化ストリーミングでの Unity Catalog の使用」を参照してください。