専用コンピュートの要件と制限事項
このページでは、専用コンピュートの要件と制限事項について概説します。 ほとんどの専用コンピュート制限は、時間の経過とともに機能サポートが追加されてきたため、ランタイムに依存します。
重要
initスクリプトとライブラリは、アクセスモードと Databricks Runtime バージョンによってサポートが異なります。 「initスクリプトはどこでインストールできますか?」 および コンピュートスコープのライブラリを参照してください。
グループに割り当てられた専用コンピュートには、追加の制限があります。 グループアクセスの制限を参照してください。
きめ細かなアクセス制御のサポート
きめ細かなアクセス制御は、特定の要件を持つ専用コンピュートでサポートされます。
-
サーバレス コンピュートのワークスペースを有効にする必要があります。
-
読み取り操作は、Databricks Runtime 15.4 LTS 以降でサポートされています。
-
書き込み操作は、Databricks Runtime 16.3 以降でサポートされています。「DDL、SHOW、DESCRIBE、およびその他のコマンドのサポート」を参照してください。
-
ワークスペースがファイアウォールで展開されている場合、または送信ネットワーク制限がある場合は、ポート 8443 ~ 8451 を開いて、専用コンピュートでのきめ細かいアクセス制御を有効にする必要があります。 「セキュリティ グループ」を参照してください。
専用コンピュートが Databricks Runtime 15.3 以下で実行されている場合:
- 行フィルターまたは列マスクを持つテーブルにはアクセスできません。
- ダイナミックビューにはアクセスできません。
- 任意のビューから読み取るには、ビューによって参照されるすべてのテーブルとビューに
SELECTが必要です。
専用コンピュートのストリーミングとマテリアライズドビューの要件
- 別のユーザーがLakeFlow Pipelinesを使用して作成したテーブル(ストリーミングテーブルやマテリアライズドビューを含む)をクエリーするには、ワークスペースでサーバレスコンピュートが有効になっており、専用コンピュートがDatabricks Runtime 15.4以降である必要があります。「スタンドアロンのストリーミングテーブルを使用する」および「スタンドアロンのマテリアライズドビューを使用する」を参照してください。
- 非同期チェックポイントは、Databricks Runtime 12.2 LTS 以降でサポートされています。
StreamingQueryListenerを使用して Unity Catalog によって管理されるオブジェクトと対話することは、Databricks Runtime 15.1 以降でサポートされています。- Python
foreachBatchはThreadPoolExecutorまたはマルチスレッド実行をサポートしていません。マルチスレッド実行ではエラーが発生しない場合もありますが、データの破損や結果の不整合を引き起こす可能性があります。
ユーザー定義関数
- Unity Catalog Python UDFは、専用コンピュートではサポートされていません。Unity Catalog Python UDFを実行するには、Serverlessコンピュート、標準アクセスモードコンピュート、ServerlessまたはPro SQL Warehouse、またはLakeFlow Pipelinesを使用します。Unity Catalog の SQL および Python ユーザー定義関数 (UDF)を参照してください。