既存のDatabricksワークスペースでDBFSルートとマウントへのアクセスを無効にする
プレビュー
この機能は パブリック プレビュー段階です。
このページでは、既存のDatabricksワークスペースでレガシー Databricks Filesystem (DBFSルートとマウントへのアクセスを無効にする方法について説明します。新しいワークスペースのアカウント レベルで DBFSルートとマウントを無効にするには、[ レガシー機能を無効にする] アカウント設定を使用します。
ファイルベースのワークフローを Unity Catalog ボリューム、外部ロケーション、またはワークスペース ファイルに移行した後、ユーザーが DBFSルート マウントと DBFS マウント内のデータをアップロード、変更、またはアクセスできないようにすることができます。 DBFSルートとマウントを無効にすると、 Unity Catalogによって管理されていない共有ストレージへのアクセスが削除され、セキュリティ体制が強化されます。
DBFSルートとマウントとは何ですか?
DBFS は、 dbfs:
URI スキームでアクセスでき、クラウドベースのストレージとの対話に使用される Databricks ワークスペース内の分散ファイル システムです。dbfs:
URI スキームは、ワークスペース内のストレージのいくつかの領域にアクセスするために使用されます。
- DBFSルート : ファイルシステムのルートのすぐ下からアクセスできる領域 (たとえば、
dbfs:/
と入力した場合など)すべてのワークスペース ユーザーは、以下の予約済みプレフィックスのいずれかのコンテンツを除き、 DBFSルートで直接作成されたコンテンツにアクセスできますが、それぞれに特別な条件が適用されます。 DBFSルートとはを参照してください。 - DBFS マウント : 外部クラウドストレージアクセスを定義するための従来のアプローチで、
dbfs:/mnt/<mount_name>
でアクセスできます。オブジェクト・ストレージのマウントを参照してください。 - 予約済み Databricks プレフィックス : Unity Catalog ボリュームと、
dbfs:/databricks-datasets/
や MLflow アセット パスなどのその他の Databricks システム パスで使用されるプレフィックス。たとえば、dbfs:/Volumes/
です。
すべてのパスには、POSIX スタイルのパスを使用してアクセスすることもできます。データにアクセスするには URI スキームを指定する必要がありますか?を参照してください。
DBFSルートやマウントなどを含むDBFSの詳細については、DBFSとは何ですか?をご覧ください。
無効化とは何ですか?
DBFSルートとマウントを無効にした後:
-
既存のワークスペースのDBFSルートとマウントへのすべてのアクセスは無効になり、すべてのインターフェイス (UI、 API、 CLI、FUSE) でブロックされます。
-
ルートとマウント DBFSからファイルの読み取りまたは書き込みを試みると、エラーで失敗します。 たとえば、エラー メッセージ パブリックDBFSルートは無効です といったエラーになります。
-
DBFS ブラウザと DBFS にアップロード オプションは、UI からアクセスできなくなります。DBFSルートとマウントを参照するジョブ、ノートブック、またはスクリプトは、設定を元に戻さない限り失敗します。
-
DBFS オプションは、次のような一般的な機能からアクセスできなくなります。
- クラスターライブラリ
- クラスター ログ配信
- MLflow トラッキング/モデルレジストリ (非UC)
- AutoML エクスペリメント
- DLT パイプライン
-
/files
を使用した静的ノートブック ファイルの埋め込みは、500 エラーで失敗します。ノートブックに静的な画像を埋め込むを参照してください。 -
マウント/アンマウント操作がブロックされます。
-
FileStore 操作がブロックされます。
-
ワークスペースでDBFSルートとマウントを無効にすると、13.3 LTSより前のバージョンDatabricks Runtimeも無効になります。
影響を受けないものは何ですか?
dbfs:
URI スキームは Databricksの中心であり、ルートとDBFSマウントDBFS無効にしても、dbfs:
URI 自体は無効になりません。以下は引き続き期待どおりに機能します。
- Unity Catalog ボリューム : ボリュームは、
dbfs:/Volumes
プレフィックスと POSIX スタイルの/Volumes
パスを使用して引き続きアクセスできます。詳細については、「データにアクセスするには URI スキームを提供する必要がありますか?」および「Unity Catalog ボリュームとは」を参照してください。DBFSルート外部ロケーションへの接続(レガシ)を参照してください。 - システム パス : 読み取り専用データは、
dbfs:/databricks-datasets/
と他の Databricks システム パス (MLflow リソース パスなど) を使用して引き続きアクセスできます。 - 内部ワークスペース システム データ : これには、ノートブックのリビジョン、ジョブ実行の詳細、コマンド結果、Spark ログなど、Databricks によって自動的に生成されるコンテンツが含まれます。「 ワークスペースストレージバケット」を参照してください。
ルートとマウント DBFSの既存のデータは削除されません。 DBFSルートとマウントをワークスペースレベルの ルートとマウントDBFS無効にする設定を使用して再度有効にすると、データに再びアクセスできるようになります。
アクセス可能なままで、 DBFSルートとマウントの無効化の影響を受けないパスの例をいくつか示します。
カテゴリー | パス | 説明 |
---|---|---|
Unity Catalog ボリューム |
| UC ボリューム用に予約されており、UC 固有の API を介してのみアクセスでき、UC ガバナンスルールの対象となります。 詳細については、 ボリューム内のファイルへのアクセスに使用されるパスを参照してください。 |
システムパス |
| ワークスペース システム データ内の Databricksの内部APIによって書き込まれたコンテンツを指す読み取り専用パス。 |
システムパス |
| Databricks ワークスペースによってデフォルトマウントされたデータセットの読み取り専用コレクション。 DBFS マウントされた Databricks データセットを参照するを参照してください。 |
dbfs:
プレフィックス (URI スキーム) はオプションであり、ほとんどの場合省略できます。データにアクセスするには URI スキームを指定する必要がありますか?を参照してください。
DBFSルートとマウントを無効にできるのはいつですか?
DBFS はいつでも無効にできます。ただし、既存のワークフローが依然としてそれに依存している場合は、中断する可能性があります。Databricksでは重要でない環境でのDBFSルートとマウントを無効にすることをお勧めします。
- DBFSルートまたはマウントに依存するすべてのワークフローをUnity Catalogボリューム、外部ロケーション、またはワークスペース ファイルに移行を完了しました。
- すべてのジョブとクラスタリングを Databricks Runtime 13.3 LTS 以降にアップグレードしました。
続行する前に、 オブザーバビリティスクリプト を使用して、残っているDBFSのルートとマウントの使用状況をスキャンできます。
DBFSルートとマウントの無効化
DBFSルートとマウントを無効にする 設定がない場合、アカウント管理者は、アカウント コンソールの プレビュー で Unity Catalog: レガシー機能を無効にする 設定をオンにする必要があります。
ルート DBFSとマウントは、既存のワークスペースと新しいワークスペースの両方で無効にすることができます。
ワークスペース管理者として、次の手順に従って、ルートとマウント DBFS無効にします。
-
Databricksワークスペースにログインします。
-
右上隅にあるユーザー プロファイル アイコンをクリックし、 設定 を選択します。
-
ワークスペース管理に移動し、 セキュリティ をクリックします。
-
DBFSルートとマウントの無効化 を 無効: ルートとマウントDBFS使用できません に設定します。
-
設定が有効になるまで最大 20 分待ちます。
-
すべての稼働中のクラスターを再起動します。
- 伝播遅延 : ルートとマウントの無効化 DBFSが完全に伝播されるまでに最大 20 分かかる場合があります。
- クラスターの再起動 : 実行中の汎用コンピュートと SQLウェアハウスは 手動 で再起動する必要があり、変更を有効にするには 20 分の伝播時間後に行う必要があります。 再起動しない場合、そのようなクラスタリングは引き続き DBFSルートとマウントにアクセスできます。
長期間稼働している汎用コンピュートを特定して再起動する例については、 ノートブックの例: 長い実行コンピュートの検索 を参照してください。