DBFSとは何ですか?
DBFS という用語は、プラットフォームの 2 つの部分を表すために使用されます。
- DBFSルート
- DBFS マウント
DBFSルート マウントまたは DBFS マウントを使用したデータの格納とアクセスは非推奨のパターンであり、Databricksでは推奨されません。ファイルの操作に関する推奨事項については、「 Databricks でのファイルの操作」を参照してください。
Databricks ファイルシステムとは?
DBFS という用語は Databricks File System から来ており、Databricks がクラウドベースのストレージとやり取りするために使用する分散ファイル システムを表します。
DBFS に関連する基盤となるテクノロジーは、引き続き Databricks プラットフォームの一部です。 たとえば、 dbfs:/ は Unity Catalog ボリュームを操作する際のオプションのスキームです。
DBFSに関する過去および現在の警告と警告は、DBFSルートマウントまたはDBFSマウントにのみ適用されます。
DBFS は Unity Catalog とどのように連携しますか?
Databricks では、Unity Catalog を使用してすべてのデータへのアクセスを管理することをお勧めします。
Unity Catalog は、外部ロケーション、ストレージ認証情報、ボリュームの概念を追加し、組織がクラウド オブジェクト ストレージ内のデータへの最小限の権限アクセスを提供できるようにします。
一部のセキュリティ構成では、主に Unity Catalog への移行を完了した組織や Unity Catalog に部分的に移行した組織に対して、Unity Catalog で管理されるリソースと DBFS に直接アクセスできます。 「DBFS と Unity Catalog のベスト プラクティス」を参照してください。
DBFSルートとは何ですか?
DBFSルート は、ワークスペースの作成時にストレージの場所のプロビジョニング クラウド上で ワークスペースを含む Databricks ワークスペースです。Databricks Filesystemルートの設定とデプロイの詳細については、「ワークスペースデプロイ用のS3バケットを作成する」を参照してください。
Databricks 、本番運用データ、ライブラリ、またはスクリプトを DBFSルートに保存することはお勧めしません。 DBFSルートの操作に関する推奨事項を参照してください。
オブジェクトストレージをマウントします
DBFS マウントは非推奨です。 Databricks では、Unity Catalog ボリュームの使用をお勧めします。 Unity Catalogボリュームとはを参照してください。
オブジェクト・ストレージをDBFSにマウントすると、オブジェクト・ストレージ内のオブジェクトに、ローカル・ファイル・システム上にあるかのようにアクセスできます。 マウントには、ストレージへのアクセスに必要な Hadoop 設定が格納されます。 詳しくは、Databricksへのクラウド・オブジェクト・ストレージのマウントを参照してください。