Databricks でのファイルの操作

Databricks には、次の場所にあるファイルを操作するための複数のユーティリティと APIs があります。

Unity Catalog ボリューム
ワークスペースファイル
クラウドオブジェクトストレージ
DBFS マウントと DBFSルート
クラスターのドライバーノードにアタッチされたエフェメラルストレージ

この記事では、次のツールでこれらの場所にあるファイルを操作する例を示します。

Apache Spark
Spark SQL と Databricks SQL
Databricks ファイルシステムユーティリティ (dbutils.fs または %fs)
Databricks CLI
Databricks REST API
Bash シェルコマンド (%sh)
ノートブックスコープのライブラリは、 %pip
pandas
OSS Python ファイル管理および処理ユーティリティ

important

FUSE データ・アクセスを必要とするファイル操作では、URI を使用してクラウド・オブジェクト・ストレージに直接アクセスすることはできません。 Databricks では、 Unity Catalog ボリュームを使用して FUSE のこれらの場所へのアクセスを設定することをお勧めします。

Scala は、Unity Catalog および専用アクセスモード (以前の共有アクセスモード) で構成されたコンピュート上の Unity Catalog ボリュームとワークスペースファイルの FUSE をサポートします。専用アクセス・モード (旧シングル・ユーザー・アクセス・モード) およびDatabricks Runtime 14.3 以降で構成されたコンピュートでは、Scala Unity CatalogScalaはから発生するサブプロセス (Scala コマンドなど) を除き、ボリュームおよびワークスペース・ファイルの FUSE"cat /Volumes/path/to/file".!! をサポートします。

Spark およびその他の JVM プロセスは、Unity Catalog をサポートするリーダーとライターを使用してのみ、Unity Catalog ボリュームまたはワークスペースファイルにアクセスできます。たとえば、JAR SparkPySpark構成でファイルを依存関係として指定したり、カスタムデータソース使用することはできません。ボリュームまたはワークスペースファイル内のファイルにアクセスする必要があるライブラリからの JVM ワークロードがある場合は、 Python コマンドや %sh mv. などのシェルコマンドを使用して、ファイルをコンピュートローカルストレージにコピーします。 JVM を使用する %fs や dbutils.fs は使用しないでください。クラスターの開始中にファイルが存在する必要がある場合は、最初にinitスクリプトを使用してファイルを移動します。「initスクリプトとは」を参照してください。

データにアクセスするためにURIスキームを提供する必要がありますか?

Databricks のデータアクセスパスは、次のいずれかの標準に従います。

URI スタイルのパス には、URI スキームが含まれます。 Databricks ネイティブのデータアクセスソリューションの場合、URI スキームはほとんどのユースケースで省略可能です。クラウド・オブジェクト・ストレージ内のデータに直接アクセスする場合は、ストレージ・タイプに適した URI スキームを指定する必要があります。
POSIX スタイルのパス は、ドライバーのルート (/) を基準にしたデータアクセスを提供します。 POSIX スタイルのパスはスキームを必要としません。 Unity Catalog ボリュームまたは DBFS マウントを使用して、クラウドオブジェクトストレージ内のデータへの POSIX スタイルのアクセスを提供できます。多くの ML フレームワークやその他の OSS Python モジュールには FUSE が必要であり、POSIX スタイルのパスのみを使用できます。

Unity Catalog ボリューム内のファイルを操作する

Databricks では、Unity Catalog ボリュームを使用して、クラウドオブジェクトストレージに格納されている表形式以外のデータファイルへのアクセスを構成することをお勧めします。 Unity Catalogボリュームとはを参照してください。

ツール	例
Apache Spark	`spark.read.format("json").load("/Volumes/my_catalog/my_schema/my_volume/data.json").show()`
Spark SQL と Databricks SQL	SELECT * FROM csv.`/Volumes/my_catalog/my_schema/my_volume/data.csv`; `LIST '/Volumes/my_catalog/my_schema/my_volume/';`
Databricks ファイルシステムユーティリティ	`dbutils.fs.ls("/Volumes/my_catalog/my_schema/my_volume/")` `%fs ls /Volumes/my_catalog/my_schema/my_volume/`
Databricks CLI	`databricks fs cp /path/to/local/file dbfs:/Volumes/my_catalog/my_schema/my_volume/`
Databricks REST API	`POST https://<databricks-instance>/api/2.1/jobs/create` `{"name": "A multitask job", "tasks": [{..."libraries": [{"jar": "/Volumes/dev/environment/libraries/logging/Logging.jar"}],},...]}`
Bash シェルコマンド	`%sh curl http://<address>/text.zip -o /Volumes/my_catalog/my_schema/my_volume/tmp/text.zip`
ライブラリのインストール	`%pip install /Volumes/my_catalog/my_schema/my_volume/my_library.whl`
Pandas	`df = pd.read_csv('/Volumes/my_catalog/my_schema/my_volume/data.csv')`
OSSのPythonの	`os.listdir('/Volumes/my_catalog/my_schema/my_volume/path/to/directory')`

注記

Databricks CLI を使用する場合は、 dbfs:/ スキームが必要です。

ボリュームの制限

ボリュームには次の制限があります。

直接追加または非シーケンシャル (ランダム) 書き込み (Zip ファイルや Excel ファイルの書き込みなど) はサポートされていません。直接追加またはランダム書き込みワークロードの場合は、最初にローカルディスクで操作を実行してから、結果を Unity Catalog ボリュームにコピーします。例えば：
Python
```
# python
import xlsxwriter
from shutil import copyfile

workbook = xlsxwriter.Workbook('/local_disk0/tmp/excel.xlsx')
worksheet = workbook.add_worksheet()
worksheet.write(0, 0, "Key")
worksheet.write(0, 1, "Value")
workbook.close()

copyfile('/local_disk0/tmp/excel.xlsx', '/Volumes/my_catalog/my_schema/my_volume/excel.xlsx')
```

スパースファイルはサポートされていません。スパースファイルをコピーするには、 cp --sparse=neverを使用します。

Bash
$ cp sparse.file /Volumes/my_catalog/my_schema/my_volume/sparse.file
error writing '/dbfs/sparse.file': Operation not supported
$ cp --sparse=never sparse.file /Volumes/my_catalog/my_schema/my_volume/sparse.file

ワークスペースファイルの操作

Databricks ワークスペースファイルは、ワークスペース内のファイルであり、ワークスペースストレージアカウントに格納されます。ワークスペースファイルを使用して、ノートブック、ソースコードファイル、データファイル、その他のワークスペース資産などのファイルを格納したり、アクセスしたりできます。ワークスペースファイルにはサイズ制限があるため、Databricks では、主に開発とテストのために小さなデータファイルのみをここに格納することをお勧めします。

ツール	例
Apache Spark	`spark.read.format("json").load("file:/Workspace/Users/<user-folder>/data.json").show()`
Spark SQL と Databricks SQL	SELECT * FROM json.`file:/Workspace/Users/<user-folder>/file.json`;
Databricks ファイルシステムユーティリティ	`dbutils.fs.ls("file:/Workspace/Users/<user-folder>/")` `%fs ls file:/Workspace/Users/<user-folder>/`
Databricks CLI	`databricks workspace list`
Databricks REST API	`POST https://<databricks-instance>/api/2.0/workspace/delete` `{"path": "/Workspace/Shared/code.py", "recursive": "false"}`
Bash シェルコマンド	`%sh curl http://<address>/text.zip -o /Workspace/Users/<user-folder>/text.zip`
ライブラリのインストール	`%pip install /Workspace/Users/<user-folder>/my_library.whl`
Pandas	`df = pd.read_csv('/Workspace/Users/<user-folder>/data.csv')`
OSSのPythonの	`os.listdir('/Workspace/Users/<user-folder>/path/to/directory')`

注記

file:/ スキーマは、 Databricks ユーティリティ、 Apache Spark、または SQLを使用する場合に必要です。

ワークスペースファイルの操作に関する制限事項については、制限事項を参照してください。

削除されたワークスペースファイルはどこに行きますか?

ワークスペースファイルを削除すると、そのファイルはごみ箱に送られます。 UI を使用して、ごみ箱からファイルを回復または完全に削除できます。

オブジェクトの削除を参照してください。

クラウドオブジェクトストレージ内のファイルの操作

Databricks では、Unity Catalog ボリュームを使用して、クラウドオブジェクトストレージ内のファイルへの安全なアクセスを構成することをお勧めします。 URI を使用してクラウド・オブジェクト・ストレージ内のデータに直接アクセスすることを選択した場合は、権限を構成する必要があります。外部ロケーション、外部テーブル、および外部ボリュームの管理を参照してください。

次の例では、URI を使用してクラウド・オブジェクト・ストレージ内のデータにアクセスします。

ツール	例
Apache Spark	`spark.read.format("json").load("s3://<bucket>/path/file.json").show()`
Spark SQL と Databricks SQL	SELECT * FROM csv.`s3://<bucket>/path/file.json`; `LIST 's3://<bucket>/path';`
Databricks ファイルシステムユーティリティ	`dbutils.fs.ls("s3://<bucket>/path/")` `%fs ls s3://<bucket>/path/`
Databricks CLI	サポートされていない
Databricks REST API	サポートされていない
Bash シェルコマンド	サポートされていない
ライブラリのインストール	`%pip install s3://bucket-name/path/to/library.whl`
Pandas	サポートされていない
OSSのPythonの	サポートされていない

注記

クラウドオブジェクトストレージは、クライアント側の暗号化が有効になっているAmazon S3マウントをサポートしていません。

DBFSマウントとDBFSルートでファイルを操作する

DBFS マウントは Unity Catalog を使用してセキュリティ保護できず、Databricks では推奨されなくなりました。 DBFSルートに格納されたデータには、ワークスペース内のすべてのユーザーがアクセスできます。Databricks 、機密性の高いコードや本番運用コード、データを DBFSルートに保存しないことをお勧めします。 DBFS とはを参照してください。

ツール	例
Apache Spark	`spark.read.format("json").load("/mnt/path/to/data.json").show()`
Spark SQL と Databricks SQL	SELECT * FROM json.`/mnt/path/to/data.json`;
Databricks ファイルシステムユーティリティ	`dbutils.fs.ls("/mnt/path")` `%fs ls /mnt/path`
Databricks CLI	`databricks fs cp dbfs:/mnt/path/to/remote/file /path/to/local/file`
Databricks REST API	`POST https://<host>/api/2.0/dbfs/delete --data '{ "path": "/tmp/HelloWorld.txt" }'`
Bash シェルコマンド	`%sh curl http://<address>/text.zip > /dbfs/mnt/tmp/text.zip`
ライブラリのインストール	`%pip install /dbfs/mnt/path/to/my_library.whl`
Pandas	`df = pd.read_csv('/dbfs/mnt/path/to/data.csv')`
OSSのPythonの	`os.listdir('/dbfs/mnt/path/to/directory')`

注記

Databricks CLI を使用する場合は、 dbfs:/ スキームが必要です。

ドライバーノードにアタッチされたエフェメラルストレージ内のファイルの操作

ドライバーノードにアタッチされたエフェメラルストレージは、組み込みPOSIXベースのパスアクセスを備えたブロックストレージです。この場所に格納されているデータは、クラスターが終了または再起動すると消えます。

ツール	例
Apache Spark	サポートされていない
Spark SQL と Databricks SQL	サポートされていない
Databricks ファイルシステムユーティリティ	`dbutils.fs.ls("file:/path")` `%fs ls file:/path`
Databricks CLI	サポートされていない
Databricks REST API	サポートされていない
Bash シェルコマンド	`%sh curl http://<address>/text.zip > /tmp/text.zip`
ライブラリのインストール	サポートされていない
Pandas	`df = pd.read_csv('/path/to/data.csv')`
OSSのPythonの	`os.listdir('/path/to/directory')`

注記

Databricks ユーティリティを使用する場合は、 file:/ スキーマが必要です。

エフェメラルストレージからボリュームへのデータの移動

Apache Spark を使用して、一時ストレージにダウンロードまたは保存されたデータにアクセスすることができます。エフェメラルストレージはドライバーにアタッチされ、Spark は分散処理エンジンであるため、すべての操作がここでデータに直接アクセスできるわけではありません。ドライバーファイルシステムから Unity Catalog ボリュームにデータを移動する必要があるとします。その場合は、次の例のように、マジックコマンドまたは Databricks ユーティリティを使用してファイルをコピーできます。

Python
dbutils.fs.cp ("file:/<path>", "/Volumes/<catalog>/<schema>/<volume>/<path>")

Bash
%sh cp /<path> /Volumes/<catalog>/<schema>/<volume>/<path>

Bash
%fs cp file:/<path> /Volumes/<catalog>/<schema>/<volume>/<path>

追加のリソース

ローカルファイルのアップロードまたはインターネットファイルの Databricksへのダウンロードに関する情報については、「Databricksへのファイルのアップロード」を参照してください。

データにアクセスするためにURIスキームを提供する必要がありますか?​

Unity Catalog ボリューム内のファイルを操作する​

ボリュームの制限​

ワークスペース ファイルの操作​

削除されたワークスペース ファイルはどこに行きますか?​

クラウドオブジェクトストレージ内のファイルの操作​

DBFSマウントとDBFSルートでファイルを操作する​

ドライバーノードにアタッチされたエフェメラルストレージ内のファイルの操作​

エフェメラルストレージからボリュームへのデータの移動​

追加のリソース​