メインコンテンツまでスキップ

DBFS CLI (レガシ)

important

このドキュメントは廃止されており、更新されない可能性があります。

この情報は、従来の Databricks CLI バージョン 0.18 以下に適用されます。 Databricks では、代わりに新しい Databricks CLI バージョン 0.205 以降を使用することをお勧めします。 「Databricks CLI とは」を参照してください。Databricks CLI のバージョンを確認するには、 databricks -vを実行します。

Databricks CLI バージョン 0.18 以前から Databricks CLI バージョン 0.205 以降に移行するには、「 Databricks CLI の移行」を参照してください。

Databricks DBFS CLI サブコマンドを実行し、サブコマンドを databricks fs (またはエイリアス dbfs) に追加し、すべての DBFS パスにプレフィックスを付けます dbfs:/。 これらのサブコマンドは、 DBFS API を呼び出します。

Bash
databricks fs -h
Usage: databricks fs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with DBFS. DBFS paths are all prefixed
  with dbfs:/. Local paths can be absolute or local.

Options:
  -v, --version
  -h, --help     Show this message and exit.

Commands:
  cat        Shows the contents of a file. Does not work for directories.
  configure
  cp         Copies files to and from DBFS.
    Options:
      -r, --recursive
      --overwrite     Overwrites files that exist already.
  ls         Lists files in DBFS.
    Options:
      --absolute      Displays absolute paths.
      -l              Displays full information including size and file type.
  mkdirs     Makes directories in DBFS.
  mv         Moves a file between two DBFS paths.
  rm         Removes files from DBFS.
    Options:
      -r, --recursive

10k を超えるファイルを一覧表示、移動、または削除する操作では、DBFS CLI を使用しないことを強くお勧めします。

  • list操作(databricks fs ls)は約60秒後にタイムアウトします。
  • move操作 (databricks fs mv) は約 60 秒後にタイムアウトし、データが部分的に移動される可能性があります。
  • delete操作 (databricks fs rm) は、ファイルのバッチを段階的に削除します。

このような操作は、クラスターのコンテキストで File system ユーティリティ (dbutils.fs) を使用して実行することをお勧めします。 dbutils.fs DBFS REST API の機能スコープをカバーしていますが、ノートブックからカバーしています。 ノートブックを使用してこのような操作を実行すると、選択的な削除、管理性、定期的なジョブの自動化など、より優れた制御が可能になります。

ファイルの内容を一覧表示する​

使用方法のドキュメントを表示するには、 databricks fs cat --helpを実行します。

Bash
databricks fs cat dbfs:/tmp/my-file.txt
Console
Apache Spark is awesome!

ファイルのコピー​

使用方法のドキュメントを表示するには、 databricks fs cp --helpを実行します。

Bash
databricks fs cp dbfs:/tmp/your_file.txt dbfs:/parent/child/grandchild/my_file.txt --overwrite

成功すると、このコマンドは何も表示されません。

ファイルとディレクトリに関する情報を一覧表示する​

使用方法のドキュメントを表示するには、 databricks fs ls --helpを実行します。

Bash
databricks fs ls dbfs:/tmp --absolute -l
Console
file  42408084  dbfs:/tmp/LoanStats.csv    1590005159000
file        40  dbfs:/tmp/file_b.txt       1603991038000
dir          0  dbfs:/tmp/hive                         0
dir          0  dbfs:/tmp/mlflow                       0
file       385  dbfs:/tmp/multi-line.json  1597770632000
dir          0  dbfs:/tmp/new                          0
dir          0  dbfs:/tmp/parent                       0
file       243  dbfs:/tmp/test.json        1597770628000
file        40  dbfs:/tmp/test_dbfs.txt    1603989162000

ディレクトリを作成する​

使用方法のドキュメントを表示するには、 databricks fs mkdirs --helpを実行します。

Bash
databricks fs mkdirs dbfs:/tmp/new-dir

成功すると、このコマンドは何も表示されません。

ファイルを移動する​

使用方法のドキュメントを表示するには、 databricks fs mv --helpを実行します。

Bash
databricks fs mv dbfs:/tmp/my-file.txt dbfs:/parent/child/grandchild/my-file.txt

成功すると、このコマンドは何も表示されません。

ファイルを削除する​

使用方法のドキュメントを表示するには、 databricks fs rm --helpを実行します。

Bash
databricks fs rm dbfs:/tmp/parent/child/grandchild/my-file.txt
Console
Delete finished successfully.
に最終更新