Aller au contenu principal
Dernière mise à jour le

DBFS CLI (hérité)

important

Cette documentation a été retirée et pourrait ne pas être mise à jour.

Ces informations s'appliquent aux anciennes versions de la CLI Databricks 0.18 et antérieures. Databricks vous recommande d'utiliser plutôt la version 0.205 ou ultérieure de Databricks CLI. Voir CLI Databricks. Pour trouver votre version de la CLI Databricks, exécutez databricks -v.

Pour migrer de Databricks CLI version 0.18 ou inférieure vers Databricks CLI version 0.205 ou supérieure, consultez la migration de Databricks CLI.

Vous exécutez les sous-commandes Databricks DBFS CLI en les ajoutant à databricks fs (ou l'alias dbfs), en faisant précéder tous les chemins DBFS de dbfs:/. Ces sous-commandes appellent l' API DBFS.

Bash
databricks fs -h
Usage: databricks fs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with DBFS. DBFS paths are all prefixed
  with dbfs:/. Local paths can be absolute or local.

Options:
  -v, --version
  -h, --help     Show this message and exit.

Commands:
  cat        Shows the contents of a file. Does not work for directories.
  configure
  cp         Copies files to and from DBFS.
    Options:
      -r, --recursive
      --overwrite     Overwrites files that exist already.
  ls         Lists files in DBFS.
    Options:
      --absolute      Displays absolute paths.
      -l              Displays full information including size and file type.
  mkdirs     Makes directories in DBFS.
  mv         Moves a file between two DBFS paths.
  rm         Removes files from DBFS.
    Options:
      -r, --recursive

Pour les Opérations qui listent, déplacent ou suppriment plus de 10k fichiers, nous déconseillons fortement d'utiliser le CLI DBFS.

  • L'opération list (databricks fs ls) arrivera à expiration après environ 60 s.
  • L'opération move (databricks fs mv) expirera après environ 60 s, ce qui pourrait entraîner des données partiellement déplacées.
  • L'delete opération (databricks fs rm) supprimera progressivement des batch de fichiers.

Nous vous recommandons d'effectuer ces opérations dans le contexte d'un cluster, en utilisant l'utilitaire de système de fichiers (dbutils.fs). dbutils.fs couvre la portée fonctionnelle de l'API REST DBFS, mais à partir des notebooks. L’exécution de ces opérations à l’aide de notebooks offre un meilleur contrôle, tel que des suppressions sélectives, une meilleure gérabilité et la possibilité d’automatiser les jobs périodiques.

Lister le contenu d’un fichier​

Pour afficher la documentation d'utilisation, exécutez databricks fs cat --help.

Bash
databricks fs cat dbfs:/tmp/my-file.txt
Console
Apache Spark is awesome!

Copier un fichier​

Pour afficher la documentation d'utilisation, exécutez databricks fs cp --help.

Bash
databricks fs cp dbfs:/tmp/your_file.txt dbfs:/parent/child/grandchild/my_file.txt --overwrite

En cas de succès, cette commande n'affiche rien.

Lister des informations sur les fichiers et les répertoires​

Pour afficher la documentation d'utilisation, exécutez databricks fs ls --help.

Bash
databricks fs ls dbfs:/tmp --absolute -l
Console
file  42408084  dbfs:/tmp/LoanStats.csv    1590005159000
file        40  dbfs:/tmp/file_b.txt       1603991038000
dir          0  dbfs:/tmp/hive                         0
dir          0  dbfs:/tmp/mlflow                       0
file       385  dbfs:/tmp/multi-line.json  1597770632000
dir          0  dbfs:/tmp/new                          0
dir          0  dbfs:/tmp/parent                       0
file       243  dbfs:/tmp/test.json        1597770628000
file        40  dbfs:/tmp/test_dbfs.txt    1603989162000

Créer un répertoire​

Pour afficher la documentation d'utilisation, exécutez databricks fs mkdirs --help.

Bash
databricks fs mkdirs dbfs:/tmp/new-dir

En cas de succès, cette commande n'affiche rien.

Déplacer un fichier​

Pour afficher la documentation d'utilisation, exécutez databricks fs mv --help.

Bash
databricks fs mv dbfs:/tmp/my-file.txt dbfs:/parent/child/grandchild/my-file.txt

En cas de succès, cette commande n'affiche rien.

Supprimer un fichier​

Pour afficher la documentation d'utilisation, exécutez databricks fs rm --help.

Bash
databricks fs rm dbfs:/tmp/parent/child/grandchild/my-file.txt
Console
Delete finished successfully.
Sur cette page