Travailler avec des fichiers sur Databricks

Databricks dispose de plusieurs utilitaires et APIs pour interagir avec des fichiers aux emplacements suivants :

• Volumes du Unity Catalog
• Fichiers du workspace
• Stockage d'objets cloud
• Montages et racine DBFS
• Stockage éphémère attaché au nœud Driver du cluster

Cet article contient des exemples d'interaction avec des fichiers à ces emplacements pour les outils suivants :

• Apache Spark
• Spark SQL et Databricks SQL
• Utilitaires du système de fichiers Databricks (dbutils.fs ou %fs)
• Databricks CLI
• API REST Databricks
• Commandes Bash Shell (%sh)
• Installations de bibliothèques limitées au Notebook en utilisant %pip
• Pandas
• Utilitaires OSS de gestion et de traitement des fichiers Python

important

Certaines opérations dans Databricks, en particulier celles qui utilisent des bibliothèques Java ou Scala, s'exécutent en tant que processus JVM, par exemple :

• Spécification d'une dépendance de fichier JAR à l'aide de --jars dans les configurations Spark
• Appel de cat ou java.io.File dans les Notebooks Scala
• Sources de données personnalisées, telles que spark.read.format("com.mycompany.datasource")
• Bibliothèques qui chargent des fichiers à l'aide de FileInputStream de Java ou Paths.get()

Ces opérations ne prennent pas en charge la lecture ou l'écriture vers des volumes Unity Catalog ou des fichiers de workspace en utilisant des chemins de fichiers standards, tels que /Volumes/my-catalog/my-schema/my-volume/my-file.csv. Si vous devez accéder aux fichiers de volume ou aux fichiers de workspace à partir de dépendances JAR ou de bibliothèques basées sur JVM, copiez d'abord les fichiers dans le stockage local du compute à l'aide de commandes Python ou %sh, telles que %sh mv.. N'utilisez pas %fs et dbutils.fs qui utilisent la JVM. Pour accéder aux fichiers déjà copiés localement, utilisez des commandes spécifiques au langage telles que Python shutil ou utilisez les commandes %sh. Si un fichier doit être présent lors du start du cluster, utilisez un script d'initialisation pour déplacer le fichier en premier. Consultez Que sont les scripts d'initialisation ?.

Dois-je fournir un schéma URI pour accéder aux données ?

Les chemins d'accès aux données dans Databricks suivent l'une des normes suivantes :

• Les chemins de style URI incluent un schéma URI. Pour les solutions d'accès aux données natives à Databricks, les schémas URI sont facultatifs pour la plupart des cas d'usage. Lorsque vous accédez directement aux données dans le stockage d'objets cloud, vous devez fournir le schéma URI correct pour le type de stockage.

  

• Les chemins de style POSIX fournissent un accès aux données par rapport à la racine du Driver (/). Les chemins de style POSIX ne nécessitent jamais de schéma. Vous pouvez utiliser les volumes Unity Catalog ou les montages DBFS pour fournir un accès de style POSIX aux données dans le stockage d'objets cloud. De nombreux frameworks ML et d'autres modules Python OSS nécessitent FUSE et ne peuvent utiliser que des chemins de style POSIX.

  

remarque

Les Opérations de fichiers nécessitant un accès aux données FUSE ne peuvent pas accéder directement au stockage d'objets cloud à l'aide d'URI. Databricks recommande d'utiliser les volumes Unity Catalog pour configurer l'accès à ces emplacements pour FUSE.

Sur le compute configuré avec le mode d’accès dédié (anciennement le mode d’accès mono-utilisateur) et Databricks Runtime 14.3 et versions ultérieures, Scala prend en charge FUSE pour les volumes Unity Catalog et les fichiers Workspace, à l’exception des sous-processus provenant de Scala, comme la commande Scala "cat /Volumes/path/to/file".!!.

Travailler avec des fichiers dans les volumes Unity Catalog

Databricks recommande d'utiliser les volumes Unity Catalog pour configurer l'accès aux fichiers de données non tabulaires stockés dans le stockage d'objets cloud. Pour une documentation complète sur la gestion des fichiers dans les volumes, y compris des instructions détaillées et les meilleures pratiques, consultez Travailler avec les fichiers dans les volumes Unity Catalog.

Les exemples suivants présentent des opérations courantes utilisant différents outils et interfaces :

Outil	Exemple
Apache Spark	spark.read.format("json").load("/Volumes/my_catalog/my_schema/my_volume/data.json").show()
Spark SQL et Databricks SQL	SELECT * FROM csv.`/Volumes/my_catalog/my_schema/my_volume/data.csv`; LIST '/Volumes/my_catalog/my_schema/my_volume/';
Utilitaires du système de fichiers Databricks	dbutils.fs.ls("/Volumes/my_catalog/my_schema/my_volume/") %fs ls /Volumes/my_catalog/my_schema/my_volume/
Databricks CLI	databricks fs cp /path/to/local/file dbfs:/Volumes/my_catalog/my_schema/my_volume/
API REST Databricks	POST https://<databricks-instance>/api/2.1/jobs/create {"name": "A multitask job", "tasks": [{..."libraries": [{"jar": "/Volumes/dev/environment/libraries/logging/Logging.jar"}],},...]}
Commandes Shell Bash	%sh curl http://<address>/text.zip -o /Volumes/my_catalog/my_schema/my_volume/tmp/text.zip
Installations de bibliothèques	%pip install /Volumes/my_catalog/my_schema/my_volume/my_library.whl
Pandas	df = pd.read_csv('/Volumes/my_catalog/my_schema/my_volume/data.csv')
Python OSS	os.listdir('/Volumes/my_catalog/my_schema/my_volume/path/to/directory')

Outil	Exemple
Apache Spark	spark.read.format("json").load("/Volumes/my_catalog/my_schema/my_volume/data.json").show()
Spark SQL et Databricks SQL	SELECT * FROM csv.`/Volumes/my_catalog/my_schema/my_volume/data.csv`; LIST '/Volumes/my_catalog/my_schema/my_volume/';
Utilitaires du système de fichiers Databricks	dbutils.fs.ls("/Volumes/my_catalog/my_schema/my_volume/") %fs ls /Volumes/my_catalog/my_schema/my_volume/
Databricks CLI	databricks fs cp /path/to/local/file dbfs:/Volumes/my_catalog/my_schema/my_volume/
API REST Databricks	POST https://<databricks-instance>/api/2.1/jobs/create {"name": "A multitask job", "tasks": [{..."libraries": [{"jar": "/Volumes/dev/environment/libraries/logging/Logging.jar"}],},...]}
Commandes Shell Bash	%sh curl http://<address>/text.zip -o /Volumes/my_catalog/my_schema/my_volume/tmp/text.zip
Installations de bibliothèques	%pip install /Volumes/my_catalog/my_schema/my_volume/my_library.whl
Pandas	df = pd.read_csv('/Volumes/my_catalog/my_schema/my_volume/data.csv')
Python OSS	os.listdir('/Volumes/my_catalog/my_schema/my_volume/path/to/directory')

Pour information sur les limitations des volumes et les solutions de contournement, consultez Limitations du travail avec les fichiers dans les volumes.

Travaillez avec les fichiers Workspace

Les fichiers Workspace Databricks sont les fichiers d'un workspace, stockés dans le compte de stockage du workspace. Vous pouvez utiliser les fichiers du workspace pour stocker et accéder aux fichiers tels que les notebooks, les fichiers de code source, les fichiers de données et d'autres assets du workspace.

important

Étant donné que les fichiers du Workspace ont des restrictions de taille, Databricks recommande de n'y stocker que de petits fichiers de données, principalement pour le développement et les tests. Pour des recommandations sur l'endroit où stocker d'autres types de fichiers, consultez Types de fichiers.

Outil	Exemple
Apache Spark	spark.read.format("json").load("file:/Workspace/Users/<user-folder>/data.json").show()
Spark SQL et Databricks SQL	SELECT * FROM json.`file:/Workspace/Users/<user-folder>/file.json`;
Utilitaires du système de fichiers Databricks	dbutils.fs.ls("file:/Workspace/Users/<user-folder>/") %fs ls file:/Workspace/Users/<user-folder>/
Databricks CLI	databricks workspace list
API REST Databricks	POST https://<databricks-instance>/api/2.0/workspace/delete {"path": "/Workspace/Shared/code.py", "recursive": "false"}
Commandes Shell Bash	%sh curl http://<address>/text.zip -o /Workspace/Users/<user-folder>/text.zip
Installations de bibliothèques	%pip install /Workspace/Users/<user-folder>/my_library.whl
Pandas	df = pd.read_csv('/Workspace/Users/<user-folder>/data.csv')
Python OSS	os.listdir('/Workspace/Users/<user-folder>/path/to/directory')

Outil	Exemple
Apache Spark	spark.read.format("json").load("file:/Workspace/Users/<user-folder>/data.json").show()
Spark SQL et Databricks SQL	SELECT * FROM json.`file:/Workspace/Users/<user-folder>/file.json`;
Utilitaires du système de fichiers Databricks	dbutils.fs.ls("file:/Workspace/Users/<user-folder>/") %fs ls file:/Workspace/Users/<user-folder>/
Databricks CLI	databricks workspace list
API REST Databricks	POST https://<databricks-instance>/api/2.0/workspace/delete {"path": "/Workspace/Shared/code.py", "recursive": "false"}
Commandes Shell Bash	%sh curl http://<address>/text.zip -o /Workspace/Users/<user-folder>/text.zip
Installations de bibliothèques	%pip install /Workspace/Users/<user-folder>/my_library.whl
Pandas	df = pd.read_csv('/Workspace/Users/<user-folder>/data.csv')
Python OSS	os.listdir('/Workspace/Users/<user-folder>/path/to/directory')

remarque

Le schéma file:/ est requis lorsque vous travaillez avec les infrastructures publiques Databricks, Apache Spark ou SQL.

Dans les Workspaces où la racine et les montages DBFS sont désactivés, vous pouvez également utiliser dbfs:/Workspace pour accéder aux fichiers du Workspace avec les utilitaires Databricks. Ceci nécessite Databricks Runtime 13.3 LTS ou une version ultérieure. Consultez Désactiver l'accès à la racine et aux montages DBFS dans votre Workspace Databricks existant.

Pour les limitations concernant l'utilisation des fichiers de workspace, voir Limitations.

Où vont les fichiers de Workspace supprimés ?

La suppression d'un fichier de workspace l'envoie à la corbeille. Vous pouvez récupérer ou supprimer définitivement des fichiers de la corbeille à l'aide de l'interface utilisateur.

Consultez Supprimer un objet.

Travailler avec des fichiers dans le stockage d'objets cloud

Databricks recommande d'utiliser les volumes Unity Catalog pour configurer un accès sécurisé aux fichiers dans le stockage d'objets cloud. Vous devez configurer les autorisations si vous choisissez d'accéder directement aux données dans le stockage d'objets cloud à l'aide d'URI. Consultez Volumes gérés et externes.

Les exemples suivants utilisent des URI pour accéder aux données dans le stockage d'objets cloud :

Outil	Exemple
Apache Spark	spark.read.format("json").load("s3://<bucket>/path/file.json").show()
Spark SQL et Databricks SQL	SELECT * FROM csv.`s3://<bucket>/path/file.json`; LIST 's3://<bucket>/path';
Utilitaires du système de fichiers Databricks	dbutils.fs.ls("s3://<bucket>/path/") %fs ls s3://<bucket>/path/
Databricks CLI	Non pris en charge
API REST Databricks	Non pris en charge
Commandes Shell Bash	Non pris en charge
Installations de bibliothèques	%pip install s3://bucket-name/path/to/library.whl
Pandas	Non pris en charge
Python OSS	Non pris en charge

Outil	Exemple
Apache Spark	spark.read.format("json").load("s3://<bucket>/path/file.json").show()
Spark SQL et Databricks SQL	SELECT * FROM csv.`s3://<bucket>/path/file.json`; LIST 's3://<bucket>/path';
Utilitaires du système de fichiers Databricks	dbutils.fs.ls("s3://<bucket>/path/") %fs ls s3://<bucket>/path/
Databricks CLI	Non pris en charge
API REST Databricks	Non pris en charge
Commandes Shell Bash	Non pris en charge
Installations de bibliothèques	%pip install s3://bucket-name/path/to/library.whl
Pandas	Non pris en charge
Python OSS	Non pris en charge

remarque

Le stockage d'objets cloud ne prend pas en charge les montages Amazon S3 avec chiffrement côté client activé.

Travailler avec des fichiers dans les montages DBFS et la racine DBFS

important

La racine et les montages DBFS sont tous deux obsolètes et non recommandés par Databricks. Les nouveaux comptes sont provisionnés sans accès à ces fonctionnalités. Databricks recommande d’utiliser les volumes, les emplacements externes ou les fichiers de workspace de Unity Catalog à la place.

Outil	Exemple
Apache Spark	spark.read.format("json").load("/mnt/path/to/data.json").show()
Spark SQL et Databricks SQL	SELECT * FROM json.`/mnt/path/to/data.json`;
Utilitaires du système de fichiers Databricks	dbutils.fs.ls("/mnt/path") %fs ls /mnt/path
Databricks CLI	databricks fs cp dbfs:/mnt/path/to/remote/file /path/to/local/file
API REST Databricks	POST https://<host>/api/2.0/dbfs/delete --data '{ "path": "/tmp/HelloWorld.txt" }'
Commandes Shell Bash	%sh curl http://<address>/text.zip > /dbfs/mnt/tmp/text.zip
Installations de bibliothèques	%pip install /dbfs/mnt/path/to/my_library.whl
Pandas	df = pd.read_csv('/dbfs/mnt/path/to/data.csv')
Python OSS	os.listdir('/dbfs/mnt/path/to/directory')

Outil	Exemple
Apache Spark	spark.read.format("json").load("/mnt/path/to/data.json").show()
Spark SQL et Databricks SQL	SELECT * FROM json.`/mnt/path/to/data.json`;
Utilitaires du système de fichiers Databricks	dbutils.fs.ls("/mnt/path") %fs ls /mnt/path
Databricks CLI	databricks fs cp dbfs:/mnt/path/to/remote/file /path/to/local/file
API REST Databricks	POST https://<host>/api/2.0/dbfs/delete --data '{ "path": "/tmp/HelloWorld.txt" }'
Commandes Shell Bash	%sh curl http://<address>/text.zip > /dbfs/mnt/tmp/text.zip
Installations de bibliothèques	%pip install /dbfs/mnt/path/to/my_library.whl
Pandas	df = pd.read_csv('/dbfs/mnt/path/to/data.csv')
Python OSS	os.listdir('/dbfs/mnt/path/to/directory')

remarque

Le schéma dbfs:/ est requis lors de l'utilisation de la Databricks CLI.

Travailler avec des fichiers dans un stockage éphémère attaché au nœud driver

Le stockage éphémère attaché au nœud driver est un stockage de blocs avec un accès de chemin d'accès basé sur POSIX intégré. Toute donnée stockée à cet emplacement disparaît lorsqu'un cluster se termine ou redémarre.

Outil	Exemple
Apache Spark	Non pris en charge
Spark SQL et Databricks SQL	Non pris en charge
Utilitaires du système de fichiers Databricks	dbutils.fs.ls("file:/path") %fs ls file:/path
Databricks CLI	Non pris en charge
API REST Databricks	Non pris en charge
Commandes Shell Bash	%sh curl http://<address>/text.zip > /tmp/text.zip
Installations de bibliothèques	Non pris en charge
Pandas	df = pd.read_csv('/path/to/data.csv')
Python OSS	os.listdir('/path/to/directory')

Outil	Exemple
Apache Spark	Non pris en charge
Spark SQL et Databricks SQL	Non pris en charge
Utilitaires du système de fichiers Databricks	dbutils.fs.ls("file:/path") %fs ls file:/path
Databricks CLI	Non pris en charge
API REST Databricks	Non pris en charge
Commandes Shell Bash	%sh curl http://<address>/text.zip > /tmp/text.zip
Installations de bibliothèques	Non pris en charge
Pandas	df = pd.read_csv('/path/to/data.csv')
Python OSS	os.listdir('/path/to/directory')

remarque

Le schéma file:/ est requis lorsque vous travaillez avec les infrastructures publiques Databricks.

Déplacer les données du stockage éphémère vers les volumes

Vous pourriez vouloir accéder aux données téléchargées ou enregistrées dans un stockage éphémère à l'aide d'Apache Spark. Étant donné que le stockage éphémère est attaché au driver et que Spark est un moteur de traitement distribué, toutes les opérations ne peuvent pas accéder directement aux données ici. Supposons que vous deviez déplacer des données du système de fichiers du driver vers des volumes Unity Catalog. Dans ce cas, vous pouvez copier des fichiers à l’aide des commandes magiques ou des utilitaires Databricks, comme dans les exemples suivants :

Python

dbutils.fs.cp ("file:/<path>", "/Volumes/<catalog>/<schema>/<volume>/<path>")

Bash

%sh cp /<path> /Volumes/<catalog>/<schema>/<volume>/<path>

Bash

%fs cp file:/<path> /Volumes/<catalog>/<schema>/<volume>/<path>