Explorez le stockage pour trouver les fichiers de données.

Cette page se concentre sur la recherche et l'exploration des répertoires et fichiers de données gérés avec les volumes Unity Catalog, y compris des instructions basées sur l'interface utilisateur pour l'exploration des volumes avec Catalog Explorer. Elle inclut des exemples d'exploration programmatique de données dans le stockage d'objets cloud à l'aide de chemins de volume et d'URI cloud.

Databricks recommande d'utiliser des volumes pour gérer l'accès aux données dans le stockage d'objets cloud. Pour plus d'informations sur la connexion aux données dans le stockage d'objets cloud, consultez Se connecter aux sources de données et aux services externes.

Pour une présentation complète sur l'interaction avec les fichiers à tous les emplacements, consultez Travailler avec des fichiers sur Databricks.

important

Lorsque vous recherchez des fichiers dans l'interface utilisateur de Workspace, vous pourriez découvrir des fichiers de données stockés en tant que fichiers Workspace. Databricks recommande d'utiliser les fichiers de workspace principalement pour le code (tel que des scripts et des bibliothèques), les scripts d'initialisation ou les fichiers de configuration. Idéalement, vous devriez limiter les données stockées sous forme de fichiers de workspace aux petits datasets qui pourraient être utilisés pour des tâches telles que les tests pendant le développement et l'assurance qualité. Voir Que sont les fichiers Workspace ?.

Comparaison des volumes et des configurations de stockage d'objets cloud héritées

Lorsque vous utilisez des volumes pour gérer l'accès aux données dans le stockage d'objets cloud, vous ne pouvez utiliser que le chemin des volumes pour accéder aux données, et ces chemins sont disponibles avec toutes les ressources compute compatibles Unity Catalog. Vous ne pouvez pas enregistrer les fichiers de données qui sauvegardent les tables Unity Catalog à l’aide de volumes. Databricks recommande d’utiliser les noms de table plutôt que les chemins de fichiers pour interagir avec des données structurées enregistrées en tant que tables Unity Catalog. Voir les Règles de chemin d’accès et d’accès aux volumes Unity Catalog.

Si vous utilisez une méthode héritée pour configurer l'accès aux données dans le stockage d'objets cloud, Databricks revient aux autorisations ACL de table héritées. Les utilisateurs souhaitant accéder aux données à l'aide d'URI cloud à partir de SQL warehouses ou de compute configurés avec le mode d'accès standard (anciennement partagé) requièrent l'autorisation ANY FILE. Consultez le contrôle d’accès aux tables du Hive metastore (hérité).

Databricks fournit plusieurs APIs pour répertorier les fichiers dans le stockage d'objets cloud. La plupart des exemples de cet article se concentrent sur l'utilisation des volumes. Pour des exemples d'interaction avec les données sur un stockage d'objets configuré sans volumes, consultez Lister les fichiers avec des URI.

Explorer les volumes

Vous pouvez utiliser l'Explorateur de catalogues pour explorer les données dans les volumes et examiner les détails d'un volume. Vous ne pouvez voir que les volumes pour lesquels vous avez des autorisations de lecture, vous pouvez donc query toutes les données découvertes de cette manière.

Vous pouvez utiliser SQL pour explorer les volumes et leurs métadonnées. Pour lister les fichiers dans les volumes, vous pouvez utiliser SQL, la commande magique %fs, ou les utilitaires Databricks. Lorsque vous interagissez avec des données dans des volumes, vous utilisez le chemin d'accès fourni par Unity Catalog, qui a toujours le format suivant :

/Volumes/catalog_name/schema_name/volume_name/path/to/data

Afficher les volumes

SQL

Exécutez la commande suivante pour afficher la liste des volumes dans un schéma donné.

SQL

SHOW VOLUMES IN catalog_name.schema_name;

See SHOW VOLUMES.

Catalog Explorer

Pour afficher les volumes dans un schéma donné avec l’Explorateur de catalogues, procédez comme suit :

1. Sélectionnez l'icône **Catalogue**.
2. Sélectionner un catalogue.
3. Sélectionnez un schéma.
4. Cliquez sur **Volumes** pour développer tous les volumes dans le schéma.

remarque

Si aucun volume n'est enregistré dans un schéma, l'option Volumes n'est pas affichée. Au lieu de cela, vous voyez une liste des tables disponibles.

Voir les détails du volume

SQL

Exécutez la commande suivante pour décrire un volume.

SQL

DESCRIBE VOLUME volume_name

See DESCRIBE VOLUME.

Catalog Explorer

Cliquez sur le nom du volume et sélectionnez l’onglet Details tab pour consulter les détails du volume.

Voir les fichiers dans les volumes

SQL

Exécutez la commande suivante pour lister les fichiers dans un volume.

SQL

LIST '/Volumes/catalog_name/schema_name/volume_name/'

Catalog Explorer

Cliquez sur le nom du volume et sélectionnez l’onglet Details tab pour consulter les détails du volume.

%fs

Exécutez la commande suivante pour lister les fichiers dans un volume.

%fs ls /Volumes/catalog_name/schema_name/volume_name/

Databricks utilities

Exécutez la commande suivante pour lister les fichiers dans un volume.

Python

dbutils.fs.ls("/Volumes/catalog_name/schema_name/volume_name/")

Affichez un aperçu des fichiers dans les volumes

Cliquez sur le nom d'un fichier dans un volume de l'Explorateur de catalogues pour voir un aperçu du fichier.

important

Les utilisateurs doivent disposer de la permission READ VOLUME sur le volume contenant pour prévisualiser les fichiers.

Les fichiers texte affichent le contenu en texte brut.

Les fichiers image pris en charge affichent des images.

L'expérience d'aperçu tente de fournir une mise en surbrillance syntaxique pour les fichiers tels que .yml, .yaml et .json.

remarque

Les aperçus risquent de ne pas s'afficher correctement si les fichiers sont corrompus, le contenu est mal formé ou si la mauvaise extension est utilisée.

Les formats de fichiers suivants sont pris en charge :

• Fichiers image : jpg, jpeg, png, gif, bmp, webp, ico
• **Fichiers d'image vectorielle** : svg
• Fichiers texte : txt, log, md
• Fichiers vidéo : mp4, webm, ogg, mov, avi, mkv, m4v (d'autres types de fichiers peuvent être pris en charge, selon votre navigateur)
• Fichiers audio : mp3, wav, m4a, flac, aac, wma (d'autres types de fichiers peuvent être pris en charge selon votre navigateur)
• Fichiers de données semi-structurées : json, csv
• **Fichiers de configuration** : yaml, yml
• Fichiers document : pdf
• Fichiers de feuille de calcul : xls, xlsx
• Fichiers de données en colonnes : parquet

Répertoriez les fichiers avec des URI

Vous pouvez interroger le stockage d'objets cloud configuré avec des méthodes autres que les volumes en utilisant des URI. Vous devez être connecté à un compute avec les privilèges nécessaires pour accéder à l'emplacement cloud. L'autorisation ANY FILE est requise sur les SQL warehouses et les compute configurés avec le mode d'accès standard (anciennement mode d'accès partagé).

remarque

L'accès URI au stockage d'objets configuré avec des volumes n'est pas pris en charge. Vous ne pouvez pas utiliser l'Explorateur de catalogues pour examiner le contenu du stockage d'objets non configuré avec des volumes.

Les exemples suivants incluent des URI d'exemple pour les données stockées avec Azure Data Lake Storage, S3 et GCS.

SQL

Exécutez la commande suivante pour lister les fichiers dans le stockage d'objets cloud.

SQL

-- ADLS 2
LIST 'abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/data'

-- S3
LIST 's3://bucket-name/path/to/data'

-- GCS
LIST 'gs://bucket-name/path/to/data'

%fs

Exécutez la commande suivante pour lister les fichiers dans le stockage d'objets cloud.

# ADLS 2
%fs ls abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/data

# S3
%fs ls s3://bucket-name/path/to/data

# GCS
%fs ls gs://bucket-name/path/to/data

Databricks utilities

Exécutez la commande suivante pour lister les fichiers dans le stockage d'objets cloud.

Python

# ADLS 2
dbutils.fs.ls("abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/data")

# S3
dbutils.fs.ls("s3://bucket-name/path/to/data")

# GCS
dbutils.fs.ls("bucket-name/path/to/data")