Recommandations pour les fichiers dans les volumes et les fichiers Workspace.
Lorsque vous upload ou enregistrez des données ou des fichiers dans Databricks, vous pouvez choisir de stocker ces fichiers à l'aide de volumes Unity Catalog ou de fichiers de Workspace. Cet article contient des recommandations et des exigences pour l'utilisation de ces emplacements. Pour plus de détails sur les volumes et les fichiers de workspace, consultez Que sont les volumes Unity Catalog ? et Que sont les fichiers de workspace ?.
Databricks recommande d'utiliser les volumes Unity Catalog pour stocker des données, des bibliothèques et des artefacts de build. Stockez les Notebooks, les requêtes SQL et les fichiers de code en tant que fichiers de Workspace. Vous pouvez configurer les répertoires de fichiers du Workspace en tant que dossiers Git pour les synchroniser avec des repository Git distants. Consultez les dossiers Git Databricks. Les petits fichiers de données utilisés pour les scénarios de test peuvent également être stockés en tant que fichiers de Workspace.
Les tables ci-dessous fournissent des recommandations spécifiques pour les fichiers, en fonction de votre type de fichier ou de vos besoins en fonctionnalités.
Types de fichiers
Le tableau suivant fournit des recommandations de stockage pour les types de fichiers. Databricks prend en charge de nombreux formats de fichiers au-delà de ceux fournis dans ce tableau en tant qu'exemples.
Type de fichier | Recommandation |
|---|---|
Objets Databricks, tels que les Notebooks et les queries | Stocker en tant que fichiers de workspace |
Fichiers de données structurés, tels que les fichiers Parquet et les fichiers ORC | Stocker dans les volumes Unity Catalog |
Fichiers de données semi-structurées, tels que les fichiers texte ( | Stocker dans les volumes Unity Catalog |
Fichiers de données non structurées, tels que les fichiers image ( | Stocker dans les volumes Unity Catalog |
Fichiers de données brutes utilisés pour l'exploration de données ad hoc ou précoce | Stocker dans les volumes Unity Catalog |
Données opérationnelles, telles que les log files | Stocker dans les volumes Unity Catalog |
Fichiers d'archives volumineux, tels que les fichiers ZIP ( | Stocker dans les volumes Unity Catalog |
Fichiers de code source, tels que les fichiers Python ( | Stockez en tant que fichiers Workspace, le cas échéant, avec d'autres objets connexes, tels que les notebooks et les queries. Databricks recommande de gérer ces fichiers dans un dossier Git pour le contrôle de version et le suivi des modifications de ces fichiers. |
Créez des artefacts et des bibliothèques, tels que des wheels Python ( | Stocker dans les volumes Unity Catalog |
Fichiers de configuration | Stockez les fichiers de configuration nécessaires à tous les workspaces dans les volumes Unity Catalog, mais stockez-les en tant que fichiers de workspace s'il s'agit de fichiers de projet dans un dossier Git. |
Comparaison des fonctionnalités
Le tableau suivant compare les offres de fonctionnalités des fichiers de workspace et des volumes Unity Catalog.
Fonctionnalité | Fichiers du workspace | Volumes du Unity Catalog |
|---|---|---|
Accès aux fichiers | Les fichiers de workspace ne sont accessibles qu'entre eux au sein du même workspace. | Les fichiers sont accessibles globalement dans tous les Workspaces. |
Accès programmatique | Les fichiers sont accessibles à l’aide de :
| Les fichiers sont accessibles à l’aide de : |
Declarative Automation Bundles | Par default, tous les fichiers d'un bundle, qui incluent des bibliothèques et des objets Databricks tels que des Notebooks et des queries, sont déployés de manière sécurisée en tant que fichiers de Workspace. Les autorisations sont définies dans la configuration du bundle. | Les bundles peuvent être personnalisés pour inclure des bibliothèques déjà présentes dans les volumes lorsque les bibliothèques dépassent la taille limite des fichiers Workspace. Consultez les dépendances de bibliothèque des Declarative Automation Bundles. |
Niveau d'autorisation de fichier | Les autorisations sont au niveau du dossier Git si le fichier se trouve dans un dossier Git, sinon les autorisations sont définies au niveau du fichier. | Les autorisations sont au niveau du volume. |
Gestion des autorisations | Les autorisations sont gérées par les ACL du Workspace et sont limitées au Workspace conteneur. | Les métadonnées et les autorisations sont gérées par Unity Catalog. Ces autorisations sont applicables à tous les workspaces ayant accès au catalogue. |
Montage de stockage externe | Ne prend pas en charge le montage d'un stockage externe | Offre la possibilité de pointer vers des datasets préexistants sur un stockage externe en créant un volume externe. Consultez Que sont les volumes Unity Catalog ?. |
Prise en charge des UDF | Non pris en charge | L'écriture à partir d'UDF est prise en charge à l'aide de Volumes FUSE |
Taille du fichier | Stockez les fichiers plus petits de moins de 500 Mo, tels que les fichiers de code source ( | Stocker de très grands fichiers de données dans les limites déterminées par les fournisseurs de services cloud. |
Upload & download | Prise en charge de l'upload et du download jusqu'à 500 Mo. | Prise en charge de l'upload et du download jusqu'à 5 Go. Pour upload des fichiers locaux vers un volume, consultez Travailler avec les fichiers dans des volumes Unity Catalog. Pour download des fichiers depuis Internet vers un volume, consultez download des données depuis Internet. |
Prise en charge de la création de table | Les tables ne peuvent pas être créées avec des fichiers workspace comme emplacement. | Créez des tables à partir de fichiers dans un volume en exécutant |
Structure de répertoires & chemins de fichier | Les fichiers sont organisés dans des répertoires imbriqués, chacun avec son propre modèle d'autorisations :
| Les fichiers sont organisés dans des répertoires imbriqués au sein d'un volume. Consultez Accéder aux données dans Unity Catalog. |
Historique du fichier | Utilisez le dossier Git au sein des workspaces pour suivre les modifications de fichiers. | Les Logs d'audit sont disponibles. |