Que sont les fichiers Workspace ?

Les fichiers du workspace sont les fichiers stockés et gérés dans le système de fichiers du workspace Databricks. Les fichiers Workspace peuvent être de presque n'importe quel type de fichier. Voici quelques exemples courants :

• Notebooks (.ipynb)
• Notebooks Notebook (.py, .sql, .r et .scala)
• Requêtes SQL (.dbquery.ipynb)
• Tableaux de bord (.lvdash.json)
• Alertes (.dbalert.json)
• Fichiers Python (.py) utilisés dans les modules personnalisés
• Configuration YAML (.yaml ou .yml)
• Fichiers Markdown (.md), tels que README.md
• Fichiers texte (.txt) ou autres petits fichiers de données (.csv)
• Bibliothèques (.whl, .jar)
• Fichiers de logs (.log)

remarque

Les agents Genie et les Experimentations ne peuvent pas être des fichiers du Workspace.

Pour des recommandations sur l'utilisation de fichiers, consultez Recommandations pour les fichiers dans les volumes et les fichiers de Workspace.

Votre arborescence de fichiers de workspace Databricks peut contenir des dossiers attachés à un repository Git appelés « dossiers Git Databricks ». Les dossiers Git ont des limitations supplémentaires concernant les types de fichiers. Pour obtenir une liste des types de fichiers pris en charge dans les dossiers Git (anciennement « Repos »), consultez Types d'asset pris en charge dans les dossiers Git.

important

Les fichiers Workspace sont activés partout par default dans Databricks Runtime version 11.2. Pour les charges de travail de production, utilisez Databricks Runtime 11.3 LTS ou une version ultérieure. Contactez votre administrateur de Workspace si vous ne pouvez pas accéder à cette fonctionnalité.

Que pouvez-vous faire avec les fichiers Workspace ?

Databricks fournit des fonctionnalités similaires au développement local pour de nombreux types de fichiers Workspace, y compris un éditeur de fichiers intégré. Tous les cas d'utilisation pour tous les types de fichiers ne sont pas pris en charge.

Vous pouvez créer, modifier et gérer l'accès aux fichiers Workspace en utilisant des modèles familiers des interactions de Notebook. Vous pouvez utiliser des chemins relatifs pour l'importation de bibliothèques à partir de fichiers Workspace, de manière similaire au développement local. Pour plus de détails, consultez :

• Utilisation de base des fichiers du workspace
• Interagir par programmation avec les fichiers Workspace
• Travaillez avec les modules Python et R
• Afficher les images
• Gérer les Notebooks Databricks
• ACL de fichier
• Tests unitaires Python dans le Workspace.

Les scripts d'initialisation stockés dans les fichiers du Workspace ont un comportement spécial. Vous pouvez utiliser des fichiers de workspace pour stocker et référencer des scripts d'initialisation dans toutes les versions de Databricks Runtime. Consultez Stocker les scripts d'initialisation dans les fichiers de workspace.

remarque

Dans Databricks Runtime 14.0 et versions ultérieures, le répertoire de travail actuel par default (CWD) pour le code exécuté localement est le répertoire contenant le Notebook ou le script en cours d'exécution. Il s'agit d'un changement de comportement par rapport à Databricks Runtime 13.3 LTS et les versions antérieures. Consultez Qu'est-ce que le répertoire de travail actuel default ?.

Limitations

• Si votre workflow utilise du code source situé dans un repository Git distant, vous ne pouvez pas écrire dans le répertoire actuel ni écrire en utilisant un chemin relatif. Écrire des données vers d'autres options d'emplacement.
• Vous ne pouvez pas utiliser les commandes git lorsque vous enregistrez dans les fichiers du Workspace. La création de répertoires .git n’est pas autorisée dans les fichiers Workspace.
• La lecture à partir des fichiers du Workspace à l’aide d’exécuteurs Spark (tels que spark.read.format("csv").load("file:/Workspace/Users/<user-folder>/data.csv")) n’est pas prise en charge sur le compute serverless.
• Les exécuteurs ne peuvent pas écrire dans les fichiers Workspace.
• Les liens symboliques ne sont pris en charge que pour les répertoires cibles sous le dossier racine /Workspace, tels que os.symlink("/Workspace/Users/someone@example.com/Testing", "Testing").
• Les fichiers du Workspace ne peuvent pas être consultés à partir des fonctions définies par l'utilisateur (UDF) sur les clusters avec un mode d'accès standard sur Databricks Runtime 14,2 et versions antérieures.
• Les Notebooks ne sont pris en charge en tant que fichiers de Workspace que sur Databricks Runtime 16.2 et versions ultérieures, ainsi que sur l'environnement Serverless 2 et versions ultérieures.
• Un notebook ne peut pas être importé comme module Python sur Databricks Runtime 16.0 et versions ultérieures. Au lieu de cela, modifiez le format du notebook ou, si vous voulez que le code soit importé, refactorisez le notebook dans un fichier Python.
• Les queries, les alertes et les tableaux de bord ne sont pris en charge en tant que fichiers de workspace que sur Databricks Runtime 16.4 et versions ultérieures, et sur l’environnement serverless 2 et versions ultérieures. De plus, ces fichiers de Workspace ne peuvent pas être renommés.
• Seuls les Notebooks et les fichiers prennent en charge l’affichage et la modification à l’aide des commandes du système de fichiers, telles que %sh ls.
• L’utilisation des commandes dbutils.fs pour accéder aux fichiers du workspace n’est pas prise en charge sur le compute serverless. Utilisez une cellule %sh dans les Notebooks ou des commandes spécifiques au langage telles que shutil en Python lors de l'exécution de Notebooks sur du compute serverless.

Limite de taille de fichier

• La taille des fichiers du Workspace est limitée à 500 Mo. Les Opérations qui tentent de download ou de créer des fichiers plus grands que cette limite échoueront.

Limite d'autorisation d'accès aux fichiers

L'autorisation d'accéder aux fichiers dans les dossiers sous /Workspace expire après 36 heures pour le compute interactif et après 30 jours pour les Jobs. Databricks recommande d'exécuter les exécutions longues sous forme de Jobs si elles nécessitent un accès aux fichiers /Workspace.

Activer les fichiers du workspace

Pour activer la prise en charge des fichiers non-Notebook dans votre Workspace Databricks, appelez l'API /api/2.0/workspace-conf API REST à partir d'un Notebook ou d'un autre environnement avec accès à votre Workspace Databricks. Les fichiers du Workspace sont activés par default.

Pour activer ou réactiver la prise en charge des fichiers non-notebook dans votre workspace Databricks, appelez le /api/2.0/workspace-conf et obtenez la valeur de la clé enableWorkspaceFileSystem. S'il est défini sur true, les fichiers non-notebook sont déjà activés pour votre workspace.

L'exemple suivant montre comment vous pouvez appeler cette API depuis un notebook pour vérifier si les fichiers du workspace sont désactivés et, le cas échéant, les réactiver.

Exemple : Notebook pour la réactivation de la prise en charge des fichiers du Databricks Workspace

Ouvrir le notebook dans un nouvel ongletOuvrir dans Databricks