Bibliothèques de Workspace (hérité)
Cette documentation a été retirée et pourrait ne pas être mise à jour. Les produits, services ou technologies mentionnés dans ce contenu ne sont plus pris en charge. Consultez les bibliothèques à l’échelle du compute.
Les bibliothèques Workspace sont obsolètes et ne doivent pas être utilisées. Cependant, le stockage des bibliothèques en tant que fichiers Workspace est distinct des bibliothèques Workspace et est toujours entièrement pris en charge. Vous pouvez installer des bibliothèques stockées en tant que fichiers de workspace directement sur des tâches de compute ou de job.
Les bibliothèques de workspace servent de repository local à partir duquel vous créez des bibliothèques installées sur le cluster. Une bibliothèque de workspace peut être un code personnalisé créé par votre organisation, ou peut être une version particulière d'une bibliothèque open source que votre organisation a standardisée.
Vous devez installer une bibliothèque de workspace sur un cluster avant de pouvoir l'utiliser dans un notebook ou un job. Voir Installer une bibliothèque de workspace sur un cluster.
Les bibliothèques de Workspace dans le dossier Partagé sont disponibles pour tous les utilisateurs d'un Workspace, tandis que les bibliothèques de Workspace dans un dossier utilisateur ne sont disponibles que pour cet utilisateur.
Les bibliothèques peuvent être installées à partir de DBFS lors de l’utilisation de Databricks Runtime 14.3 LTS et versions antérieures. Cependant, tout utilisateur de Workspace peut modifier les fichiers de bibliothèque stockés dans DBFS. Pour améliorer la sécurité des bibliothèques dans un Workspace Databricks, le stockage des fichiers de bibliothèque dans la racine DBFS est obsolète et désactivé par default dans Databricks Runtime 15.1 et versions ultérieures. Consultez Le stockage des bibliothèques dans la racine DBFS est déprécié et désactivé par default.
Au lieu de cela, Databricks recommande d’upload toutes les bibliothèques, y compris les bibliothèques Python, les fichiers JAR et les connecteurs Spark, dans les fichiers Workspace ou les volumes Unity Catalog, ou d’utiliser les repositories de packages de bibliothèques. Si votre charge de travail ne prend pas en charge ces modèles, vous pouvez également utiliser des bibliothèques stockées dans le stockage objet cloud.
En quoi les bibliothèques de Workspace diffèrent-elles des bibliothèques stockées avec les fichiers de Workspace ?
Le terme « bibliothèques de Workspace » fait référence à toute bibliothèque enregistrée dans un Workspace. Les bibliothèques Workspace apparaissent à côté des notebooks et des fichiers Workspace et suivent les règles d'ACL de leur répertoire conteneur.
Le terme « fichiers Workspace » désigne tout fichier arbitraire stocké dans le Workspace. Vous pouvez stocker des fichiers .whl Python packages en tant que fichiers Workspace, puis les enregistrer en tant que bibliothèques Workspace. Voir Qu’est-ce que les fichiers Workspace ?.
Vous pouvez upload des bibliothèques en tant que fichiers de workspace. Voir Utilisation de base des fichiers Workspace.
Bien que vous puissiez upload de nombreux types de fichiers vers les fichiers Workspace, seuls les fichiers Python .whl les fichiers peuvent être installés à l'aide de fichiers Workspace. Consultez les bibliothèques à l’échelle du compute.
Dans Databricks Runtime 13.3 LTS et versions ultérieures, vous pouvez utiliser %pip pour installer des fichiers Python wheel stockés en tant que fichiers de Workspace. Consultez Installer un package stocké en tant que fichier de Workspace avec %pip.
Créer une bibliothèque de Workspace
Cette fonctionnalité n’est plus disponible. Consultez La création et l'installation de bibliothèques de Workspace ne sont plus disponibles.
- Cliquez avec le bouton droit de la souris sur le dossier Workspace où vous souhaitez stocker la bibliothèque.
- Sélectionnez Créer > Bibliothèque . La boîte de dialogue Créer une bibliothèque s'affiche.
- Sélectionnez la Source de la bibliothèque et suivez la procédure appropriée :
upload un fichier JAR, Python egg ou Python wheel
L'installation des fichiers egg Python est obsolète et sera supprimée dans une future version de Databricks Runtime.
Les bibliothèques peuvent être installées à partir de DBFS lors de l’utilisation de Databricks Runtime 14.3 LTS et versions antérieures. Cependant, tout utilisateur de Workspace peut modifier les fichiers de bibliothèque stockés dans DBFS. Pour améliorer la sécurité des bibliothèques dans un Workspace Databricks, le stockage des fichiers de bibliothèque dans la racine DBFS est obsolète et désactivé par default dans Databricks Runtime 15.1 et versions ultérieures. Consultez Le stockage des bibliothèques dans la racine DBFS est déprécié et désactivé par default.
Au lieu de cela, Databricks recommande d’upload toutes les bibliothèques, y compris les bibliothèques Python, les fichiers JAR et les connecteurs Spark, dans les fichiers Workspace ou les volumes Unity Catalog, ou d’utiliser les repositories de packages de bibliothèques. Si votre charge de travail ne prend pas en charge ces modèles, vous pouvez également utiliser des bibliothèques stockées dans le stockage objet cloud.
- Dans la liste des boutons Source de la bibliothèque, sélectionnez **Upload**.
- Sélectionnez JAR , Python Egg ou Python Whl .
- Saisissez facultativement un nom de bibliothèque.
- Faites glisser votre fichier Jar, Egg ou Whl vers la zone de dépôt ou cliquez sur la zone de dépôt et accédez à un fichier. Le fichier est uploadé vers
dbfs:/FileStore/jars. - Cliquez sur Créer. L’écran d’état de la bibliothèque s’affiche.
Référencer un fichier JAR, Python egg ou Python wheel upload
Vous pouvez créer une nouvelle bibliothèque de workspace en référençant des fichiers JAR, Python egg ou Python wheel stockés dans la racine DBFS, sur le stockage d'objets ou avec des fichiers de workspace. Ce workflow enregistre un pointeur vers une bibliothèque sans upload ni déplacement de fichiers.
Avec Databricks Runtime 13.2 et versions ultérieures, vous pouvez également référencer un volume dans Unity Catalog. Cette fonctionnalité est en préversion publique.
Pour un compute avec le mode d'accès standard (anciennement mode d'accès partagé), vous devez ajouter les JAR au allowlist. Consultez Mettre les bibliothèques et les scripts d'initialisation sur liste d'autorisation sur le compute avec le mode d'accès standard (anciennement mode d'accès partagé).
-
Sélectionnez Chemin de fichier/S3 dans la liste des boutons Source de la bibliothèque.
-
Sélectionnez JAR , Python Egg ou Python Whl .
-
Saisissez facultativement un nom de bibliothèque.
-
Spécifiez le chemin d'accès à la bibliothèque, comme les exemples suivants :
s3://bucket-name/path/to/library.whl/Workspace/path/to/library.whldbfs:/path/to/library.whl/Volumes/<catalog>/<schema>/<volume>/<path_to_library_file>
-
Cliquez sur Créer. L’écran d’état de la bibliothèque s’affiche.
Pour en savoir plus sur l'utilisation des bibliothèques dans le stockage d'objets, consultez Installer des bibliothèques à partir du stockage d'objets.
Pour en savoir plus sur les fichiers Workspace, consultez Travailler avec des fichiers sur Databricks.
Installer une bibliothèque de workspace sur un cluster
Databricks traite toutes les bibliothèques du Workspace dans l'ordre dans lequel elles ont été installées sur le cluster. Il faudra peut-être prêter attention à l’ordre d’installation sur le cluster s’il existe des dépendances entre les bibliothèques.
Les bibliothèques peuvent être installées à partir de DBFS lors de l’utilisation de Databricks Runtime 14.3 LTS et versions antérieures. Cependant, tout utilisateur de Workspace peut modifier les fichiers de bibliothèque stockés dans DBFS. Pour améliorer la sécurité des bibliothèques dans un Workspace Databricks, le stockage des fichiers de bibliothèque dans la racine DBFS est obsolète et désactivé par default dans Databricks Runtime 15.1 et versions ultérieures. Consultez Le stockage des bibliothèques dans la racine DBFS est déprécié et désactivé par default.
Au lieu de cela, Databricks recommande d’upload toutes les bibliothèques, y compris les bibliothèques Python, les fichiers JAR et les connecteurs Spark, dans les fichiers Workspace ou les volumes Unity Catalog, ou d’utiliser les repositories de packages de bibliothèques. Si votre charge de travail ne prend pas en charge ces modèles, vous pouvez également utiliser des bibliothèques stockées dans le stockage objet cloud.
En mode d'accès utilisateur unique, l'identité du Service Principal assigné (un utilisateur ou un Service Principal) est utilisée. En mode d'accès standard (anciennement mode d'accès partagé), les bibliothèques utilisent l'identité de l'utilisateur qui a installé la bibliothèque. Le mode d'accès partagé sans isolement ne prend pas en charge les volumes, mais utilise la même attribution d'identité que le mode d'accès standard.
Pour afficher toutes les options d’installation des bibliothèques sur les clusters, consultez la page Bibliothèques délimitées au compute.
Pour installer une bibliothèque qui existe déjà dans le Workspace, vous pouvez start à partir de l'interface utilisateur du cluster ou de l'interface utilisateur de la bibliothèque :
clusters
- Dans la barre latérale, cliquez sur
Compute . - Cliquez sur un nom de cluster.
- Cliquez sur l'onglet **tab**.
- Cliquez sur Installer une nouvelle bibliothèque .
- Dans la liste des boutons Source de la bibliothèque, sélectionnez Workspace Library .
- Sélectionnez une bibliothèque Workspace.
- Cliquez sur Installer .
Bibliothèque
- Accédez au dossier contenant la bibliothèque.
- Cliquez sur le nom de la bibliothèque.
- Sélectionnez la case à cocher à côté du cluster sur lequel vous souhaitez installer la bibliothèque et cliquez sur **Installer**. Seuls les clusters en cours d'exécution apparaissent dans la liste.
Afficher les détails de la bibliothèque Workspace
Les dossiers Workspace facilitent la découverte des bibliothèques Workspace et la gestion des ACL.
- Accédez au dossier du Workspace contenant la bibliothèque.
- Cliquez sur le nom de la bibliothèque.
La page de détails de la bibliothèque affiche les clusters en cours d'exécution et l'état de l'installation de la bibliothèque. Si la bibliothèque est installée, la page contient un link vers l'hôte du package. Si la bibliothèque a été uploadée, la page affiche un Link vers le fichier package uploadé.
Déplacer une bibliothèque de workspace
Les dossiers Workspace facilitent la découverte des bibliothèques Workspace et la gestion des listes de contrôle d’accès. Le déplacement d'une bibliothèque de Workspace ne déplace pas les fichiers, mais peut modifier les utilisateurs ayant accès à la bibliothèque de Workspace.
- Accédez au dossier du Workspace contenant la bibliothèque.
- Faites un clic droit sur le nom de la bibliothèque et sélectionnez **Déplacer**. Un explorateur de dossiers s'affiche.
- Cliquez sur le dossier de destination.
- Cliquez sur **Déplacer**.
Supprimer une bibliothèque Workspace
Avant de supprimer une bibliothèque de Workspace, vous devez la désinstaller de tous les clusters.
Pour supprimer une bibliothèque de Workspace :
- Déplacez la bibliothèque vers le dossier Corbeille.
- Soit supprimez définitivement la bibliothèque dans le dossier de la corbeille, soit videz le dossier de la corbeille.