Bibliothèques avec étendue de compute
Les bibliothèques de cluster peuvent être utilisées par tous les Notebooks et Jobs exécutés sur un cluster. Cet article détaille l'utilisation de l'interface utilisateur **Installer une bibliothèque** dans le Workspace Databricks.
Si vous créez un compute à l'aide d'une politique qui impose l'installation de bibliothèques, vous ne pouvez pas installer ou désinstaller de bibliothèques sur votre compute. Les administrateurs du Workspace contrôlent toute la gestion des bibliothèques au niveau de la politique.
Vous pouvez installer des bibliothèques sur un cluster en utilisant les approches suivantes :
-
Installez une bibliothèque à utiliser avec un cluster spécifique uniquement.
-
Installez une bibliothèque via l'API REST. Voir l'API Bibliothèques.
-
Installez une bibliothèque avec la CLI Databricks. Voir Databricks CLI.
-
Installer une bibliothèque via Terraform. Voir fournisseur Databricks Terraform et databricks_library.
-
Installez une bibliothèque en créant un cluster avec une stratégie qui définit les installations de bibliothèque. Consultez Ajouter des bibliothèques à une stratégie.
-
(Non recommandé) Installer une bibliothèque à l'aide d'un script d'initialisation qui s'exécute au moment de la création du cluster. Consultez Installer une bibliothèque avec un script d'initialisation (hérité).
Installer une bibliothèque sur un cluster
Pour installer une bibliothèque sur un cluster :
- Cliquez sur
Compute dans la barre latérale. - Cliquez sur un nom de cluster.
- Cliquez sur l'onglet **tab**.
- Cliquez sur Installer une nouvelle bibliothèque .
- La boîte de dialogue Installer la bibliothèque s'affiche.
- Sélectionnez l'une des options de Source de la bibliothèque , suivez les instructions qui s'affichent, puis cliquez sur Installer .
Les bibliothèques peuvent être installées à partir de DBFS lors de l’utilisation de Databricks Runtime 14.3 LTS et versions antérieures. Cependant, tout utilisateur de Workspace peut modifier les fichiers de bibliothèque stockés dans DBFS. Pour améliorer la sécurité des bibliothèques dans un Workspace Databricks, le stockage des fichiers de bibliothèque dans la racine DBFS est obsolète et désactivé par default dans Databricks Runtime 15.1 et versions ultérieures. Consultez Le stockage des bibliothèques dans la racine DBFS est déprécié et désactivé par default.
Au lieu de cela, Databricks recommande d’upload toutes les bibliothèques, y compris les bibliothèques Python, les fichiers JAR et les connecteurs Spark, dans les fichiers Workspace ou les volumes Unity Catalog, ou d’utiliser les repositories de packages de bibliothèques. Si votre charge de travail ne prend pas en charge ces modèles, vous pouvez également utiliser des bibliothèques stockées dans le stockage objet cloud.
Tous les modes d'accès aux clusters ne prennent pas en charge toutes les configurations de bibliothèque. Consultez les bibliothèques limitées au compute.
Source de la bibliothèque | Instructions |
|---|---|
Espace de travail | Sélectionnez un fichier du workspace ou upload un fichier Whl, un wheelhouse compressé (avec l'extension |
Volumes | Sélectionnez un fichier Whl, JAR ou requirements.txt à partir d'un volume. Voir Installer des bibliothèques à partir d'un volume. |
Chemin d'accès au fichier/S3 | Sélectionnez le type de bibliothèque et fournissez l'URI complet de l'objet de bibliothèque (par exemple : |
PyPI | Saisissez un nom de package PyPI. Voir le package PyPI. |
Maven | Spécifiez une coordonnée Maven. Voir le package Maven ou Spark. |
CRAN | Saisissez le nom d’un package. Consultez le package CRAN. |
DBFS (Non recommandé) | Chargez un fichier JAR ou Whl vers la racine DBFS. Ceci n'est pas recommandé, car les fichiers stockés dans DBFS peuvent être modifiés par n'importe quel utilisateur de workspace. |
Lorsque vous installez une bibliothèque sur un cluster, un notebook déjà associé à ce cluster ne verra pas immédiatement la nouvelle bibliothèque. Vous devez start une nouvelle session pour que le notebook puisse voir la nouvelle bibliothèque.
Une bibliothèque dont l'installation a pris plus de 2 heures sera marquée comme ayant échoué.
Installer une bibliothèque à l'aide d'une politique
Si vous créez un cluster à l’aide d’une politique qui impose l’installation de bibliothèques, les bibliothèques spécifiées s’installent automatiquement sur votre cluster. Vous ne pouvez pas installer de bibliothèques supplémentaires ni désinstaller de bibliothèques.
Les administrateurs du Workspace peuvent ajouter des bibliothèques aux politiques, leur permettant de gérer et d’appliquer les installations de bibliothèques sur tous les computes qui utilisent la politique. Pour les instructions d’administration, consultez Ajouter des bibliothèques à une politique.
Désinstaller une bibliothèque d'un cluster
Lorsque vous désinstallez une bibliothèque d'un cluster, la bibliothèque n'est supprimée que lorsque vous redémarrez le cluster. Tant que vous ne redémarrez pas le cluster, le statut de la bibliothèque désinstallée apparaît comme Désinstallation en attente de redémarrage .
Pour désinstaller une bibliothèque, vous pouvez utiliser l’interface utilisateur du cluster :
- Cliquez sur Compute dans la barre latérale.
- Cliquez sur un nom de cluster.
- Cliquez sur l'onglet **tab**.
- Sélectionnez la case à cocher à côté du cluster à partir duquel vous souhaitez désinstaller la bibliothèque, cliquez sur Désinstaller , puis sur Confirmer . Le statut passe à Désinstallation en attente de redémarrage .
Cliquez sur Redémarrer et Confirmer pour désinstaller la bibliothèque. La bibliothèque est supprimée de l'onglet Bibliothèques du cluster.
Afficher les bibliothèques installées sur un cluster
- Cliquez sur Compute dans la barre latérale.
- Cliquez sur le nom du cluster.
- Cliquez sur le tab Libraries . Pour chaque bibliothèque, le tab affiche le nom et la version, le type, le statut d’installation et, s’il est upload, le fichier source.
Mettre à jour une bibliothèque installée sur un cluster
Pour mettre à jour une bibliothèque installée sur un cluster, désinstallez l'ancienne version de la bibliothèque et installez une nouvelle version.
Les fichiers requirements.txt ne nécessitent pas de désinstallation et de redémarrage. Si vous avez modifié le contenu d'un fichier requirements.txt, vous pouvez simplement le réinstaller pour mettre à jour le contenu du fichier installé.