Installez des bibliothèques à partir du stockage d'objets.
Cet article vous guide à travers les étapes requises pour installer des bibliothèques à partir du stockage d'objets cloud sur Databricks.
Cet article fait référence au stockage d'objets cloud en tant que concept général et suppose que vous interagissez directement avec les données stockées dans le stockage d'objets à l'aide d'URI. Databricks recommande d'utiliser les volumes Unity Catalog pour configurer l'accès aux fichiers dans le stockage d'objets cloud. Consultez Que sont les volumes Unity Catalog ?.
Vous pouvez stocker des bibliothèques JAR et Python Whl personnalisées dans le stockage objet cloud, au lieu de les stocker dans la racine DBFS. Consultez Bibliothèques à portée de compute pour connaître tous les détails de compatibilité des bibliothèques.
Les bibliothèques peuvent être installées à partir de DBFS lors de l’utilisation de Databricks Runtime 14.3 LTS et versions antérieures. Cependant, tout utilisateur de Workspace peut modifier les fichiers de bibliothèque stockés dans DBFS. Pour améliorer la sécurité des bibliothèques dans un Workspace Databricks, le stockage des fichiers de bibliothèque dans la racine DBFS est obsolète et désactivé par default dans Databricks Runtime 15.1 et versions ultérieures. Consultez Le stockage des bibliothèques dans la racine DBFS est déprécié et désactivé par default.
Au lieu de cela, Databricks recommande d’upload toutes les bibliothèques, y compris les bibliothèques Python, les fichiers JAR et les connecteurs Spark, dans les fichiers Workspace ou les volumes Unity Catalog, ou d’utiliser les repositories de packages de bibliothèques. Si votre charge de travail ne prend pas en charge ces modèles, vous pouvez également utiliser des bibliothèques stockées dans le stockage objet cloud.
Charger les bibliothèques dans le stockage objet
Vous pouvez charger des bibliothèques dans le stockage d'objets de la même manière que vous chargez d'autres fichiers. Vous devez disposer des autorisations appropriées auprès de votre fournisseur cloud pour créer de nouveaux conteneurs de stockage d'objets ou charger des fichiers dans le stockage d'objets cloud.
Accorder des autorisations en lecture seule au stockage d'objets
Databricks recommande de configurer tous les privilèges liés à l'installation de bibliothèques avec des autorisations en lecture seule.
Databricks vous permet d'attribuer des autorisations de sécurité à des clusters individuels qui régissent l'accès aux données dans le stockage d'objets cloud. Ces politiques peuvent être étendues pour ajouter un accès en lecture seule au stockage d'objets cloud qui contient des bibliothèques.
Dans Databricks Runtime 12.2 LTS et versions inférieures, vous ne pouvez pas charger les bibliothèques JAR lorsque vous utilisez des clusters avec des modes d'accès standard (anciennement mode d'accès partagé). Dans Databricks Runtime 13.3 LTS et versions ultérieures, vous devez ajouter des bibliothèques JAR à la liste d’autorisation de Unity Catalog. Voir Autoriser les bibliothèques et les scripts d’initialisation sur un compute en mode d’accès standard (anciennement mode d’accès partagé).
Databricks recommande d’utiliser les profils d’instance pour gérer l’accès aux bibliothèques stockées dans S3. Utilisez la documentation suivante dans le Link de renvoi pour compléter cette configuration :
- Créez un rôle IAM avec des autorisations de lecture et de liste sur les compartiments souhaités. Consultez Tutoriel : Configurer l'accès à S3 avec un profil d'instance.
- Lancez un cluster avec le profil d'instance. Consultez les profils d'instance.
Installer des bibliothèques sur les clusters
Pour installer une bibliothèque stockée dans un stockage d'objets cloud sur un cluster, suivez les étapes suivantes :
- Sélectionnez un cluster dans la liste de l'interface utilisateur des clusters.
- Sélectionnez l'onglet tab .
- Sélectionnez l'option Chemin du fichier/S3 .
- Indiquez le chemin URI complet vers l'objet de bibliothèque (par exemple,
s3://bucket-name/path/to/library.whl). - Cliquez sur Installer .
Vous pouvez également installer des bibliothèques à l'aide de l'API REST ou de la CLI.
Installer des bibliothèques dans les Notebooks
Vous pouvez utiliser %pip pour installer des fichiers Python wheel personnalisés stockés dans un stockage d'objets et restreints à un SparkSession isolé pour Notebook. Pour utiliser cette méthode, vous devez soit stocker les bibliothèques dans un stockage d’objets lisible publiquement, soit utiliser une URL pré-signée.
Consultez les bibliothèques Python spécifiques au Notebook.
Les bibliothèques JAR ne peuvent pas être installées dans le Notebook. Vous devez installer des bibliothèques JAR au niveau du cluster.