Configurez votre environnement
L'environnement d'exécution de l'IA Runtime fournit deux environnements Python gérés. L'environnement standard comprend cuda. Depuis la version 5 de l’environnement, torch et torchvision ne sont plus préinstallés. L'environnement Databricks AI est préchargé avec PyTorch, Transformers et d'autres frameworks de ML et de deep learning. Choisissez l’environnement standard pour un contrôle total sur votre pile de dépendances, ou l’environnement IA pour une configuration d’entraînement prête à l’emploi. Vous pouvez start de l'un ou l'autre environnement et installer vous-même davantage de packages.
Points clés de cette page :
- Choisissez l'environnement Standard pour un contrôle total sur les dépendances, ou l'environnement Databricks AI pour une pile ML prête à l'emploi.
- Standard inclut
cuda. À partir de la version 5 de l'environnement,torchettorchvisionne sont pas préinstallés. L'environnement IA ajoute PyTorch, Transformers, et plus encore. - Installez plus de packages avec
%uv pip install(version 5 et supérieure de l'environnement) ou%pip installdans un notebook, ou avecenvironment.dependenciesdans le CLI.
Quel environnement utiliser
L'environnement Runtime de l'IA propose deux environnements Python gérés : l'environnement Standard et l'environnement Databricks AI.
Environnement | Caractéristiques clés | Quand utiliser |
|---|---|---|
Environnement standard | Minimal ; inclut | Vous voulez avoir un contrôle total sur votre pile de dépendances et préférez installer uniquement ce dont vous avez besoin |
Environnement Databricks AI | Préchargé avec des frameworks ML populaires (PyTorch, Transformers, et plus) | Vous voulez un environnement complet pour l’entraînement, l’affinement et l’expérimentation sans gestion manuelle des dépendances |
Vous pouvez également utiliser un environnement de base de workspace qu'un administrateur de workspace a construit pour AI Runtime. Voir Construire pour le compute GPU serverless (AI Runtime).
Pour choisir un environnement dans un notebook, ouvrez le panneau latéral Environnement et sélectionnez un environnement de base:
Environnement standard (environnement minimal)
Un environnement minimal et stable ne contenant que les packages requis pour l'exécution de l'environnement d'exécution de l'IA Runtime. L'environnement comprend cuda pour le support GPU. À partir de la version 5 de l'environnement, torch et torchvision ne sont plus préinstallés. Installez les versions dont votre charge de travail a besoin avec %uv pip install ou %pip install. Pour connaître les packages installés dans chaque version de l’environnement, reportez-vous aux notes de version ci-dessous.
Convient aux : utilisateurs qui souhaitent contrôler entièrement leur pile de dépendances et préfèrent n’installer que ce dont ils ont besoin.
Pour sélectionner : Dans le panneau latéral Environnement , choisissez Standard v6 comme environnement de base.
Pour plus de détails sur les versions de packages installées dans les différentes versions, consultez les notes de publication :
Environnement Databricks AI
Disponible dans les environnements 4 et ultérieurs. L'environnement IA est construit sur l'environnement standard avec des packages d'exécution communs et des packages spécifiques au machine learning sur les GPU. Les packages préinstallés comprennent :
- PyTorch (avec prise en charge CUDA)
- Transformers (Hugging Face)
- Et des dépendances supplémentaires pour le ML/DL
Idéal pour : les praticiens du ML qui souhaitent bénéficier d'un environnement complet pour les charges de travail d'entraînement, l'affinement et l'expérimentation sans gestion manuelle des dépendances.
Pour sélectionner : dans le panneau latéral Environnement , choisissez IA v6 comme environnement de base.
Pour plus de détails sur les versions de packages installées dans les différentes versions, consultez les notes de publication :
Installez des packages supplémentaires
Vous pouvez start à partir d’un environnement géré ou d’un environnement de base du workspace, puis y installer vos propres packages Python. La manière dont vous les installez dépend de la façon dont vous vous connectez à AI Runtime.
Dans un notebook
Installez les packages en haut de votre notebook ou de votre script d'entraînement avec %uv pip, qui s'installe avec uv et est plus rapide que %pip. pin les versions pour que les exécutions restent reproductibles :
%uv pip install "trl==1.1.0"
%uv pip install "transformers==5.5.4"
Pour obtenir la référence complète sur %pip et %uv pip, y compris les versions d'environnement qui prennent en charge chacune d'entre elles, consultez Gérer les bibliothèques avec les commandes %uv.
Lorsque vous utilisez le décorateur @distributed pour des charges de travail multi-GPU, les packages que vous installez avant d'appeler .distributed() sont automatiquement instantanés et propagés à tous les processus distribués. La taille totale des packages installés ne doit pas dépasser 15 Go. Pour en savoir plus, consultez Ajouter des dépendances au notebook.
Avec la CLI
La CLI air utilise les mêmes environnements gérés. Sélectionnez-en un avec environment.version, puis listez les packages à installer par-dessus sous environment.dependencies dans votre YAML de charge de travail. La CLI les installe dans l’environnement sélectionné avec uv, vous n’avez donc pas à gérer vous-même un environnement virtuel séparé :
environment:
version: '6'
dependencies:
- trl==1.1.0
- transformers==5.5.4
Pour start à la place à partir de l'environnement Databricks AI, définissez version sur un identifiant d'environnement IA tel que databricks_ai_v5. Pour obtenir le format complet des dépendances, les indicateurs d'installation pris en charge et la prise en charge des images Docker personnalisées, consultez environment.
Environnements de base du workspace
Un administrateur de workspace peut concevoir un environnement de base de workspace pour le Runtime AI, ce qui le rend accessible à tous les utilisateurs du workspace via le menu déroulant Environnement de base . Pour plus de détails, voir Conception pour le compute GPU serverless (Runtime AI).
Pour utiliser un environnement de base dans une charge de travail planifiée, référez-vous à son identifiant dans le bloc environments d’un job ou d’un bundle. Par exemple, cette tâche Declarative Automation Bundles sélectionne l’environnement Databricks AI :
resources:
jobs:
train:
tasks:
- task_key: train
environment_key: default
environments:
- environment_key: default
spec:
base_environment: databricks_ai_v6
Pour un exemple complet de Job, consultez Programmer des charges de travail GPU et composer des tâches.
Mise en cache des environnements et modules personnalisés
Quand les environnements sont-ils mis en cache ?
AI Runtime met en cache l’environnement de votre Notebook. Ainsi, lorsque vous rouvrez ce dernier, vous n’avez pas besoin de réinstaller les packages. Pour plus de détails, voir Reset les dépendances de l’environnement.
La mise en cache s'applique aux notebooks interactifs. Les charges de travail exécutées via le air CLI ou planifiées en tant que jobs n'utilisent pas ce cache ; chaque exécution installe ses dépendances à partir de zéro.
En guise de bonne pratique, pin les packages à une version spécifique afin que votre environnement mis en cache reste valide et que vos exécutions restent reproductibles.
Comment importer des modules personnalisés ?
Les étapes suivantes montrent comment utiliser vos propres modules Python.
- Synchronisez votre code avec le workspace. Clonez un repository Git dans le Workspace avec un dossier Git, ou upload les fichiers directement en tant que fichiers de Workspace. Stockez le code partagé sous
/Workspace/Sharedpour les projets d’équipe, ou dans un dossier utilisateur pour le développement personnel. Le maintien du code dans un dossier Git permet de gérer ses versions. - Ajoutez le dossier à
sys.pathet importez-le en haut de votre notebook ou de votre script d'entraînement :
import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function
Limitations
Les capacités suivantes ne sont pas disponibles dans l'AI Runtime :
- Fonctions Spark : Vous ne pouvez pas importer ou utiliser des fonctions PySpark directement. AI Runtime est un environnement uniquement Python ; Spark n'est pas disponible en tant que Runtime local. Cependant, Spark Connect est disponible pour le chargement de données. Consultez Charger des données sur l’IA Runtime.
- Bibliothèques Databricks Runtime ML : Les packages préinstallés ne remplacent pas Databricks Runtime ML. Certaines bibliothèques ML disponibles dans Databricks Runtime ML ne sont peut-être pas préinstallées dans AI Runtime.
- Artefacts privés : L’IA Runtime prend en charge les artefacts privés dans certains cas. Contactez l'équipe chargée de votre compte pour plus d'informations.