Gérer les environnements de base du workspace

Cette page explique comment créer et gérer des environnements de base de workspace au sein d'un workspace. Les environnements de base du Workspace permettent aux administrateurs de Workspace de créer et de gérer des environnements pré-construits et mis en cache pour les Notebooks Serverless.

Autorisations

• Seuls les administrateurs de Workspace peuvent créer et gérer les environnements de base d'un Workspace.
• Tous les utilisateurs du workspace ont accès aux environnements de base d'un workspace.
• Tous les utilisateurs du Workspace peuvent créer des spécifications d'environnement Serverless personnalisées.

Fonctionnement des environnements de base du Workspace dans Databricks

Dans Databricks, un environnement de base est une spécification YAML partageable qui définit une version d'environnement serverless et un ensemble de dépendances Python supplémentaires pour les notebooks serverless. Les administrateurs du Workspace créent et gèrent les environnements de base afin que les utilisateurs puissent rapidement start à partir d'un environnement cohérent et mis en cache et éventuellement ajouter leurs propres bibliothèques.

Utilisez les environnements de base du workspace

Les utilisateurs peuvent sélectionner un environnement de base du Workspace dans le menu déroulant Environnement de base du volet latéral Environnement . Les environnements de base du Workspace apparaissent dans le menu déroulant aux côtés d'autres options comme Standard , ML , AI et Custom .

Lorsqu'un environnement de base de Workspace est sélectionné, l'environnement préconfiguré mis en cache se charge rapidement, ce qui réduit le temps de Startup des Notebooks et des Jobs. Pour les Jobs, l'utilisation d'environnements de base de Workspace améliore les performances, car les dépendances sont déjà mises en cache.

Pour obtenir des instructions sur la configuration des environnements de base dans les Notebooks, consultez Sélectionner un environnement de base. Pour obtenir des instructions sur l'utilisation des environnements de base gérés dans les jobs, consultez Configurer l'environnement des tâches de job.

Créer et exporter une spécification d'environnement

Le moyen le plus simple de créer une spécification YAML valide consiste à créer l'environnement dans le panneau latéral Environment , puis à utiliser le bouton Exporter l'environnement pour download le fichier YAML.

1. Ouvrez un Notebook et connectez-vous au compute Serverless.
2. Cliquez sur le bouton Environnement dans le panneau latéral du notebook.
3. Sous **Environnement de base**, sélectionnez **Standard** ou utilisez **Plus** pour choisir une version d'environnement spécifique. Databricks recommande d'utiliser la dernière version d'environnement Serverless prise en charge par votre Workspace.
4. Dans le champ Dépendances , ajoutez toutes les dépendances que vous souhaitez que l’environnement de base ait. Cliquez sur **Ajouter une dépendance** après avoir entré chaque dépendance. Pour plus d'instructions sur l'ajout de dépendances, consultez Ajouter des dépendances au notebook.
5. Cliquez sur Appliquer en bas du panneau d'environnement pour vous assurer que la spécification est valide.
6. Cliquez sur l'icône du menu kebab au bas du panneau d'environnement, puis cliquez sur Exporter l'environnement .
7. Donnez un nom au fichier YAML et ajoutez-le à un dossier Workspace ou à un volume Unity Catalog.

Exemple de spécification d'environnement

Le fichier YAML d'exemple suivant est basé sur la spécification d'environnement des projets MLflow. Il définit un environnement de base avec quelques dépendances de bibliothèque :

YAML

environment_version: '5'
dependencies:
  - --index-url https://pypi.org/simple
  - -r "/Workspace/Shared/requirements.txt"
  - my-library==6.1
  - /Workspace/Shared/Path/To/simplejson-3.19.3-py3-none-any.whl
  - git+https://github.com/databricks/databricks-cli

Ajouter un environnement de base à votre Workspace

Pour ajouter la spécification d'environnement en tant qu'environnement de base au workspace :

1. Dans le Workspace, accédez à Paramètres .
2. Sous Administrateur du Workspace , sélectionnez Compute .
3. À côté de Environnements de base pour le compute serverless , cliquez sur Gérer .
4. Cliquez sur Créer .
5. Donnez un nom à votre environnement de base. C'est le nom que les utilisateurs verront dans le menu déroulant Environnement de base .
6. Sélectionnez le fichier YAML de spécification de l'environnement à l'aide du sélecteur de fichiers. Vous pouvez parcourir les fichiers du workspace ou les volumes Unity Catalog.
7. Sélectionnez si l'environnement de base doit être défini par default pour tous les nouveaux notebooks.
8. (Facultatif) Pour définir un ID d’environnement de base personnalisé, développez Avancé et saisissez une valeur dans ID d’environnement de base . L’ID ne doit contenir que des lettres minuscules, des chiffres et des tirets, sans tiret au début ou à la fin. Si vous ne fournissez pas d’ID, Databricks en génère un automatiquement. L’ID ne peut pas être modifié après la création de l’environnement de base.
9. Cliquez sur Créer .

L'environnement de base start à être élaboré. Vérifiez la colonne **Statut** dans la liste des environnements de base. Il passera à Prêt à être utilisé lorsqu'il sera prêt.

Concevoir pour le compute GPU serverless (AI Runtime)

info

Bêta

Cette fonctionnalité est en Bêta. Les administrateurs du Workspace peuvent contrôler l'accès à cette fonctionnalité à partir de la page Previews . Consultez Gérer les aperçus Databricks.

Lors de la création d’un environnement de base, vous pouvez éventuellement activer la case à cocher **Build for Serverless GPU Compute** pour créer l’environnement pour les workloads GPU. Ceci crée une version compatible GPU de l'environnement de base qui apparaît dans la **tab** GPU.

La page de gestion des environnements de base comporte deux tabs :

• CPU : listes des environnements de base pour le compute Serverless (charges de travail sans GPU).
• GPU : Répertorie les environnements de base pour AI Runtime. Ce tab affiche également les lignes d'environnement AI qui correspondent aux environnements de base AI. Pour plus d'informations, consultez l'environnement Databricks AI.

Standard Latest fait référence à la dernière version stable de l'environnement de base standard fournie par Databricks.

remarque

Les enregistrements d'utilisation associés à la création et à l'actualisation des environnements de base ont la colonne billing_origin_product définie sur BASE_ENVIRONMENTS. De plus, l'identifiant spécifique de l'environnement de base est renseigné dans la colonne usage_metadata.base_environment_id.

Définir l'environnement de base default du Workspace

Par default, les notebooks serverless dans un workspace n'utilisent pas d'environnement de base. Les administrateurs de Workspace peuvent sélectionner un environnement de base à appliquer à tous les nouveaux Notebooks par default.

1. Dans le Workspace, accédez à Paramètres .
2. Sous Administrateur du Workspace , sélectionnez Compute .
3. À côté de Environnements de base pour le compute serverless , cliquez sur Gérer .
4. Cliquez sur l'icône en forme d'étoile à côté de l'environnement de base pour le définir default.

Tous les nouveaux Notebooks serverless utiliseront désormais par default l'environnement de base sélectionné.

Mettre à jour un environnement de base

Vous pouvez modifier le fichier d'environnement de base pour mettre à jour les numéros de version ou ajouter ou supprimer des dépendances. Pour modifier la version de l'environnement ou les dépendances, modifiez directement le fichier YAML source.

Dans la liste des environnements de base, cliquez sur le chemin d'accès au fichier YAML de l'environnement de base que vous souhaitez mettre à jour. Cela ouvre le fichier dans un nouvel tab. Vous pouvez consulter ou mettre à jour le contenu du fichier là. Les modifications sont enregistrées automatiquement.

Après avoir mis à jour la spécification YAML, vous devez refresh l'environnement de base afin que les Notebooks et les Job intègrent la dernière configuration.

1. À côté de l'environnement de base que vous souhaitez actualiser, cliquez sur l'icône du menu kebab puis sélectionnez Refresh.
2. Cliquez sur Confirmer .

Les nouvelles sessions utilisent désormais l'environnement de base mis à jour. Les sessions de notebook existantes doivent être redémarrées pour obtenir les mises à jour.

Limitations

Les environnements de base présentent les limitations suivantes :

• Les environnements de base dans les Jobs ne sont pris en charge que pour les types de tâche Notebook, script Python et Python wheel. Les autres types de tâche ne sont pas pris en charge. La prise en charge des environnements de base de Workspace dans les Jobs est en version Bêta.
• Les Lakeflow Pipelines ne prennent pas en charge les environnements de base.
• Seules les dépendances Python qui figurent dans la liste des dépendances sont installées lors de l'exécution.
• La version 1 de l’environnement Serverless n’est pas prise en charge. Utilisez la version 2 ou une version ultérieure.
• Les environnements de base sont disponibles pour tous les utilisateurs du workspace.
• Les Workspace sont limités à 10 environnements de base.