Aller au contenu principal
Dernière mise à jour le

Migrer les charges de travail GPU classiques vers le Runtime IA

Si vous déplacez une charge de travail de deep learning existante d’un cluster Databricks classique (avec Databricks Runtime ML) vers serverless (avec AI Runtime), suivez ces étapes. Pour savoir pourquoi Databricks recommande AI Runtime pour ces charges de travail, consultez Pourquoi utiliser AI Runtime au lieu du compute classique.

  1. Remplacer le code dépendant du cluster. Supprimez toute référence à l'entraînement distribué basé sur Spark (par exemple TorchDistributor) et remplacez-la par le décorateur @distributed du Databricks AI Runtime SDK (databricks.air).
  2. Mettre à jour le chargement des données. Remplacez les chemins DBFS directs par des chemins de volume Unity Catalog (/Volumes/...). Remplacez les opérations locales Spark DataFrame par Spark Connect. Pour le streaming de données basées sur des fichiers provenant de volumes, utilisez UCVolumeDataset depuis databricks.air.data. Consultez Charger des données sur AI Runtime.
  3. Configurez votre environnement. Certaines bibliothèques préinstallées de Databricks Runtime ML ne sont pas disponibles sur AI Runtime. Configurez un environnement GPU serverless et installez les packages dont votre charge de travail a besoin avec %pip install. Voir Configurer votre environnement AI Runtime.
  4. Mettre à jour les chemins de point de contrôle. Déplacez les points de contrôle depuis DBFS ou le stockage local vers les volumes Unity Catalog (/Volumes/<catalog>/<schema>/<volume>/...). Pour les points de contrôle distribués, utilisez UCVolumeWriter et UCVolumeReader provenant de databricks.air.data, qui mettent en cache les E/S via le NVMe local. Voir Point de contrôle avec point de contrôle distribué (DCP).
  5. Consultez votre configuration MLflow. Sur AI Runtime, l’API .distributed() crée automatiquement des exécutions MLflow. Pour personnaliser l’Experimentation, définissez-la avec un chemin absolu. Pour reprendre les exécutions interrompues, définissez un nom d’exécution. Voir Ce que MLflow fournit.
  6. Testez d'abord de manière interactive. Validez votre workload dans un notebook interactif avant de le planifier en tant que job.

Ce chemin de migration s’applique aux charges de travail qui s’adaptent à l’un des accélérateurs Runtime AI à nœud unique pris en charge.

prompt

Demandez à Genie Code de le faire pour vous :

Text
Migrate this Databricks Runtime ML GPU notebook to AI Runtime.