Migrer les charges de travail GPU classiques vers le serverless

Si vous déplacez une charge de travail de deep learning existante d'un cluster Databricks classique (avec Databricks Runtime ML) vers serverless (avec AI Runtime), suivez ces étapes :

1. Remplacer le code dépendant du cluster. Supprimez toute référence à l'entraînement distribué basé sur Spark (par exemple TorchDistributor) et remplacez-la par le décorateur @distributed du Databricks AI Runtime SDK (databricks.air).
2. Mettre à jour le chargement des données. Remplacez les chemins DBFS directs par des chemins de volume Unity Catalog (/Volumes/...). Remplacez les opérations locales Spark DataFrame par Spark Connect. Pour le streaming de données basées sur des fichiers provenant de volumes, utilisez UCVolumeDataset depuis databricks.air.data. Consultez Charger des données sur AI Runtime.
3. Configurez votre environnement. Certaines bibliothèques préinstallées dans Databricks Runtime ML ne sont pas disponibles dans AI Runtime. Configurez un environnement GPU serverless et installez les packages dont votre charge de travail a besoin avec %pip install. Voir Configurer votre environnement.
4. Mettre à jour les chemins de point de contrôle. Déplacez les points de contrôle depuis DBFS ou le stockage local vers les volumes Unity Catalog (/Volumes/<catalog>/<schema>/<volume>/...). Pour les points de contrôle distribués, utilisez UCVolumeWriter et UCVolumeReader provenant de databricks.air.data, qui mettent en cache les E/S via le NVMe local. Voir Point de contrôle avec point de contrôle distribué (DCP).
5. Consultez votre configuration MLflow. Sur AI Runtime, l’API .distributed() crée automatiquement des exécutions MLflow. Pour personnaliser l’Experimentation, définissez-la avec un chemin absolu. Pour reprendre les exécutions interrompues, définissez un nom d’exécution. Voir Ce que MLflow fournit.
6. Testez d'abord de manière interactive. Validez votre workload dans un notebook interactif avant de le planifier en tant que job.