Migrer les charges de travail GPU classiques vers le serverless

Si vous déplacez une charge de travail de deep learning existante d'un cluster Databricks classique (avec Databricks Runtime ML) vers le serverless (avec AI Runtime), suivez ces étapes :

1. Remplacer le code dépendant des clusters. Supprimez toute référence à l’entraînement distribué basé sur Spark (par exemple, TorchDistributor) et remplacez-la par le décorateur @distributed provenant de serverless_gpu.
2. Chargement des données de mise à jour. Remplacer les chemins d’accès DBFS directs par des chemins de volume Unity Catalog (/Volumes/...). Remplacer les opérations sur les DataFrame Spark locaux par Spark Connect. Pour le streaming de données basées sur des fichiers à partir de volumes, utilisez UCVolumeDataset à partir de serverless_gpu.data. Voir Charger des données sur AI Runtime.
3. Configurez votre environnement. Certaines bibliothèques préinstallées de Databricks Runtime ML ne sont pas disponibles sur AI Runtime. Configurez un environnement GPU serverless et installez les packages nécessaires à votre charge de travail avec %pip install. Voir Configurer votre environnement.
4. Mettre à jour les chemins de points de contrôle. Déplacer les points de contrôle de DBFS ou du stockage local vers les volumes Unity Catalog (/Volumes/<catalog>/<schema>/<volume>/...). Pour la création de points de contrôle distribués, utilisez UCVolumeWriter et UCVolumeReader à partir de serverless_gpu.data, qui acheminent les E/S via le stockage NVMe local. Voir Gestion des points de contrôle de modèle.
5. Examinez votre configuration MLflow. Sur AI Runtime, l'API .distributed() crée automatiquement des runs MLflow. Pour personnaliser l'experiment, définissez-la avec un chemin absolu. Pour reprendre les exécutions interrompues, définissez un nom d’exécution. Consultez l’ intégration MLflow.
6. Testez d'abord de manière interactive. Validez votre charge de travail dans un notebook interactif avant de la planifier en tant que job.