Aller au contenu principal
Dernière mise à jour le

Utiliser Genie Code avec AI Runtime

Genie Code vous aide à développer et à dépanner les charges de travail de deep learning dans les notebooks connectés à AI Runtime. Il peut générer du code d’entraînement distribué, résoudre des problèmes d’environnement et de dépendance, et examiner les défaillances des charges de travail GPU.

Genie Code crée et exécute une charge de travail d’entraînement CNN distribuée sur huit GPU H100 dans un notebook AI Runtime.

Exigences​

Pour utiliser Genie Code avec AI Runtime :

Get start​

  1. Ouvrez un notebook Databricks.

  2. Connectez le Notebook à l’environnement Runtime de l’IA. Voir Démarrage rapide de AI Runtime Notebook.

  3. Ouvrez le panneau Genie Code.

  4. Décrivez le workload que vous souhaitez développer ou le problème que vous souhaitez résoudre.

  5. Examinez le plan proposé, les modifications de code et les actions avant de les approuver.

important

Genie Code peut faire des erreurs. Examinez le code généré, les changements d'environnement et les autres actions proposées avant de les exécuter. Certains diagnostics nécessitent des logs supplémentaires ou un contexte de charge de travail.

Avec quoi Genie Code peut-il m'aider ?​

Développer des charges de travail d'entraînement distribué​

Genie Code peut générer ou mettre à jour du code d’entraînement pour AI Runtime. Il peut vous aider à sélectionner une stratégie distribuée PyTorch appropriée, à utiliser l'API @distributed du SDK Databricks AI Runtime (databricks.air) et à appliquer des modèles AI Runtime pour le chargement des données, le contrôle des points de contrôle et le suivi MLflow. Pour plus d'informations sur l'API et des exemples, voir Entraînement distribué dans les Notebook.

Résoudre les problèmes d’environnement et de dépendance​

Genie Code peut inspecter l’environnement actuel, distinguer les échecs de compatibilité de package des modifications de code ou d’API, et recommander des corrections ciblées. Il peut également vous aider à choisir entre les environnements Databricks AI et Standard en fonction des dépendances de votre charge de travail. Pour obtenir des informations sur les environnements disponibles, consultez Configurer votre environnement.

Déboguez les workloads GPU et distribués​

Genie Code peut utiliser la sortie du notebook et les logs disponibles pour enquêter sur les échecs d'entraînement distribué, les erreurs de communication, les blocages d'entraînement et les problèmes de mémoire GPU. Cela peut aider à identifier la panne initiale et à la distinguer des erreurs en aval sur les autres rangs. Pour plus d'informations sur l'affichage des logs d'entraînement distribué, consultez Experimentation et observabilité.

Exemples d’invites​

Développer des charges de travail d'entraînement distribué​

  • « Mettre à jour ce Notebook pour exécuter un entraînement distribué sur les huit GPU H100 du Runtime IA. »
  • « Révisez ce notebook d'entraînement distribué et corrigez son utilisation de @distributed et MLflow. »
  • « Migrer ce notebook du SDK serverless_gpu vers le SDK AI Runtime. »
  • « Adaptez cette charge de travail de formation pour l'IA Runtime et expliquez les changements importants. »

Résoudre les problèmes d’environnement et de dépendance​

  • "Ce notebook a cessé de fonctionner après que j'ai installé un nouveau package. Inspectez l’environnement et déterminez si le problème est dû à une dépendance ou à un changement d’API de code."
  • « Cette charge de travail doit-elle utiliser l'environnement Databricks AI ou Standard ? Révisez ses dépendances et recommandez un environnement avant de modifier quoi que ce soit. »
  • « Diagnostiquez cette erreur de compatibilité de package et recommandez le changement approprié le plus faible. »

Déboguez les workloads GPU et distribués​

  • « Analysez cette exécution d’entraînement distribué qui a échoué en utilisant les sorties disponibles de chaque rang et identifiez la cause première. »
  • « Pourquoi cette charge de travail distribuée bloque-t-elle ? Utilisez la sortie du notebook pour recommander l'étape de debugging suivante."
  • « Étudier cette défaillance de la mémoire GPU et recommander une étape suivante fondée sur des preuves. »

Ressources supplémentaires​

Sur cette page