Guides pour AI Runtime

Migrez vos charges de travail existantes, améliorez les performances d’entraînement, suivez l’utilisation des GPU et résolvez les erreurs courantes.

• • Pourquoi utiliser AI Runtime
  • Comparez l'AI Runtime et le compute Databricks Runtime ML classique pour le coût, l'expérience développeur et Monter en charge.
• • Migrez les charges de travail GPU classiques
  • Migrez une charge de travail de deep learning existante d'un cluster Databricks classique vers AI Runtime.
• • Migration depuis Slurm
  • Mappez vos scripts batch Slurm, vos lanceurs distribués et votre stockage partagé sur la CLI Databricks.
• • Optimisez la performance de votre workload
  • Améliorez le throughput d'entraînement et rendez les jobs à longue exécution plus résistants aux échecs.

Suivre l'utilisation et les coûts

Vous pouvez surveiller vos dépenses GPU AI Runtime en interrogeant la table système d'utilisation facturable (system.billing.usage). La query suivante renvoie l'utilisation totale pour les workloads GPU serverless :

SQL

SELECT
  SUM(usage_quantity)
FROM
  system.billing.usage
WHERE
  product_features.serverless_gpu IS NOT NULL

Pour plus d'informations sur le schéma de la table d'utilisation facturable, consultez la référence de la table système d'utilisation facturable.

Pour connaître les tarifs actuels des GPU, consultez les tarifs de AI Runtime.

Exemples

Explorez les tutoriels sur les notebooks et les recettes CLI Databricks exécutables, organisés par tâche. Consultez des exemples d’AI Runtime.

Dépannage

Genie Code peut aider à résoudre les problèmes d'environnement et de dépendances, ainsi qu'à examiner les échecs de charges de travail GPU et distribuées dans les notebooks connectés à AI Runtime. Voir Utiliser Genie Code avec AI Runtime.

Pour déboguer de manière interactive sur le compute, utilisez le terminal web pour exécuter des commandes shell, inspecter l’utilisation du GPU avec nvidia-smi et gérer les fichiers. Le terminal Web est disponible lorsqu’il est connecté à la version 5 de l’environnement Runtime de l’IA ou une version supérieure. Voir Exécuter des commandes shell dans le terminal web Databricks.

ValueError : la taille de numpy.dtype a changé, ce qui peut indiquer une incompatibilité binaire. 96 attendu depuis l'en-tête C, 88 obtenu depuis PyObject

L'erreur survient généralement lorsqu'il existe une inadéquation entre les versions de NumPy utilisées lors de la compilation d'un package dépendant et la version de NumPy actuellement installée dans l'environnement Runtime. Cette incompatibilité survient souvent en raison de changements dans l'API C de NumPy et est particulièrement notable entre NumPy 1.x et 2.x. Cette erreur indique que le package Python installé dans le notebook a peut-être modifié la version de NumPy.

Solution recommandée :

Vérifiez la version de NumPy dans l’environnement d’exécution et assurez-vous qu’elle est compatible avec vos packages. Consultez les notes de publication de l’environnement Runtime de l’IA pour l’environnement 6, l’environnement 5 et l’environnement 4 pour obtenir des informations sur les bibliothèques Python préinstallées. Si vous avez une dépendance à une autre version de NumPy, ajoutez cette dépendance à votre environnement de compute.

PyTorch ne parvient pas à trouver libcudnn lors de l'installation de torch

Lorsque vous installez une version différente de torch, vous pouvez voir l’erreur : ImportError: libcudnn.so.9: cannot open shared object file: No such file or directory. C’est parce que torch recherche uniquement la bibliothèque cuDNN dans le chemin local.

Solution recommandée :

Réinstallez les dépendances en ajoutant --force-reinstall lors de l'installation de torch:

Python

%pip install torch --force-reinstall