Présentation

AI Runtime est un compute GPU serverless sur Databricks pour les workloads d'apprentissage profond. Cette page présente le fonctionnement, des exemples de cas d'usage, le matériel, les fonctionnalités clés et les limitations.

Comment fonctionne AI Runtime ?

AI Runtime vous permet d'entraîner et d'ajuster des modèles sur Databricks sans gérer l'infrastructure GPU. Vous apportez votre code et Databricks gère la capacité, l'approvisionnement et la gestion des GPU.

Par exemple, la commande suivante envoie un workload depuis votre terminal :

Bash

databricks air run --file workload.yaml --watch

Quand vous exécutez databricks air run, AI Runtime package le code que vous soumettez et l'orchestre sur un compute GPU Serverless géré par Databricks. Pour essayer, consultez le guide de démarrage rapide d'AI Runtime.

Exemples de cas d'usage

Vous pouvez utiliser AI Runtime pour entraîner ou ajuster de nombreux types de modèles d’IA. Par exemple :

• Affinement des LLM (LoRA, QLoRA, affinement complet). Voir Grands modèles de langage (LLM).
• Vision informatique (détection d'objets, classification d'images). Voir Reconnaissance informatique.
• Systèmes de recommandation basés sur le deep learning. Voir Systèmes de recommandation basés sur le deep learning.
• Prévisions chronologiques basées sur le ML classique et l'apprentissage profond accéléré par GPU. Consultez Machine learning classique.
• Inférence par batch à grande échelle. Voir l'inférence batch.
• Entraînement distribué multi-GPU. Voir Entraînement distribué multi-GPU.
• Machine learning par renforcement. Voir Grands modèles de langage (LLM).

Pour tous les tutoriels de notebooks et les recettes de la CLI Databricks, consultez Exemples AI Runtime.

Matériel

info

Aperçu

L'entraînement sur des accélérateurs 8xB300 est en préversion publique. Il est disponible dans AWS sur liste d'attente. Pour demander un accès, contactez l'équipe de votre compte Databricks ou votre représentant des ventes pour en savoir plus.

Tous les accélérateurs AI Runtime provisionnent un nœud unique. Le nombre de GPU sur ce nœud dépend du type d'accélérateur :

Accélérateur	GPU par nœud	Mémoire GPU	Idéal pour	Formation distribuée
1xA10	1	24 Go	Tâches de ML et de deep learning de petite et moyenne envergure, telles que les modèles ML classiques ou l'affinement de modèles de langage plus petits	Non pris en charge (GPU unique)
1xH100	1	80 Go	Charges de travail nécessitant plus de mémoire GPU que ce que fournit 1xA10, mais ne nécessitant pas d’entraînement distribué multi-GPU, telles que l’affinement de modèles de langage de taille moyenne	Non pris en charge (GPU unique)
8xH100	8	80 Go par GPU	Charges de travail d'IA à grande échelle, comprenant l'entraînement ou l'affinement de modèles massifs ou l'exécution de tâches de deep learning avancées	Pris en charge avec le décorateur @distributed, qui utilise les huit GPU default
8xB300	8	288 Go par GPU	Les modèles les plus grands et les longueurs de contexte les plus élevées. Les 288 Go de HBM par GPU permettent d’entraîner des modèles et des tailles de batch qui nécessiteraient autrement un déchargement processeur sur des GPU plus petits.	Pris en charge avec le décorateur @distributed, qui utilise les huit GPU default

Accélérateur	GPU par nœud	Mémoire GPU	Idéal pour	Formation distribuée
1xA10	1	24 Go	Tâches de ML et de deep learning de petite et moyenne envergure, telles que les modèles ML classiques ou l'affinement de modèles de langage plus petits	Non pris en charge (GPU unique)
1xH100	1	80 Go	Charges de travail nécessitant plus de mémoire GPU que ce que fournit 1xA10, mais ne nécessitant pas d’entraînement distribué multi-GPU, telles que l’affinement de modèles de langage de taille moyenne	Non pris en charge (GPU unique)
8xH100	8	80 Go par GPU	Charges de travail d'IA à grande échelle, comprenant l'entraînement ou l'affinement de modèles massifs ou l'exécution de tâches de deep learning avancées	Pris en charge avec le décorateur @distributed, qui utilise les huit GPU default
8xB300	8	288 Go par GPU	Les modèles les plus grands et les longueurs de contexte les plus élevées. Les 288 Go de HBM par GPU permettent d’entraîner des modèles et des tailles de batch qui nécessiteraient autrement un déchargement processeur sur des GPU plus petits.	Pris en charge avec le décorateur @distributed, qui utilise les huit GPU default

astuce

Seuls les modèles 8xH100 et 8xB300 prennent en charge l’entraînement distribué multi-GPU. Pour les charges de travail mon GPU, choisissez 1xA10 ou 1xH100 en fonction de la mémoire GPU nécessaire à votre modèle.

Fonctionnalités clés

Catégorie	Fonctionnalités
Connectez-vous à des GPU	Databricks CLI: soumettez et gérez des charges de travail GPU depuis votre terminal avec des configurations YAML. Notebooks: connectez un notebook à un GPU et développez de manière interactive. Entraînement distribué dans les Notebook: Exécutez PyTorch DDP, FSDP ou DeepSpeed sur tous les GPU d'un nœud avec le décorateur @distributed. Jobs: Planifiez une charge de travail GPU en tant que job récurrent. IDE sur SSH: Connectez-vous à partir de votre IDE ou de votre terminal à un nœud GPU. Ray: exécutez Ray Core, Ray Data, Ray Train et Ray Tune.
Développer des charges de travail	Environnements préconfigurés: choisissez l'environnement Standard minimal ou l'environnement Databricks AI avec PyTorch et Transformers préinstallés. Images Docker personnalisées: apportez votre propre image et poussez-la vers le registre d'artefacts. Charger et enregistrer des données: Stream des données à partir de volumes et de tables Unity Catalog. Agents de codage: utilisez Genie Code et les compétences d'agent pour écrire, envoyer et déboguer des workloads GPU.
Superviser et déployer	Suivre les exécutions, les Log et les métriques: suivez les Expérimentations avec MLflow, affichez les Log et surveillez l'utilisation des GPU. Planifier des charges de travail GPU: Déployez avec Declarative Automation Bundles et créez des jobs GPU et CPU multitâches. Convertir une charge de travail en bundle: Transformez un YAML de charge de travail en job Declarative Automation Bundles. Configurer les tâches de bundle: package le code, sélectionnez le compute GPU et transmettez la configuration aux tâches.

Catégorie	Fonctionnalités
Connectez-vous à des GPU	Databricks CLI: soumettez et gérez des charges de travail GPU depuis votre terminal avec des configurations YAML. Notebooks: connectez un notebook à un GPU et développez de manière interactive. Entraînement distribué dans les Notebook: Exécutez PyTorch DDP, FSDP ou DeepSpeed sur tous les GPU d'un nœud avec le décorateur @distributed. Jobs: Planifiez une charge de travail GPU en tant que job récurrent. IDE sur SSH: Connectez-vous à partir de votre IDE ou de votre terminal à un nœud GPU. Ray: exécutez Ray Core, Ray Data, Ray Train et Ray Tune.
Développer des charges de travail	Environnements préconfigurés: choisissez l'environnement Standard minimal ou l'environnement Databricks AI avec PyTorch et Transformers préinstallés. Images Docker personnalisées: apportez votre propre image et poussez-la vers le registre d'artefacts. Charger et enregistrer des données: Stream des données à partir de volumes et de tables Unity Catalog. Agents de codage: utilisez Genie Code et les compétences d'agent pour écrire, envoyer et déboguer des workloads GPU.
Superviser et déployer	Suivre les exécutions, les Log et les métriques: suivez les Expérimentations avec MLflow, affichez les Log et surveillez l'utilisation des GPU. Planifier des charges de travail GPU: Déployez avec Declarative Automation Bundles et créez des jobs GPU et CPU multitâches. Convertir une charge de travail en bundle: Transformez un YAML de charge de travail en job Declarative Automation Bundles. Configurer les tâches de bundle: package le code, sélectionnez le compute GPU et transmettez la configuration aux tâches.

Requirements

Avant de start, confirmez que votre Workspace remplit ces conditions :

• Consultez Disponibilité de l'AI Runtime par Geo pour connaître les Geos prises en charge et les exigences en matière de traitement inter-Geo. La disponibilité du GPU varie selon le workspace.
• Si votre workspace a le profil de sécurité de la conformité activé, un administrateur de workspace doit activer les aperçus AI Runtime et AI Runtime multi-nœud H100 . Consultez Gérer les aperçus Databricks. Pour plus de détails sur l’activation par default de ces workspaces, voir l’ avis préalable.

Limitations

Gardez à l'esprit les limitations suivantes lorsque vous planifiez une charge de travail AI Runtime :

• L'AI Runtime prend uniquement en charge les accélérateurs A10, H100 et B300.

• AI Runtime ne prend pas en charge le profil de sécurité de la conformité pour les normes FedRAMP High ou DoD IL5.

• L’ajout de dépendances à l’aide du panneau Environments n’est pas pris en charge pour les Runtime jobs planifiés. Installez plutôt les dépendances par programmation à l’aide de %pip install dans votre notebook.

• Pour les jobs planifiés sur AI Runtime, le comportement de récupération automatique pour les versions de package incompatibles qui sont associées à votre notebook n'est pas pris en charge.

• Les tentatives de connexion AI Runtime s'interrompent après 15 minutes pour les notebooks interactifs et après 24 heures pour les jobs de notebook ou les jobs CLI. Les sessions de notebook et les jobs de notebook connectés peuvent s'exécuter jusqu'à deux jours, et les jobs CLI peuvent s'exécuter jusqu'à 14 jours. Pour les jobs d'entraînement de modèle de longue durée, implémentez le point de contrôle et redémarrez le job lorsque la durée d'exécution maximale est atteinte. Consultez Point de contrôle avec Distributed Checkpoint (DCP).

• L’exécution d’un Job planifié qui utilise un environnement de base de Workspace, y compris l’ environnement Databricks AI, est en version bêta. Un administrateur de workspace doit activer l’aperçu Prise en charge de l’environnement de base de workspace serverless dans les jobs . Consultez Gérer les aperçus Databricks.

• AI Runtime offre un accès à la demande aux ressources GPU. Bien que cela permette un accès simple et flexible aux GPU, il peut y avoir des périodes où la capacité est limitée ou indisponible dans votre région.

• AI Runtime exploite des GPU interrégionaux dans certains cas lors de pics de forte demande. Des coûts de sortie de données peuvent être associés à cette utilisation, et la connectivité réseau interrégionale peut être limitée à certains moments.

Guides

• Pourquoi utiliser AI Runtime plutôt que classic compute: comparez AI Runtime avec classic compute et Databricks Runtime ML.
• Guides pour le Runtime AI: Suivez l'utilisation et les coûts, et dépannez les erreurs courantes.
• Migrer des workloads GPU classiques vers serverless: déplacez un workload de deep learning d'un cluster classique vers AI Runtime.
• Migrer depuis Slurm: Mappez les scripts de batch, les lanceurs et le stockage partagé de Slurm sur le CLI Databricks.
• Améliorer les performances et la résilience de l'entraînement sur AI Runtime: accélérez l'entraînement et rendez vos jobs de longue durée résilients aux défaillances.