AI Runtime

L'AI Runtime est une offre de compute GPU Serverless entièrement managé chez Databricks pour vos workloads d'entraînement, d'affinement et d'apprentissage profond au sens large.

• GPU Serverless : A10 et H100 à la demande, accessibles via le CLI Databricks, les Notebooks, les Jobs et Ray.
• Environnements managés : environnements et chargeurs de données préconfigurés prêts pour l'entraînement et l'affinement, ou apportez votre propre conteneur Docker.
• Observabilité intégrée : suivi d’Experimentation via MLflow, journalisation et agents de debugging.
• Orchestration : planifiez vos charges de travail GPU et utilisez-les dans des pipelines CI/CD.

Get start

Découvrez l'environnement d'exécution de l'IA Runtime et exécutez votre premier workload.

• • 🚀 Démarrage rapide
  • Exécutez votre premier workload sur l’AI Runtime à partir de votre terminal.
• • 🧭 Vue d'ensemble
  • Apprenez les éléments clés concernant AI Runtime : quelles GPU sont disponibles, comment cela fonctionne et les limitations.
• • 💡 Exemples
  • Parcourir les notebooks de didacticiels et les recettes Databricks CLI exécutables organisées par tâche.

Connecter aux GPU

Accédez aux GPU via la CLI Databricks, les notebooks, les Jobs ou via Ray.

• • Databricks CLI
  • Soumettez et gérez des jobs d'entraînement GPU distribués depuis votre ordinateur portable à l'aide de configurations de jobs YAML.
• • Notebooks
  • Associez un notebook à AI Runtime et développez de manière interactive, sans configuration de cluster.
• • Jobs
  • Planifiez une charge de travail GPU sur AI Runtime en tant que job récurrent et orchestrez-la avec des tâches en amont et en aval.
• • Ray
  • Exécutez Ray Core, Ray Data, Ray Train et Ray Tune sur AI Runtime.

Développer des workloads

Chargez les données efficacement, configurez votre environnement et développez des charges de travail avec des agents de codage.

• • Charger des données dans des GPU
  • Stream des flux de données à partir de volumes Unity Catalog grâce à des chargeurs tolérants aux pannes conçus pour une utilisation élevée du GPU.
• • Environnements préconfigurés
  • Start à partir d'un environnement Standard minimal ou d'un environnement Databricks AI préchargé avec des frameworks ML.
• • Images Docker personnalisées
  • Utilisez votre propre image Docker lorsque votre charge de travail nécessite des bibliothèques système personnalisées ou des dépendances.
• • Agents de codage
  • Utilisez Genie Code et la compétence d’agent databricks-ai-runtime pour créer, soumettre et gérer des charges de travail GPU.

Surveiller, déboguer et déployer

Suivez les Experimentation, inspectez les Logs, diagnostiquez les pannes et planifiez les charges de travail de production.

• • MLflow pour le debugging
  • Suivez les expérimentations, les métriques et les exécutions avec MLflow.
• • Voir les logs
  • Affichez les résultats de l'entraînement, surveillez l'utilisation des ressources GPU pendant l'exécution de votre code et déboguez avec Genie Code.
• • Programmer des charges de travail
  • Déployez du code d'entraînement avec des Declarative Automation Bundles, planifiez des exécutions et créez des workflows GPU et CPU multi-tâches.
• • Servir des modèles entraînés
  • Déployez les modèles entraînés sur AI Runtime vers Model Serving.

Guides

Explorer les guides de migration, les didacticiels et les ressources techniques pour AI Runtime.

• • Pourquoi utiliser AI Runtime
  • Comparez AI Runtime avec le compute classique et Databricks Runtime ML en termes de coût, d’expérience développeur et de Monter en charge.
• • Migration depuis Slurm
  • Mappez vos scripts batch Slurm, vos lanceurs distribués et votre stockage partagé sur le CLI Databricks.
• • Migrer les charges de travail GPU classiques
  • Migrez une charge de travail de deep learning existante d’un cluster Databricks classique vers AI Runtime.
• • Optimisez les performances de votre workload
  • Améliorez le throughput d’entraînement et rendez les jobs de longue durée plus résistants aux défaillances.