AI Runtime

info

Aperçu

Cette fonctionnalité est en aperçu public.

AI Runtime est une offre de compute GPU serverless chez Databricks conçue pour les charges de travail de deep learning. Vous pouvez utiliser AI Runtime pour entraîner et affiner des modèles personnalisés à l'aide de vos frameworks préférés, et bénéficier d'une efficacité, d'une performance et d'une qualité de pointe.

Get start

Exécutez votre première charge de travail en quelques minutes à l'aide de nos guides de démarrage rapide.

• • 🚀 Démarrage rapide de la CLI Databricks
  • Vous venez d'un cluster Slurm ou Kubernetes ? Entraînez sur AI Runtime depuis votre terminal en quelques minutes.
• • 📓 Notebook démarrage rapide
  • Associez votre notebook à un GPU en quelques secondes et développez de manière interactive.
• • ⚡ Ray
  • Vous venez d'un cluster Ray ? Exécutez Ray sur AI Runtime avec la prise en charge des tableaux de bord.
• • 🧭 Vue d'ensemble
  • Découvrez les points clés d’AI Runtime en deux minutes : processeurs graphiques (GPU) disponibles, fonctionnement et limitations.

Fonctionnalités

AI Runtime est une plateforme GPU full-stack proposant de nombreuses manières de se connecter aux GPU, des outils d'observabilité et de debugging intégrés, ainsi que des environnements prédéfinis.

Connect to Serverless GPUs : accédez aux GPU serverless où que vous travailliez.

• • Notebooks
  • Associez un notebook au compute GPU serverless et développez de manière interactive, sans configuration de cluster.
• • IDE via SSH
  • Connectez-vous depuis votre IDE ou votre terminal via un tunnel SSH pour travailler directement sur un nœud GPU.
• • Databricks CLI
  • Soumettez et gérez des jobs d'entraînement GPU distribués depuis votre ordinateur portable à l'aide de configurations de jobs YAML.
• • Agents IA
  • Utilisez la compétence d'agent databricks-ai-runtime pour soumettre, surveiller et gérer les jobs d'entraînement GPU à partir de votre agent IA.
• • Ray
  • Exécutez Ray Core, Ray Data, Ray Train et Ray Tune sur le compute GPU serverless.

Gestion des dépendances : contrôlez les bibliothèques Python et système exécutées par votre charge de travail.

• • Environnements préconfigurés
  • Start à partir d'un environnement Standard minimal ou d'un environnement Databricks AI préchargé avec des frameworks ML.

Chargement des données dans les GPU : alimentez efficacement vos GPU en données d'entraînement.

• • Chargeurs de données efficaces
  • Stream des flux de données à partir de volumes Unity Catalog grâce à des chargeurs tolérants aux pannes conçus pour une utilisation élevée du GPU.

debugging et observabilité : suivez les expérimentations, inspectez les sorties et diagnostiquez les pannes.

• • MLflow pour le deep learning
  • Suivez les expérimentations, les métriques et les exécutions avec MLflow.
• • Visionneuse de logs
  • Visualisez les résultats d'entraînement et surveillez l'utilisation des ressources GPU pendant l'exécution de votre code.
• • Debugging avec des agents
  • Utilisez Genie Code pour générer du code d'entraînement, résoudre les problèmes d'environnement et déboguer les défaillances de GPU.

Planification et diffusion en temps réel : passez du développement interactif aux jobs et aux Endpoint planifiés.

• • Planifier les workloads GPU
  • Déployez du code d'entraînement avec des Declarative Automation Bundles, planifiez des exécutions et créez des workflows GPU et CPU multi-tâches.
• • Servez vos modèles
  • Déployez vos modèles entraînés derrière un endpoint évolutif avec Model Serving.

Exemples

Découvrez des exemples de bout en bout de Notebook et de CLI Databricks pour le Runtime IA.

• • Classic machine learning
  • XGBoost accéléré par GPU, prédiction tabulaire zero-shot, et prévision de séries chronologiques.
• • Systèmes de recommandation
  • Entraînez des modèles de recommandation de deep learning, tels que les architectures à deux tours (two-tower).
• • Vision par ordinateur
  • Charges de travail de détection d'objets et de classification d'images sur GPU.
• • Post-entraînement des modèles OSS (LLM)
  • Affinez et post-entraînez des LLM open source avec LoRA, l'affinement complet et des bibliothèques telles que TRL, Unsloth et Axolotl.
• • Inférence par batch
  • Exécutez des inférences par batch à grande échelle avec Ray Data et vLLM sur plusieurs GPU.
• • Entraînement distribué multi-GPU
  • Monter en charge l'entraînement sur plusieurs GPU et nœuds avec DDP, FSDP et DeepSpeed.

Guides

Guides axés sur les tâches pour migrer les charges de travail vers AI Runtime et tirer le meilleur parti de vos GPU.

• • Migration depuis Slurm
  • Mappez vos scripts batch Slurm, vos lanceurs distribués et votre stockage partagé sur le CLI Databricks.
• • Migrer les charges de travail GPU classiques
  • Migrez une charge de travail de deep learning existante d’un cluster Databricks classique vers AI Runtime.
• • Performance et résilience
  • Améliorez le throughput d’entraînement et rendez les jobs de longue durée plus résistants aux défaillances.

Ressources supplémentaires

Trouvez du contenu utile : les dernières mises à jour de produit et le fonctionnement d'AI Runtime en arrière-plan.

• • Mises à jour des produits
  • Consultez les dernières mises à jour et annonces de produits AI Runtime.
• • Fonctionnement en profondeur d’AI Runtime
  • Découvrez comment Databricks garantit la fiablité des GPU avec AI Runtime.