Ray sur AI Runtime
Aperçu
Cette fonctionnalité est en Aperçu public.
Cette page traite de Ray sur AI Runtime. Si vous utilisez Ray sur un compute classique Databricks avec Databricks Runtime ML, consultez Ray on Databricks.
Ray est un framework open source permettant de mettre à l'échelle les charges de travail Python. Vous pouvez créer des clusters Ray et exécuter des applications Ray sur AI Runtime, en utilisant un compute GPU serverless qui gère automatiquement le provisionnement de l'infrastructure.
Le CLI AI Runtime prend en charge Ray dans des configurations à nœud unique et à nœuds multiples. Incluez un script de bootstrap sous le command de la charge de travail, qui start le cluster Ray et coordonne les nœuds head et Worker lors du lancement de la charge de travail. Les exemples Ray hello world illustrent ce modèle.
AI Runtime prend en charge les bibliothèques principales de Ray, notamment Ray Core, Ray Data, Ray Train et Ray Tune. Installez la bibliothèque ray ou l'extra Ray pertinent (ray[data], ray[train], ray[tune]) en tant que dépendance pour votre charge de travail sur l'environnement Databricks standard. Si vous utilisez l'environnement Databricks AI, ray est préinstallé, mais les extras doivent être installés séparément.
Exemples
Exemple | Description |
|---|---|
Exemples minimaux à nœud unique et à nœuds multiples pour Ray Core, Ray Train, Ray Data et Ray Tune, incluant le modèle de bootstrap de cluster. | |
Ajustez un grand modèle de langage sur plusieurs nœuds à l’aide de Ray Train et PyTorch. | |
Exécutez une inférence batch à grande échelle en utilisant Ray Data pour le chargement de données distribué et vLLM pour une mise à disposition efficace des modèles. |