Inférence par batch

info

Aperçu

Cette fonctionnalité est en aperçu public.

Ces exemples exécutent des inférences par batch à grande échelle sur des GPU Serverless d’AI Runtime. Ils couvrent un éventail de modalités, telles que la génération de texte par LLM et la conversion parole-texte, à l’aide de frameworks tels que Ray Data, vLLM et Transformers.

Exemple	Interface	Description
Inférence par batch de Qwen2.5-32B avec Ray Data et vLLM	Notebook	Exécutez une inférence par batch multilingue avec huit répliques vLLM persistantes de Qwen2.5-32B-Instruct sur 8 GPU H100 et enregistrez les résultats dans le Unity Catalog.
Transcription vocale par batch avec Whisper	Notebook	Retranscrivez des fichiers audio par batch avec OpenAI Whisper large-v3-turbo sur des GPU serverless, en utilisant des bibliothèques préinstallées dans AI Runtime.
Inférence par batch avec Qwen2.5-7B-Instruct et vLLM	CLI	Utilisez Ray Data et vLLM pour générer des réponses sur un nœud 8x H100 et écrivez les résultats dans un volume Unity Catalog au format Parquet.

Exemple	Interface	Description
Inférence par batch de Qwen2.5-32B avec Ray Data et vLLM	Notebook	Exécutez une inférence par batch multilingue avec huit répliques vLLM persistantes de Qwen2.5-32B-Instruct sur 8 GPU H100 et enregistrez les résultats dans le Unity Catalog.
Transcription vocale par batch avec Whisper	Notebook	Retranscrivez des fichiers audio par batch avec OpenAI Whisper large-v3-turbo sur des GPU serverless, en utilisant des bibliothèques préinstallées dans AI Runtime.
Inférence par batch avec Qwen2.5-7B-Instruct et vLLM	CLI	Utilisez Ray Data et vLLM pour générer des réponses sur un nœud 8x H100 et écrivez les résultats dans un volume Unity Catalog au format Parquet.