Inférence par batch

Ces exemples exécutent des inférences par batch à grande échelle sur des GPU Serverless d’AI Runtime. Ils couvrent un éventail de modalités, telles que la génération de texte par LLM et la conversion parole-texte, à l’aide de frameworks tels que Ray Data, vLLM et Transformers.

Exemple	Interface	Description
Inférence par batch de Qwen2.5-32B avec Ray Data et vLLM	Notebook	Exécutez une inférence par batch multilingue avec huit répliques vLLM persistantes de Qwen2.5-32B-Instruct sur 8 GPU H100 et enregistrez les résultats dans le Unity Catalog.
Transcription vocale par batch avec Whisper	Notebook	Retranscrivez des fichiers audio par batch avec OpenAI Whisper large-v3-turbo sur des GPU serverless, en utilisant des bibliothèques préinstallées dans AI Runtime.
Inférence par batch avec Qwen2.5-7B-Instruct et vLLM	CLI	Utilisez Ray Data et vLLM pour générer des réponses sur un nœud 8x H100 et écrivez les résultats dans un volume Unity Catalog au format Parquet.
Transcription audio et diarisation avec Whisper et pyannote	CLI	Utilisez Ray Data pour distribuer la transcription vocale et la diarisation des locuteurs sur un cluster GPU, puis écrivez les résultats dans un volume Unity Catalog en tant que Parquet.
Plongements de protéines avec BioNeMo ESM-2	CLI	Utilisez Ray Data et BioNeMo ESM-2 pour intégrer des protéines sur un nœud 8x H100, puis entraînez et évaluez un classificateur linéaire de protéines membranaires.
Compréhension d'images par batch avec Qwen3-VL-8B et vLLM	CLI	Utilisez Ray Data et vLLM pour légender et classifier des images sur un nœud 8x H100 et écrivez des résultats structurés en Parquet.

Exemple	Interface	Description
Inférence par batch de Qwen2.5-32B avec Ray Data et vLLM	Notebook	Exécutez une inférence par batch multilingue avec huit répliques vLLM persistantes de Qwen2.5-32B-Instruct sur 8 GPU H100 et enregistrez les résultats dans le Unity Catalog.
Transcription vocale par batch avec Whisper	Notebook	Retranscrivez des fichiers audio par batch avec OpenAI Whisper large-v3-turbo sur des GPU serverless, en utilisant des bibliothèques préinstallées dans AI Runtime.
Inférence par batch avec Qwen2.5-7B-Instruct et vLLM	CLI	Utilisez Ray Data et vLLM pour générer des réponses sur un nœud 8x H100 et écrivez les résultats dans un volume Unity Catalog au format Parquet.
Transcription audio et diarisation avec Whisper et pyannote	CLI	Utilisez Ray Data pour distribuer la transcription vocale et la diarisation des locuteurs sur un cluster GPU, puis écrivez les résultats dans un volume Unity Catalog en tant que Parquet.
Plongements de protéines avec BioNeMo ESM-2	CLI	Utilisez Ray Data et BioNeMo ESM-2 pour intégrer des protéines sur un nœud 8x H100, puis entraînez et évaluez un classificateur linéaire de protéines membranaires.
Compréhension d'images par batch avec Qwen3-VL-8B et vLLM	CLI	Utilisez Ray Data et vLLM pour légender et classifier des images sur un nœud 8x H100 et écrivez des résultats structurés en Parquet.