Inferência em lotes

Estes exemplos executam inferência em lotes em grande escala em GPUs Serverless do AI Runtime. Eles abrangem várias modalidades, como geração de texto com LLM e conversão de fala em texto, usando frameworks como Ray Data, vLLM e Transformers.

Exemplo	Interface	Descrição
Inferência em lote de Qwen2.5-32B com Ray Data e vLLM	Notebook	Execute a inferência multilíngue em lotes com oito réplicas vLLM persistentes de Qwen2.5-32B-Instruct em 8 GPUs H100 e salve os resultados no Unity Catalog.
Conversão de fala em texto em lote com Whisper	Notebook	Transcreva áudio em lotes com OpenAI Whisper large-v3-turbo em GPUs serverless, usando bibliotecas pré-instaladas no AI Runtime.
Inferência em lotes com Qwen2.5-7B-Instruct e vLLM	CLIPE	Use Ray Data e vLLM para gerar respostas em um nó 8x H100 e grave os resultados em um volume do Unity Catalog no formato Parquet.
Transcrição e diarização de áudio com Whisper e pyannote	CLIPE	Use o Ray Data para distribuir a transcrição de voz e a diarização de falantes em um cluster de GPU e escreva os resultados em um volume do Unity Catalog como Parquet.
Embeddings de proteínas com BioNeMo ESM-2	CLIPE	Use o Ray Data e o BioNeMo ESM-2 para incorporar proteínas em um nó 8x H100, depois ensinar e avalie um classificador de proteína de membrana linear.
Entendimento de imagem em lote com Qwen3-VL-8B e vLLM	CLIPE	Use o Ray Data e o vLLM para legendar e classificar imagens em um nó 8x H100 e gravar resultados estruturados no Parquet.

Exemplo	Interface	Descrição
Inferência em lote de Qwen2.5-32B com Ray Data e vLLM	Notebook	Execute a inferência multilíngue em lotes com oito réplicas vLLM persistentes de Qwen2.5-32B-Instruct em 8 GPUs H100 e salve os resultados no Unity Catalog.
Conversão de fala em texto em lote com Whisper	Notebook	Transcreva áudio em lotes com OpenAI Whisper large-v3-turbo em GPUs serverless, usando bibliotecas pré-instaladas no AI Runtime.
Inferência em lotes com Qwen2.5-7B-Instruct e vLLM	CLIPE	Use Ray Data e vLLM para gerar respostas em um nó 8x H100 e grave os resultados em um volume do Unity Catalog no formato Parquet.
Transcrição e diarização de áudio com Whisper e pyannote	CLIPE	Use o Ray Data para distribuir a transcrição de voz e a diarização de falantes em um cluster de GPU e escreva os resultados em um volume do Unity Catalog como Parquet.
Embeddings de proteínas com BioNeMo ESM-2	CLIPE	Use o Ray Data e o BioNeMo ESM-2 para incorporar proteínas em um nó 8x H100, depois ensinar e avalie um classificador de proteína de membrana linear.
Entendimento de imagem em lote com Qwen3-VL-8B e vLLM	CLIPE	Use o Ray Data e o vLLM para legendar e classificar imagens em um nó 8x H100 e gravar resultados estruturados no Parquet.