Inferência em lotes

info

Visualização

Esse recurso está em Prévia Pública.

Estes exemplos executam inferência em lotes em grande escala em GPUs Serverless do AI Runtime. Eles abrangem várias modalidades, como geração de texto com LLM e conversão de fala em texto, usando frameworks como Ray Data, vLLM e Transformers.

Exemplo	Interface	Descrição
Inferência em lote de Qwen2.5-32B com Ray Data e vLLM	Notebook	Execute a inferência multilíngue em lotes com oito réplicas vLLM persistentes de Qwen2.5-32B-Instruct em 8 GPUs H100 e salve os resultados no Unity Catalog.
Conversão de fala em texto em lote com Whisper	Notebook	Transcreva áudio em lotes com OpenAI Whisper large-v3-turbo em GPUs serverless, usando bibliotecas pré-instaladas no AI Runtime.
Inferência em lotes com Qwen2.5-7B-Instruct e vLLM	CLIPE	Use Ray Data e vLLM para gerar respostas em um nó 8x H100 e grave os resultados em um volume do Unity Catalog no formato Parquet.

Exemplo	Interface	Descrição
Inferência em lote de Qwen2.5-32B com Ray Data e vLLM	Notebook	Execute a inferência multilíngue em lotes com oito réplicas vLLM persistentes de Qwen2.5-32B-Instruct em 8 GPUs H100 e salve os resultados no Unity Catalog.
Conversão de fala em texto em lote com Whisper	Notebook	Transcreva áudio em lotes com OpenAI Whisper large-v3-turbo em GPUs serverless, usando bibliotecas pré-instaladas no AI Runtime.
Inferência em lotes com Qwen2.5-7B-Instruct e vLLM	CLIPE	Use Ray Data e vLLM para gerar respostas em um nó 8x H100 e grave os resultados em um volume do Unity Catalog no formato Parquet.