バッチ推論

備考

プレビュー

この機能は パブリック プレビュー段階です。

これらの例では、AI ランタイムの Serverless GPU を使用して大規模なバッチ推論を実行します。これらは、Ray Data、vLLM、Transformers などのフレームワークを使用して、LLM テキスト生成や音声テキスト変換など、さまざまなモダリティに対応します。

例	インターフェース	説明
Ray DataおよびvLLMを使用したQwen2.5-32Bバッチ推論	ノートブック	8台のH100 GPU上でQwen2.5-32B-Instructの8つの永続的なvLLMレプリカを使用して多言語バッチ推論を実行し、結果をUnity Catalogに保存します。
Whisper を使用したバッチ音声テキスト変換	ノートブック	AIランタイムにプレインストールされているライブラリを使用して、Serverless GPU上のOpenAI Whisper large-v3-turboで音声をバッチで文字起こしします。
Qwen2.5-7B-InstructとvLLMを使用したバッチ推論	CLI	Ray DataとvLLMを使用して8x H100ノード上で応答を生成し、結果をParquet形式でUnity Catalogボリュームに書き込みます。

例	インターフェース	説明
Ray DataおよびvLLMを使用したQwen2.5-32Bバッチ推論	ノートブック	8台のH100 GPU上でQwen2.5-32B-Instructの8つの永続的なvLLMレプリカを使用して多言語バッチ推論を実行し、結果をUnity Catalogに保存します。
Whisper を使用したバッチ音声テキスト変換	ノートブック	AIランタイムにプレインストールされているライブラリを使用して、Serverless GPU上のOpenAI Whisper large-v3-turboで音声をバッチで文字起こしします。
Qwen2.5-7B-InstructとvLLMを使用したバッチ推論	CLI	Ray DataとvLLMを使用して8x H100ノード上で応答を生成し、結果をParquet形式でUnity Catalogボリュームに書き込みます。