バッチ推論

これらの例では、AI ランタイムの Serverless GPU を使用して大規模なバッチ推論を実行します。これらは、Ray Data、vLLM、Transformers などのフレームワークを使用して、LLM テキスト生成や音声テキスト変換など、さまざまなモダリティに対応します。

例	インターフェース	説明
Ray DataおよびvLLMを使用したQwen2.5-32Bバッチ推論	ノートブック	8台のH100 GPU上でQwen2.5-32B-Instructの8つの永続的なvLLMレプリカを使用して多言語バッチ推論を実行し、結果をUnity Catalogに保存します。
Whisper を使用したバッチ音声テキスト変換	ノートブック	AIランタイムにプレインストールされているライブラリを使用して、Serverless GPU上のOpenAI Whisper large-v3-turboで音声をバッチで文字起こしします。
Qwen2.5-7B-InstructとvLLMを使用したバッチ推論	CLI	Ray DataとvLLMを使用して8x H100ノード上で応答を生成し、結果をParquet形式でUnity Catalogボリュームに書き込みます。
Whisperとpyannoteによる音声転写とダイアライゼーション	CLI	Ray Data を使用して、GPU クラスター全体に音声転写と話者ダイアライゼーションを分散させ、結果を Parquet として Unity Catalog ボリュームに書き込みます。
BioNeMo ESM-2 を使用したタンパク質の埋め込み	CLI	Ray Data と BioNeMo ESM-2 を使用して 8x H100 ノード間でタンパク質を埋め込み、線形膜タンパク質分類器をトレーニングするおよび評価します。
Qwen3-VL-8BおよびvLLMによるバッチ画像理解	CLI	Ray Data と vLLM を使用して 8x H100 ノードで画像にキャプションを付けて分類し、構造化された結果を Parquet に書き込みます。

例	インターフェース	説明
Ray DataおよびvLLMを使用したQwen2.5-32Bバッチ推論	ノートブック	8台のH100 GPU上でQwen2.5-32B-Instructの8つの永続的なvLLMレプリカを使用して多言語バッチ推論を実行し、結果をUnity Catalogに保存します。
Whisper を使用したバッチ音声テキスト変換	ノートブック	AIランタイムにプレインストールされているライブラリを使用して、Serverless GPU上のOpenAI Whisper large-v3-turboで音声をバッチで文字起こしします。
Qwen2.5-7B-InstructとvLLMを使用したバッチ推論	CLI	Ray DataとvLLMを使用して8x H100ノード上で応答を生成し、結果をParquet形式でUnity Catalogボリュームに書き込みます。
Whisperとpyannoteによる音声転写とダイアライゼーション	CLI	Ray Data を使用して、GPU クラスター全体に音声転写と話者ダイアライゼーションを分散させ、結果を Parquet として Unity Catalog ボリュームに書き込みます。
BioNeMo ESM-2 を使用したタンパク質の埋め込み	CLI	Ray Data と BioNeMo ESM-2 を使用して 8x H100 ノード間でタンパク質を埋め込み、線形膜タンパク質分類器をトレーニングするおよび評価します。
Qwen3-VL-8BおよびvLLMによるバッチ画像理解	CLI	Ray Data と vLLM を使用して 8x H100 ノードで画像にキャプションを付けて分類し、構造化された結果を Parquet に書き込みます。