AI Runtime CLI の例

備考

ベータ版

この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。

次の例は、air CLI から air run -f train.yaml を使用して送信する、完全なエンドツーエンドのワークロードです。それぞれがH100 GPU上での実際のマルチGPUパターンを示しており、ワークロードYAML、ブートストラップ コマンド、およびコードが含まれます。まだ実行したことがない場合は、クイックスタートから始めてください。

• • FSDP によるマルチノード LLM ファインチューニング
  • Llama-3.1-8B の教師ありファインチューニングtorchrun および PyTorch 完全シャーディングデータパラレル (FSDP) を使用して、16基のH100 GPU (2ノード) でMLflowにログを記録し、Unity Catalogボリュームにチェックポイントを保存します。
• • Ray Train による分散トレーニング
  • シングルノードで8基のH100 GPUを使い、GPUあたり1つのワーカーを割り当てたRay TrainのTorchTrainerによる分散データ並列ファインチューニング
• • Ray Data および vLLM を使用したバッチ推論
  • Ray DataとvLLMを使用したオフラインLLMバッチ推論で、単一ノードで8つのH100 GPUを使用し、GPUごとに1つのvLLMレプリカを実行し、結果をParquetとしてUnity Catalogボリュームに書き込みます。