大規模言語モデル（LLM）

備考

パブリックプレビュー

単一ノードタスク用のAI Runtimeはパブリック プレビュー段階にあります。 マルチ GPU ワークロード用の分散トレーニングAPIベータ版のままです。

このページでは、 AI Runtimeを使用したファインチューニング大規模言語モデル (LLM) のノートブックの例を提供します。 これらの例は、低ランク適応 (LoRA) や完全監視ファインチューニングなどの効率的な方法を含む、ファインチューニングへのさまざまなアプローチを示しています。

チュートリアル	説明
Qwen2-0.5Bモデルの微調整	Transformer強化学習 (TRL)、メモリー効率の高いトレーニングのためのライガー カーネル、および効率的な微調整のための LoRA を使用して、Qwen2-0.5B モデルを効率的に微調整します。
UnslothでLlama-3.2-3Bを微調整する	Unsloth ライブラリを使用して Llama-3.2-3B を微調整します。
GPT OSS 20B モデルの微調整	LoRA を使用して H100 GPU でOpenAIのgpt-oss-20bモデルを微調整し、効率的なファインチューニングを行います。
DeepSpeed と TRL を使用した監視付きファインチューニング	サーバレス GPU Python APIを使用して、DeepSpeed ZeRO Stage 3 最適化を備えた TRL ライブラリを使用して教師ありファイン チューニング (SFT) を実行します。
Axolotlを使用したLoRAファインチューニング	サーバレス GPU Python APIを使用して、Axolotl ライブラリを使用して Olmo3 7B モデルを LoRA 微調整します。

ビデオデモ

このビデオでは、Unslothを使用したFine-tune Llama-3.2-3Bのサンプルノートブックを詳細に解説します（12分）。