大規模言語モデル (LLM)
備考
ベータ版
この機能は ベータ版です。
このページでは、サーバレス GPU コンピュートを使用したファインチューニング 大規模言語モデル (LLMs) のノートブックの例を紹介します。 これらの例は、低ランク適応 (LoRA) や完全教師ありファインチューニングなどのパラメーター効率の高い方法を含む、ファインチューニングへのさまざまなアプローチを示しています。
これらのノートブックを実行する前に、 ベスト プラクティス チェックリストを参照してください。
Qwen2-0.5Bモデルの微調整
次のノートブックは、Qwen2-0.5B モデルを効率的に微調整する方法の例を示しています。
- 教師ありファインチューニングのためのTransformer強化学習(TRL)
- 最適化されたTritonカーネルによるメモリ効率の高いトレーニングのためのLigerカーネル。
- LoRA for parameter-efficient ファインチューニング.
Notebook
UnslothでLlama-3.2-3Bを微調整する
このノートブックでは、Unsloth ライブラリを使用して Llama-3.2-3B を微調整する方法を示します。
Notebook
GPT OSS 20B モデルの微調整
このノートブックでは、LoRA を使用して H100 GPU 上で OpenAI のgpt-oss-20b モデルを微調整し、パラメーター効率の高いファインチューニングを行う方法を示します。
Notebook
DeepSpeed と TRL を使用した監視付きファインチューニング
このノートブックでは、サーバレス GPU Python API使用して監視付きファインチューニングを実行する方法を説明します。 (SFT) DeepSpeed ZeRO Stage 3 最適化を備えたTransformer強化学習 (TRL) ライブラリを使用します。