大規模言語モデル (LLM)
備考
ベータ版
この機能は ベータ版です。
このページでは、サーバレス GPU コンピュートを使用したファインチューニング 大規模言語モデル (LLMs) のノートブックの例を紹介します。 これらの例は、低ランク適応 (LoRA) や完全教師ありファインチューニングなどのパラメーター効率の高い方法を含む、ファインチューニングへのさまざまなアプローチを示しています。
これらのノートブックを実行する前に、 ベスト プラクティス チェックリストを参照してください。
Qwen2-0.5Bモデルの微調整
次のノートブックは、Qwen2-0.5B モデルを効率的に微調整する方法の例を示しています。
- 教師ありファインチューニングのためのTransformer強化学習(TRL)
- 最適化されたTritonカーネルによるメモリ効率の高いトレーニングのためのLigerカーネル。
- LoRA for parameter-efficient ファインチューニング.
Notebook
UnslothでLlama-3.2-3Bを微調整する
このノートブックでは、Unsloth ライブラリを使用して Llama-3.2-3B を微調整する方法を示します。
Notebook
埋め込みモデルの微調整
このノートブックでは、Mosaic LLM Foundry を使用して、単一の A10G でgte-large-en-v1.5埋め込みモデルを微調整する方法を示します。
Notebook
GPT OSS 20B モデルの微調整
このノートブックでは、LoRA を使用して H100 GPU 上で OpenAI のgpt-oss-20b モデルを微調整し、パラメーター効率の高いファインチューニングを行う方法を示します。