完全シャーディングデータ並列（FSDP）トレーニング
備考
ベータ版
この機能はベータ版です。
このページには、サーバレス GPU でFully Sharded Data Parallel (FSDP)トレーニングを使用するためのノートブックの例が含まれています コンピュート。 これらの例は、複数のGPUとノードにわたってトレーニングをスケールする方法を示しています。 パフォーマンスが向上しました。
FSDP2 を使用して 1,000 万パラメーターのTransformerモデルをトレーニングする
次のノートブックは、FSDP2ライブラリを使用した1,000 万パラメーターのTransformerモデルの分散トレーニングを示しています。
Notebook
TRLとFSDPを使用したOpenAI GPT OSS 120Bモデルのトレーニング
このノートブックでは、GPT OSS 120B モデルで監視付きファインチューニング (SFT) を実行する方法を説明します。 FSDP2と分散 サーバーレス GPU ライブラリ。