DeepSpeedを使用した分散トレーニング

備考

ベータ版

この機能はベータ版です。

このページには、サーバレス GPU コンピュートでDeepSpeedを使用した分散トレーニングのノートブックの例が掲載されています。

DeepSpeed と TRL を使用した監視付きファインチューニング

このノートブックでは、サーバレス GPU Python API使用して監視付きファインチューニングを実行する方法を説明します。 (SFT) DeepSpeed ZeRO Stage 3 最適化を備えたTransformer強化学習 (TRL) ライブラリを使用します。