DeepSpeedディストリビューターによる分散トレーニング

この記事では、 DeepSpeed ディストリビューターを使用して PyTorch 機械学習モデルで分散トレーニングを実行する方法について説明します。

DeepSpeed ディストリビューターは TorchDistributor の上に構築されており、より高い計算能力を必要とするが、メモリの制約による制限を受けているモデルを持つお客様に推奨されるソリューションです。

DeepSpeed ライブラリは、 Microsoft によって開発されたオープンソースライブラリであり、 Databricks Runtime 14.0 機械学習以降で使用できます。最適化されたメモリ使用量、通信オーバーヘッドの削減、高度なパイプライン並列処理により、標準のハードウェアでは実現できないモデルやトレーニングプロシージャのスケーリングが可能になります。