マルチGPU分散トレーニング
ベータ版
この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。「Databricks プレビューの管理」を参照してください。
これらのノートブックは、AI Runtime上で複数のGPUとノードにわたってモデルトレーニングをスケールします。これらは、H100 GPU上のserverless_gpu Python APIを使用して、DDP、FSDP、DeepSpeed ZeROの3つの主要な並列処理技術をカバーします。
H100 GPUでは、マルチGPU分散トレーニングがサポートされています。
並列処理の手法を選択してください
Choose a parallelism technique based on your model size, available GPU memory, and performance requirements.The following table compares the options.
テクニック | いつ使うか |
|---|---|
DDP（分散データ並列処理） | フルモデルは単一のGPUメモリに収まるため、データスループットを拡張する必要がある。 |
FSDP（完全シャーディングデータ並列処理） | 単一のGPUメモリに収まらない非常に大きなモデル |
ディープスピードゼロ | 高度なメモリ最適化を必要とする大規模モデル |
各技術の詳細については、 DDP 、 FSDP 、およびDeepSpeedを参照してください。
トレーニングパイプラインをより効率的かつ回復力のあるものにするためのアドバイスやパターンについては、パフォーマンスと回復力に関するガイドを参照してください。
技法とフレームワーク別のノートブック例
以下の表は、使用しているフレームワーク／ライブラリと適用されている並列処理手法別に、サンプルノートブックを整理したものです。1つのセルに複数のノートブックが表示される場合があります。
フレームワーク／ライブラリ | DDPの例 | FSDPの例 | DeepSpeedの例 |
|---|---|---|---|
PyTorch（ネイティブ） | — | ||
— | — | ||
— | — | ||
— | — | ||
— | — |
さあ始めましょう
分散トレーニング用のサーバレス GPU Pythonライブラリの使用を開始するには、次のチュートリアルを使用します。
チュートリアル | 説明 |
|---|---|
H100 アクセラレータでDatabricks AI Runtimeを使用し、serverless_gpu Pythonライブラリを使用して分散 GPU ワークロードを実行する方法を学びます。 |