GPU対応コンピュート
一部の GPU 対応インスタンスタイプはベータ版であり、コンピュートの作成時にドライバータイプとワーカータイプを選択すると、ドロップダウンリストで その ようにマークされます。
概要
Databricks は、グラフィックス プロセッシング ユニット (GPU) で高速化されたコンピュートをサポートしています。この記事では、GPU 対応インスタンスを使用してコンピュートを作成する方法について説明し、その内容について説明します それらのインスタンスにインストールされている GPU ドライバーとライブラリ。
GPU 対応コンピュートのディープラーニングの詳細については、「 ディープラーニング」を参照してください。
GPU コンピュートを作成する
GPU コンピュートの作成は、コンピュートの作成と似ています。 次の点に留意してください。
- [機械学習 ] チェックボックスをオンにする必要があります。GPU ML バージョンは、ワーカータイプに基づいて自動的に選択されます。
- Photon acceleration チェックボックスはオフにする必要があります。Photon は GPU インスタンスタイプではサポートされていません。
- ワーカータイプ は GPU インスタンスタイプである必要があります。
- [ Single node] チェックボックスをオンにすると、単一の GPU インスタンスを取得できます。
クラスターAPIを使用してGPUインスタンスを構成するプロセスは、kindフィールドが設定されているかどうかによって異なります。kind 、要求が 単純なフォーム 仕様を使用するかどうかを判断します。
kind = CLASSIC_PREVIEWの場合は、"use_ml_runtime": trueを設定します。kindフィールドを設定しない場合は、spark_versionを 15.4.x-gpu-ml-scala2.12 などの GPU 対応バージョンに設定します。
サポートされているインスタンスタイプ
Databricks では、次のインスタンスタイプがサポートされています。
- A2 Ultra
- A2 Standard
- G2
- GPUタイプ:NVIDIA A100 80GB GPU
インスタンス名 | GPU の数 | GPUメモリ | vCPU | CPUメモリ |
|---|---|---|---|---|
A2-ウルトラGPU-1G | 1 | 80ギガバイト | 12 | 170ギガバイト |
A2-ウルトラGPU-2G | 2 | 80GB×2 | 24 | 340ギガバイト |
A2-ウルトラGPU-4G | 4 | 80GB×4 | 48 | 680ギガバイト |
A2-ウルトラGPU-8G | 8 | 80GB×8 | 96 | 1360ギガバイト |
- GPUタイプ:NVIDIA A100 40GB GPU
インスタンス名 | GPU の数 | GPUメモリ | vCPU | CPUメモリ |
|---|---|---|---|---|
A2-高GPU-1G | 1 | 40ギガバイト | 12 | 85ギガバイト |
A2-高GPU-2G | 2 | 40GB×2 | 24 | 170ギガバイト |
A2-高GPU-4G | 4 | 40GB×4 | 48 | 340ギガバイト |
A2-高GPU-8G | 8 | 40GB×8 | 96 | 680ギガバイト |
A2メガGPU-16G | 16 時間 | 40GB×16 | 96 | 1360ギガバイト |
- GPUタイプ:NVIDIA L4 GPU
インスタンス名 | GPU の数 | GPUメモリ | vCPU | CPUメモリ |
|---|---|---|---|---|
G2-スタンダード-4 | 1 | 24ギガバイト | 4 | 16ギガバイト |
G2-スタンダード-8 | 1 | 24ギガバイト | 8 | 32ギガバイト |
G2-スタンダード-12 | 1 | 24ギガバイト | 12 | 48ギガバイト |
G2-スタンダード-16 | 1 | 24ギガバイト | 16 時間 | 64ギガバイト |
G2-スタンダード-24 | 2 | 24GB×2 | 24 | 96ギガバイト |
G2-スタンダード-32 | 1 | 24ギガバイト | 32 | 128ギガバイト |
G2-スタンダード-48 | 4 | 24GB×4 | 44 | 192ギガバイト |
G2-スタンダード-96 | 8 | 24GB×8 | 96 | 384ギガバイト |
これらのインスタンス タイプの詳細については、 GCP アクセラレータに最適化されたマシンを参照してください。また、これらのインスタンスが利用できる場所を確認するには、 GCP リージョンを参照してください。 GPU 対応のコンピュートを起動するには、Databricks デプロイメントがサポートされているリージョンに存在する必要があります。
GPU スケジューリング
GPU スケジューリングは、Spark タスクを多数の GPU に効率的に分散します。
Databricks Runtime 9.1 LTS ML 以降では、Apache Spark 3.0 からの GPU 対応スケジューリングがサポートされています。 Databricks はそれをGPUコンピュートに事前設定します。
GPU スケジューリングは、単一ノードのコンピュートでは有効になっていません。
AIとMLのGPUスケジューリング
spark.task.resource.gpu.amount は、構成する必要がある可能性がある GPU 対応スケジューリングに関連する唯一の Spark 構成です。デフォルトの構成では、タスクごとに 1 つの GPU が使用されるため、分散推論ワークロードと、すべての GPU ノードを使用する場合の分散トレーニングに適したベースラインです。
分散トレーニング時の通信オーバーヘッドを削減するために、Databricksコンピュート Spark構成でワーカーノードあたりのGPU数にspark.task.resource.gpu.amountを設定することをおすすめします。これにより、Spark ワーカーごとに Spark タスクが 1 つだけ作成され、そのワーカー ノード内のすべての GPU が同じタスクに割り当てられます。
分散ディープラーニング推論の並列化を強化するために、 spark.task.resource.gpu.amount を 1/2、1/3、1/4 などの小数値に設定できます。1/Nです。 これにより、GPU よりも多くの Spark タスクが作成されるため、より多くの同時タスクで推論要求を並列に処理できます。 たとえば、 spark.task.resource.gpu.amount を 0.5、 0.33、または 0.25に設定した場合、使用可能な GPU はタスクの数が 2 倍、3 倍、または 4 倍に分割されます。
GPU インデックス
PySpark タスクの場合、Databricks は割り当てられた GPU を 0 から始まるインデックスに自動的に再マッピングします。 タスクごとに 1 つの GPU を使用するデフォルト設定では、タスクにどの GPU が割り当てられているかを確認せずに、デフォルトの GPU を使用できます。タスクごとに複数の GPU を設定する場合 (例: 4)、割り当てられた GPU のインデックスは常に 0、1、2、3 です。 割り当てられた GPU の物理インデックスが必要な場合は、 CUDA_VISIBLE_DEVICES 環境変数から取得できます。
Scala を使用する場合は、タスクに割り当てられた GPU のインデックスを TaskContext.resources().get("gpu")から取得できます。
NVIDIA GPU ドライバー、CUDA、および cuDNN
Databricks は、GPU を使用するために必要な NVIDIA ドライバーとライブラリを Spark ドライバーとワーカー インスタンスにインストールします。
- CUDA Toolkit は、
/usr/local/cuda. - cuDNN: NVIDIA CUDA Deep ニューラルネットワーク ライブラリ.
- NCCL: NVIDIA コレクティブ コミュニケーション ライブラリ。
含まれているNVIDIAドライバーのバージョンは525.105.17で、 CUDA 11.0をサポートしています。
含まれているライブラリのバージョンについては、使用している特定のバージョンの リリースノート Databricks Runtimeを参照してください。
本ソフトウェアには、NVIDIA Corporationが提供するソースコードが含まれています。 具体的には、GPU をサポートするために、Databricks には CUDA サンプルのコードが含まれています。
NVIDIA エンド ユーザー ライセンス契約 (EULA)
で GPU 対応の「Databricks Runtime Databricksバージョン」を選択すると、 NVIDIA EULACUDA は、 、cuDNN、Tesla ライブラリに関するものです。 NCCL ライブラリのNVIDIA エンド ユーザー ライセンス契約 (NCCL Supplement を含む)。
Databricks Container Services on GPU コンピュート
プレビュー
この機能は パブリック プレビュー段階です。
GPUを搭載したコンピュートで Databricks Container Services を利用すると、カスタマイズしたライブラリでポータブルなディープラーニング環境を作ることができます。 手順については 、「 Databricks Container サービスを使用したコンテナのカスタマイズ 」を参照してください。
GPU コンピュートのカスタムイメージを作成するには、GPU の Databricks Runtime ML ではなく、標準のランタイムバージョンを選択する必要があります。 Use your own (独自の Docker コンテナーを使用する) を選択すると、標準のランタイム バージョンで GPU コンピュートを選択できます。GPU のカスタム イメージは、GPU の Databricks Runtime ML とは異なる 公式の CUDA コンテナーに基づいています。
GPU コンピュートのカスタム イメージを作成する場合、NVIDIA ドライバーのバージョンはホスト マシンのドライバー バージョンと一致する必要があるため、変更できません。
databricksruntime Docker Hub には、GPU 機能を備えたサンプルの基本イメージが含まれています。これらのイメージの生成に使用される Dockerfile は、 サンプル コンテナーの GitHub リポジトリにあり、サンプル イメージが提供する内容とそのカスタマイズ方法の詳細も含まれています。
制限
- ノートブックからジョブをスケジュールするときに、新しい GPU コンピュートを作成することはできません。既存の GPU コンピュートでジョブを実行できるのは、 新しいコンピュート UI で作成された場合のみです。
- Databricks on Google Cloudでは、
nvidia-smiなどの一般的に使用される NVIDIA 実行可能ファイルはPATH環境変数に含まれません。代わりに、彼らは/usr/local/nvidia/binにあります。 たとえば、nvidia-smiを使用するには、Webターミナルまたは%shノートブックのマジックコマンドを使用して、/usr/local/nvidia/bin/nvidia-smiを実行する必要があります。 - Ganglia を使用したモニタリング コンピュート メトリクスは、 Databricks on Google Cloudではサポートされていません。