従来のGPUワークロードをAIランタイムに移行する
既存のディープラーニング ワークロードを従来の Databricks クラスター (Databricks Runtime 機械学習) からServerless (AI Runtime) に移動する場合は、以下のステップに従ってください。Databricks がこれらのワークロードに AI ランタイム を推奨する理由の詳細については、「 従来のコンピュートの代わりに AI ランタイム を使用する理由」を参照してください。
- クラスター依存のコードを置き換えます。 Spark ベースの分散トレーニングへの参照
TorchDistributor(例:)@distributedを削除し、Databricks AI ランタイム SDK () のdatabricks.airデコレーターに置き換えます。 - : データ読み込みを更新します。 : 直接DBFSパスをUnity Catalogボリュームパス(
/Volumes/...)に置き換えます。: ローカルのSpark DataFrame操作をSpark Connectに置き換えます。: ボリュームからファイルベースのデータをストリーミングするには、databricks.air.dataのUCVolumeDatasetを使用します。: AI ランタイムへのデータの読み込みを参照してください。 - 環境をセットアップします。 一部の Databricks Runtime 機械学習 プリインストールライブラリは、AI ランタイムでは使用できません。Serverless GPU環境をセットアップし、ワークロードに必要なパッケージを
%pip installでインストールします。「 AI ランタイム環境のセットアップ」を参照してください。 - チェックポイントパスを更新します。 チェックポイントをDBFSまたはローカルストレージからUnity Catalogボリューム(
/Volumes/<catalog>/<schema>/<volume>/...)に移動します。分散チェックポインティングの場合は、databricks.air.dataのUCVolumeWriterとUCVolumeReaderを使用して、ローカル NVMe を介して I/O をステージングします。分散チェックポインティング(DCP)によるチェックポイントを参照してください。 - MLflow設定を見直してください。 AI ランタイムでは、
.distributed()API は自動的に MLflow ランを作成します。エクスペリメントをカスタマイズするには、絶対パスで設定します。中断されたランを再開するには、ラン名を設定します。MLflowが提供するものを参照してください。 - まずはインタラクティブにテストします。 ジョブとしてスケジュールする前に、インタラクティブノートブックでワークロードを検証します。
この移行パスは、サポートされているシングルノード AI ランタイムアクセラレータのいずれかに適合するワークロードに適用されます。
プロンプト
Genie Codeに、次のことを行うように伝えます。
Text
Migrate this Databricks Runtime ML GPU notebook to AI Runtime.