メインコンテンツまでスキップ

従来のGPUワークロードをAIランタイムに移行する

既存のディープラーニング ワークロードを従来の Databricks クラスター (Databricks Runtime 機械学習) からServerless (AI Runtime) に移動する場合は、以下のステップに従ってください。Databricks がこれらのワークロードに AI ランタイム を推奨する理由の詳細については、「 従来のコンピュートの代わりに AI ランタイム を使用する理由」を参照してください。

  1. クラスター依存のコードを置き換えます。 Spark ベースの分散トレーニングへの参照TorchDistributor (例:)@distributed を削除し、Databricks AI ランタイム SDK () のdatabricks.air デコレーターに置き換えます。
  2. : データ読み込みを更新します。 : 直接DBFSパスをUnity Catalogボリュームパス(/Volumes/...)に置き換えます。: ローカルのSpark DataFrame操作をSpark Connectに置き換えます。: ボリュームからファイルベースのデータをストリーミングするには、 databricks.air.data の UCVolumeDataset を使用します。: AI ランタイムへのデータの読み込みを参照してください。
  3. 環境をセットアップします。 一部の Databricks Runtime 機械学習 プリインストールライブラリは、AI ランタイムでは使用できません。Serverless GPU環境をセットアップし、ワークロードに必要なパッケージを %pip install でインストールします。「 AI ランタイム環境のセットアップ」を参照してください。
  4. チェックポイントパスを更新します。 チェックポイントをDBFSまたはローカルストレージからUnity Catalogボリューム(/Volumes/<catalog>/<schema>/<volume>/...)に移動します。分散チェックポインティングの場合は、 databricks.air.data の UCVolumeWriter と UCVolumeReader を使用して、ローカル NVMe を介して I/O をステージングします。分散チェックポインティング(DCP)によるチェックポイントを参照してください。
  5. MLflow設定を見直してください。 AI ランタイムでは、 .distributed() API は自動的に MLflow ランを作成します。エクスペリメントをカスタマイズするには、絶対パスで設定します。中断されたランを再開するには、ラン名を設定します。MLflowが提供するものを参照してください。
  6. まずはインタラクティブにテストします。 ジョブとしてスケジュールする前に、インタラクティブノートブックでワークロードを検証します。

この移行パスは、サポートされているシングルノード AI ランタイムアクセラレータのいずれかに適合するワークロードに適用されます。

プロンプト

Genie Codeに、次のことを行うように伝えます。

Text
Migrate this Databricks Runtime ML GPU notebook to AI Runtime.