メインコンテンツまでスキップ
に最終更新

AIランタイムでGenie Codeを使用する

Genie Code は、AI ランタイムに接続されたノートブックでディープラーニング ワークロードを開発、移行、およびトラブルシューティングするのに役立ちます。分散トレーニング コードの生成、環境および依存関係の問題の解決、GPU ワークロードの障害の調査、基盤モデル ファインチューニング API ノートブックとクラシック Databricks Runtime 機械学習 GPU ノートブックの移行を行うことができます。

Genie Code は、 AI ランタイム ノートブック上の8台の H100 GPU で分散 CNN トレーニングワークロードを作成し、実行します。

要件​

AI ランタイムでGenie Codeを使用するには：

入門​

  1. Databricksノートブックを開きます。

  2. ノートブックをAI ランタイムに接続します。AI ランタイム ノートブックのクイックスタートを参照してください。

  3. Genie Codeペインを開きます。

  4. 開発したいワークロード、または解決したい問題について説明してください。

  5. 提案されたプラン、コード変更、およびアクションを承認する前に確認してください。

重要

Genie Codeはミスをすることがあります。実行する前に、生成されたコード、環境の変更、その他の提案されたアクションを確認してください。診断によっては、追加のLogsまたはワークロードのコンテキストが必要です。

Genie Codeでできること​

分散トレーニングワークロードを開発する​

Genie Code は、 AI ランタイム用のトレーニングコードを生成または更新できます。適切な PyTorch分散戦略の選択、 Databricks AI ランタイム SDK (databricks.air) の @distributed API の使用、およびデータ読み込み、チェックポインティング、 MLflow トラッキングのための AI ランタイムパターンの適用に役立ちます。APIの詳細と例については、 ノートブックでの分散トレーニングを参照してください。

環境と依存関係の問題の解決​

Genie Codeは現在の環境を調査し、パッケージの互換性の失敗をコードやAPIの変更と区別し、ターゲットを絞った修正を推奨します。また、ワークロードの依存関係に基づいて、 Databricks AI と標準環境のどちらかを選択する際のサポートも行います。利用可能な環境の情報については、「 AI ランタイム環境のセットアップ」を参照してください。

GPUおよび分散ワークロードをデバッグする​

Genie Codeは、ノートブックの出力と利用可能なLogsを使用して、分散トレーニングの失敗、通信エラー、トレーニングのハング、GPUメモリの問題を調査します。元の障害を特定し、他のランクのダウンストリームエラーと区別するのに役立ちます。分散トレーニングLogsの表示に関する情報については、エクスペリメントの追跡と可観測性を参照してください。

ワークロードを AI ランタイムに移行する​

Genie Code は、以下の GPU ワークロードを移行して、サポートされているシングルノードアクセラレータ上の AI ランタイムノートブックで実行できます。

  • 非推奨の基盤モデル ファインチューニング API ノートブック : 管理 API 呼び出しを、明示的なモデルの読み込み、トレーニング、評価、チェックポインティング、MLflow トラッキング、および Unity Catalog モデルの登録に置き換えます。
  • Databricks Runtime 機械学習 を使用した従来の GPU ノートブック :分散実行、データ読み込み、ストレージ、依存関係、および MLflow トラッキングを AI ランタイム に適合させます。従来の GPU ワークロードを AI ランタイム に移行するを参照してください。

プロンプトの例​

分散トレーニングワークロードを開発する​

  • 「このノートブックを更新して、 AI ランタイムの 8 つの H100 GPU すべてで分散トレーニングを実行します。」
  • 「この分散トレーニングノートブックをレビューし、@distributedとMLflowの使用を修正してください。」
  • "このノートブックを serverless_gpu SDK から AI ランタイム SDK に移行します。"
  • "このトレーニングワークロードをAIランタイム向けに調整し、重要な変更点を説明してください。"

環境と依存関係の問題の解決​

  • "新しいパッケージをインストールした後に、このノートブックが動作しなくなりました。環境を検査し、問題が依存関係の問題であるか、コードAPIの変更であるかを特定します。"
  • "このワークロードではDatabricks AI環境と標準環境のどちらを使用する必要がありますか?依存関係を確認し、変更を加える前に環境を推奨してください。"
  • 「このパッケージの互換性エラーを診断し、最小限の適切な変更を推奨します。」

GPUおよび分散ワークロードをデバッグする​

  • 「使用可能なすべてのランクからの出力を使用して、この失敗した分散トレーニングランを分析し、根本原因を特定します。」
  • 「この分散ワークロードがハングしているのはなぜですか？ノートブックの出力を使用して、次のデバッグステップを推奨します。」
  • 「このGPUメモリ障害を調査し、証拠に基づいた次のステップを推奨してください。」

ワークロードを AI ランタイムに移行する​

  • 「この非推奨の基盤モデル ファインチューニング API ノートブックを AI ランタイムに移行します。トレーニングの目的とパラメータを保持し、互換性のあるコンピュートを選択し、前提条件やブロッカーがあれば説明します。」
  • 「この Databricks Runtime 機械学習 GPU ノートブックを AI ランタイムに移行します。」

その他のリソース​

このページの見出し