AI ランタイム のユーザーガイド
プレビュー
この機能は パブリック プレビュー段階です。
課金利用システムテーブルを使用してGPUの使用量とコストを追跡し、サンプルノートブックを見つけて、一般的なエラーをトラブルシューティングします。
Slurm からの移行
クラシック Databricks ではなく Slurm クラスターを使用している場合は、sbatch、srun/torchrun、パーティション、および共有ファイルシステムがどのように Databricks CLI にマッピングされるかについて、「Migrate from Slurm」を参照してください。
使用状況とコストの追跡
課金利用システムテーブル (system.billing.usage) をクエリすることで、AI ランタイム の GPU 利用料金を監視できます。次のクエリーは、Serverless GPU ワークロードの合計使用量を返します。
SELECT
SUM(usage_quantity)
FROM
system.billing.usage
WHERE
product_features.serverless_gpu IS NOT NULL
課金利用テーブルスキーマの情報については、 「課金利用システムテーブルリファレンス」を参照してください。
モデルトレーニング SKU における AI ランタイムの GPU 1 時間あたりの料金は以下のとおりです：
- H100 オンデマンド: $ 7.00/GPU 時間 (米国東部)
- A10 オンデマンド: $ 2.50/GPU 時間 (米国東部)
ノートブックの例
起動に役立つ以下のカテゴリのサンプルノートブックが利用可能です：
カテゴリー | 説明 |
|---|---|
パラメーター効率の高い手法 (LoRA、QLoRA) を含む大規模言語モデルのファインチューニング | |
物体検出、画像分類、およびその他のコンピュータビジョンタスク | |
Two-Tower モデルのような最新のディープラーニング手法を使用したレコメンデーション システムの構築 | |
XGBoost モデルのトレーニングや時系列予測を含む従来の機械学習タスク | |
Serverless GPU API を使用した複数 GPU にわたるトレーニングのスケール |
全リストについては、AI ランタイム サンプルノートブックを参照してください。
トラブルシューティング
Genie Codeは、AI ランタイムに接続されたノートブックにおける環境や依存関係の問題の解決、およびGPUや分散ワークロードの障害調査を支援します。「AI ランタイムでのGenie Codeの使用」を参照してください。
コンピュート上で対話的にデバッグするには、Webターミナルを使用してシェルコマンドを実行し、nvidia-smiでGPU使用率を調査し、ファイルを管理します。Webターミナルは、Serverless GPU環境バージョン5以上に接続している場合に使用できます。詳しくは、「Databricks Webターミナルでシェルコマンドをランする」を参照してください。
ValueError: numpy.dtype サイズが変更されました。バイナリの非互換性を示している可能性があります。C ヘッダーから 96 を期待していましたが、PyObject から 88 を取得しました
このエラーは通常、依存パッケージのコンパイル時に使用された NumPy のバージョンと、ランタイム環境に現在インストールされている NumPy のバージョンが一致しない場合に発生します。この非互換性は、NumPy の C API の変更が原因で発生することが多く、特に NumPy 1.x から 2.x への移行で顕著に見られます。このエラーは、ノートブックにインストールされている Python パッケージによって NumPy のバージョンが変更された可能性があることを示しています。
推奨ソリューション：
ランタイム内の NumPy バージョンを確認し、パッケージと互換性があることを確認してください。プリインストールされている Python ライブラリに関する情報については、環境 4 および 環境 3 の Serverless GPU コンピュート リリースノートを参照してください。NumPy の異なるバージョンへの依存関係がある場合は、その依存関係をコンピュート環境に追加してください。
torch のインストール時に PyTorch が libcudnn を見つけられない
異なるバージョンの torch をインストールすると、エラー ImportError: libcudnn.so.9: cannot open shared object file: No such file or directory が表示される場合があります。これは、torch がローカルパス内でのみ cuDNN ライブラリを検索するためです。
推奨ソリューション：
torch をインストールする際に --force-reinstall を追加して、依存関係を再インストールします：
%pip install torch --force-reinstall