概要

AIランタイムは、ディープラーニングワークロードのためにDatabricksで提供されるサーバーレスGPUコンピュートです。このページでは、その仕組み、使用例、ハードウェア、主な機能、および制限について説明します。

AIランタイムの仕組み

AI ランタイムを使用すると、GPU インフラストラクチャを管理することなく、Databricks でモデルをトレーニングおよびファインチューンできます。コードを提供すると、Databricks が GPU の容量、調達、管理を処理します。

例えば、次のコマンドはターミナルからワークロードを送信します。

Bash

databricks air run --file workload.yaml --watch

databricks air runをランすると、 AI ランタイムは送信されたコードをパッケージ化し、 Databricksによって管理されるServerless GPU コンピュートでオーケストレーションします。試してみるには、 AI ランタイム クイックスタートを参照してください。

使用例

AI ランタイムを使用して、多くの種類のAIモデルをトレーニングまたはファインチューニングできます。例：

• LLMのファインチューニング (LoRA, QLoRA, フルファインチューニング)。「大規模言語モデル (LLM)」を参照してください。
• コンピュータビジョン (オブジェクト検出、画像分類)。コンピュータビジョンを参照してください。
• ディープラーニングベースのレコメンデーションシステム。ディープラーニングベースのレコメンデーションシステムを参照してください。
• GPU 加速型クラシック機械学習 およびディープラーニングベースの時系列予測。クラシックMachine Learningを参照してください。
• 大規模なバッチ推論。バッチ推論を参照してください。
• マルチGPU分散トレーニング。マルチGPU分散トレーニングを参照してください。
• 強化学習。「大規模言語モデル (LLM)」を参照してください。

すべてのノートブックチュートリアルとDatabricks CLIレシピについては、「 AIランタイムの例」を参照してください。

ハードウェア

備考

プレビュー

8×B300アクセラレーターでのトレーニングは、パブリックプレビューで提供されています。AWSでは、ウェイトリストへの登録により利用できます。アクセスをリクエストするには、Databricksアカウントチームにお問い合わせいただくか、詳細について営業担当者にお問い合わせください。

すべてのAI Runtimeアクセラレータは単一のノードをプロビジョニングします。そのノード上のGPU数は、アクセラレータのタイプによって異なります。

アクセラレータ	GPUs per node	GPU memory	どのようなタスクにベストなのか	分散学習
1xA10	1	24GB	クラシックな機械学習モデルや小規模言語モデルのファインチューニングなど、中小規模の機械学習およびディープラーニングタスク	サポートされていません（シングルGPU）
1xH100	1	80GB	1xA10よりも多くのGPUメモリを必要とするが、中規模言語モデルのファインチューニングなどのマルチGPU分散トレーニングを必要としないワークロード	サポートされていません（シングルGPU）
8xH100	8	GPU あたり 80GB	大規模モデルのトレーニングやファインチューニング、高度なディープラーニングタスクの実行などの大規模なAIワークロード	defaultで8つすべてのGPUを使用する@distributedデコレーターを使用してサポートされます
8xB300	8	GPUあたり288 GB	最大規模のモデルと最長のコンテキスト長。GPU あたり 288 GB の HBM により、より小規模な GPU では CPU オフロードが必要となるモデルをトレーニングするやバッチサイズを実現できます。	defaultで8つすべてのGPUを使用する@distributedデコレーターを使用してサポートされます

アクセラレータ	GPUs per node	GPU memory	どのようなタスクにベストなのか	分散学習
1xA10	1	24GB	クラシックな機械学習モデルや小規模言語モデルのファインチューニングなど、中小規模の機械学習およびディープラーニングタスク	サポートされていません（シングルGPU）
1xH100	1	80GB	1xA10よりも多くのGPUメモリを必要とするが、中規模言語モデルのファインチューニングなどのマルチGPU分散トレーニングを必要としないワークロード	サポートされていません（シングルGPU）
8xH100	8	GPU あたり 80GB	大規模モデルのトレーニングやファインチューニング、高度なディープラーニングタスクの実行などの大規模なAIワークロード	defaultで8つすべてのGPUを使用する@distributedデコレーターを使用してサポートされます
8xB300	8	GPUあたり288 GB	最大規模のモデルと最長のコンテキスト長。GPU あたり 288 GB の HBM により、より小規模な GPU では CPU オフロードが必要となるモデルをトレーニングするやバッチサイズを実現できます。	defaultで8つすべてのGPUを使用する@distributedデコレーターを使用してサポートされます

ヒント

マルチGPU分散 トレーニング をサポートしているのは、 8xH100 と 8xB300 のみです。シングルGPUワークロードの場合は、モデルに必要なGPUメモリに応じて 1xA10 または 1xH100 を選択してください。

主な機能

カテゴリー	機能
GPUへの接続	Databricks CLI: YAML 設定を使用してターミナルから GPU ワークロードを送信および管理します。 ノートブック: ノートブックを GPU にアタッチし、対話的に開発します。 ノートブックでの分散トレーニング: @distributed デコレータを使用して、ノードのすべてのGPUでPyTorch DDP、FSDP、またはDeepSpeedをランします。 ジョブ: GPU ワークロードを定期的なジョブとしてスケジュールします。 SSH 経由の IDE: IDE または端末から GPU ノードに接続します。 Ray: Ray Core、 Ray Data、 Ray Train、 Ray Tune をランします。
ワークロードの開発	構築済み環境: 最小限の標準環境または PyTorchとTransformersがプリインストールされているDatabricks AI環境を選択します。 カスタム Dockerイメージ: 独自のイメージを取り込み、アーティファクトレジストリにプッシュします。 データのロードと保存: Unity Catalogボリュームとテーブルからデータをストリームします。 コーディングエージェント: Genie Codeとエージェントスキルを使用して、GPUワークロードを記述、送信、デバッグします。
監視とデプロイ	ラン、Log、メトリクスの追跡: MLflow でエクスペリメントを追跡し、Logを表示し、GPU 使用率を監視します。 GPU ワークロードのスケジュール: 宣言型オートメーションバンドルでデプロイし、マルチタスクの GPU および CPU ジョブを構築します。 ワークロードをバンドルに変換する: ワークロード YAML を宣言型オートメーションバンドルジョブに変換します。 バンドルタスクの構成: コードのパッケージ化、 GPUコンピュートの選択、およびタスクへの構成の受け渡し。

カテゴリー	機能
GPUへの接続	Databricks CLI: YAML 設定を使用してターミナルから GPU ワークロードを送信および管理します。 ノートブック: ノートブックを GPU にアタッチし、対話的に開発します。 ノートブックでの分散トレーニング: @distributed デコレータを使用して、ノードのすべてのGPUでPyTorch DDP、FSDP、またはDeepSpeedをランします。 ジョブ: GPU ワークロードを定期的なジョブとしてスケジュールします。 SSH 経由の IDE: IDE または端末から GPU ノードに接続します。 Ray: Ray Core、 Ray Data、 Ray Train、 Ray Tune をランします。
ワークロードの開発	構築済み環境: 最小限の標準環境または PyTorchとTransformersがプリインストールされているDatabricks AI環境を選択します。 カスタム Dockerイメージ: 独自のイメージを取り込み、アーティファクトレジストリにプッシュします。 データのロードと保存: Unity Catalogボリュームとテーブルからデータをストリームします。 コーディングエージェント: Genie Codeとエージェントスキルを使用して、GPUワークロードを記述、送信、デバッグします。
監視とデプロイ	ラン、Log、メトリクスの追跡: MLflow でエクスペリメントを追跡し、Logを表示し、GPU 使用率を監視します。 GPU ワークロードのスケジュール: 宣言型オートメーションバンドルでデプロイし、マルチタスクの GPU および CPU ジョブを構築します。 ワークロードをバンドルに変換する: ワークロード YAML を宣言型オートメーションバンドルジョブに変換します。 バンドルタスクの構成: コードのパッケージ化、 GPUコンピュートの選択、およびタスクへの構成の受け渡し。

要件

Before you 起動, confirm your ワークスペース meets these requirements:

• サポートされているGeoおよびクロスGeo処理要件については、Geo別のAIランタイムの可用性をご確認ください。GPUの可用性はワークスペースによって異なります。
• ワークスペースで コンプライアンス セキュリティ プロファイルが有効になっている場合、ワークスペース管理者は AI ランタイム および AI ランタイム マルチノード H100 プレビューを有効にする必要があります。Databricksのプレビューを管理するを参照してください。これらのワークスペースのdefaultの有効化の詳細については、 事前通知を参照してください。

制限事項

AI ランタイムワークロードを計画する際は、以下の制限事項に注意してください。

• AI ランタイムは、A10、H100、および B300 アクセラレータのみをサポートしています。

• AI ランタイム doesn't support the コンプライアンス security profile for the FedRAMP High or DoD IL5 standards.

• Adding dependencies using the Environments panel is not supported for AI ランタイム scheduled ジョブ.Install dependencies programmatically using %pip install in your notebook instead.

• AI Runtime上のスケジュールされたジョブでは、ノートブックに関連付けられている互換性のないパッケージバージョンの自動リカバリ動作はサポートされていません。

• AIランタイムの接続試行は、対話型ノートブックでは15分後、ノートブックジョブやCLIジョブでは24時間後に終了します。接続されたノートブックセッションとノートブックジョブは最大2日間実行でき、CLIジョブは最大14日間実行できます。長時間実行されるモデルトレーニングジョブの場合は、チェックポイントを実装し、最大ランタイムに達したときにジョブを再開します。分散チェックポイント (DCP) によるチェックポイントを参照してください。

• Databricks AI 環境を含むワークスペースの基本環境を使用するスケジュール済みジョブの実行は、ベータ版です。ワークスペース管理者は、 ジョブにおけるServerlessワークスペースの基本環境のサポート プレビューを有効にする必要があります。Databricksのプレビューを管理するを参照してください。

• AI Runtimeは、GPU リソースへのオンデマンド アクセスを提供します。 これによりGPUへの容易かつ柔軟なアクセスが可能になりますが、お住まいの地域では容量が制限されたり、利用できなくなる期間が生じる可能性があります。

• AI Runtimeは、需要が高い状況において、特定のケースでリージョンをまたいだGPUを活用します。このような利用にはエグレスコストが発生する場合があり、特定の時間帯にはリージョン間のネットワーク接続が制限される可能性があります。

ガイド

• クラシックコンピュートではなく AI ランタイム を使用する理由: AI ランタイム をクラシックコンピュートおよび Databricks Runtime 機械学習 と比較します。
• AI ランタイム のガイド: 使用量とコストを追跡し、一般的なエラーをトラブルシューティングします。
• 従来のGPUワークロードをServerlessに移行する: ディープラーニングワークロードをクラシッククラスターからAI ランタイムに移動します。
• Slurm からの移行: Slurm バッチスクリプト、ランチャー、および共有ストレージを Databricks CLI にマップします。
• AI ランタイムでのトレーニングのパフォーマンスと耐障害性の向上: トレーニングを高速化し、長時間実行されるジョブの障害に対する耐性を高めます。