環境をセットアップする

備考

プレビュー

AIランタイムは、Serverless GPUコンピュート用に2つの管理されたPython環境を提供します。スタンダード環境には cuda が含まれます。環境バージョン 5 以降、torch および torchvision はプリインストールされなくなりました。Databricks AI 環境には、PyTorch、Transformers、およびその他の機械学習とディープラーニングのフレームワークがプリロードされています。依存関係スタックを完全に制御するにはスタンダード環境を選択し、すぐに使用できるトレーニングの設定を行うには AI 環境を選択します。どちらの環境からも起動でき、自分でさらにパッケージをインストールできます。

このページの主要なポイント：

依存関係を完全に制御するには Standard 環境を選択し、すぐに使用できる機械学習スタックを利用するには Databricks AI 環境を選択してください。
Standard には cuda が含まれます。環境バージョン 5 時点では、torch および torchvision はプリインストールされていません。AI 環境には、PyTorch、Transformers などが追加されます。
%uv pip install（環境バージョン5以降）またはノートブック内の%pip install、あるいはCLI内のenvironment.dependenciesを使用して、さらにパッケージをインストールします。

どの環境を使用するか

AI Runtimeは、Standard環境とDatabricks AI環境の2つのマネージドPython環境を提供します。

環境	主な特徴	いつ使うか
Standard環境	最小限。`cuda`が含まれています。環境バージョン5以降、`torch`と`torchvision`はプリインストールされなくなりました。	依存関係スタックを完全に制御したい、必要なものだけをインストールしたい
Databricks AI環境	人気のMLフレームワーク（ PyTorch 、Transformersなど）がプリロードされています。	手動による依存関係管理を必要とせずに、トレーニング、微調整、実験のための完全な環境が必要な場合

環境	主な特徴	いつ使うか
Standard環境	最小限。`cuda`が含まれています。環境バージョン5以降、`torch`と`torchvision`はプリインストールされなくなりました。	依存関係スタックを完全に制御したい、必要なものだけをインストールしたい
Databricks AI環境	人気のMLフレームワーク（ PyTorch 、Transformersなど）がプリロードされています。	手動による依存関係管理を必要とせずに、トレーニング、微調整、実験のための完全な環境が必要な場合

ワークスペース管理者が AI ランタイム用に構築したワークスペースベース環境を使用することもできます。「Serverless GPU コンピュート (AI ランタイム) 用のビルド」をご覧ください。

ノートブックで環境を選択するには、 Environment サイドパネルを開き、基本環境を選択します：

ノートブックの環境サイドパネルでベース環境を選択します。

Standard環境（最小限の環境）

AI ランタイムの操作に必要なパッケージのみを含む、最小限の安定した環境です。環境には GPU サポート用の cuda が含まれています。環境バージョン 5 時点では、torch および torchvision はプリインストールされなくなりました。%uv pip install または %pip install を使用して、ワークロードに必要なバージョンをインストールします。各環境バージョンにインストールされているパッケージについては、以下のリリースノートを参照してください。

最適なユーザー：依存関係スタックを完全に制御したいユーザー、必要なものだけをインストールしたいユーザー。

選択するには、環境サイドパネルでベース環境として Standard v6 を選択します。

各バージョンにインストールされているパッケージバージョンの詳細については、リリースノートを参照してください。

Databricks AI環境

環境4以降で利用可能です。AI環境は、共通のRuntimeパッケージとGPUでの機械学習に特化したパッケージを備えたStandard環境の上に構築されています。プリインストールされているパッケージは次のとおりです。

PyTorch（CUDA対応）
トランスフォーマー（ Hugging Face ）
さらに、ML/DL関連の依存関係も追加されます。

こんな方に最適: 手動による依存関係管理を必要とせずに、ワークロードのトレーニング、微調整、実験のための完全な環境を必要とするML実践者。

選択するには、環境サイドパネルでベース環境として AI v6 を選択します。

各バージョンにインストールされているパッケージバージョンの詳細については、リリースノートを参照してください。

追加のパッケージをインストールする

マネージド環境またはワークスペースの基本環境のいずれかから起動し、その上に独自の Python パッケージをインストールできます。インストール方法は、AI ランタイムへの接続方法によって異なります。

ノートブック内

ノートブックまたはトレーニングスクリプトの先頭で %uv pip を使用してパッケージをインストールします。これは uv でインストールされ、%pip よりも高速です。ランの再現性を維持するためにバージョンをピン留めします:

Python
%uv pip install "trl==1.1.0"
%uv pip install "transformers==5.5.4"

それぞれのサポート対象となる環境バージョンなど、%pip および %uv pip の詳細なリファレンスについては、%uv コマンドによるライブラリの管理を参照してください。

マルチGPUワークロードに@distributedデコレータを使用する場合、.distributed()を呼び出す前にインストールしたパッケージは自動的にスナップショットが取得され、すべての分散プロセスに伝播されます。インストールされるパッケージの合計サイズは、15 GBを超えてはなりません。詳細については、ノートブックへの依存関係の追加を参照してください。

CLIを使用する場合

air CLI は同じマネージド環境を使用します。environment.version が含まれるものを選択し、ワークロード YAML の environment.dependencies の下にその上に追加でインストールするパッケージを列挙します。CLI は uv を使用してそれらを選択した環境にインストールするため、自分で個別の仮想環境を管理する必要はありません。

YAML
environment:
  version: '6'
  dependencies:
    - trl==1.1.0
    - transformers==5.5.4

代わりに Databricks AI 環境から起動するには、version を databricks_ai_v5 などの AI 環境識別子に設定します。完全な依存関係の形式、サポートされているインストールフラグ、およびカスタム Dockerイメージのサポートについては、環境を参照してください。

ワークスペースの基本環境

ワークスペース管理者は、サーバーレスGPUコンピュート用のワークスペースの基本環境を構築できます。これにより、ワークスペース内のすべてのユーザーが**基本環境**ドロップダウンメニューから利用できるようになります。詳細については、「サーバレス GPU コンピュート用ビルド（AI Runtime）」を参照してください。

スケジュールされたワークロードでベース環境を使用するには、ジョブまたはバンドルの environments ブロックで識別子によって参照します。たとえば、この Declarative Automation Bundles タスクでは Databricks AI 環境が選択されます。

YAML
resources:
  jobs:
    train:
      tasks:
        - task_key: train
          environment_key: default
      environments:
        - environment_key: default
          spec:
            base_environment: databricks_ai_v6

ジョブの完全な例については、「Jobs APIとDeclarative Automation Bundlesを使用したスケジュール設定」を参照してください。

環境のキャッシュとカスタムモジュール

環境情報はいつキャッシュされますか？

AI Runtime はノートブックの環境をキャッシュするため、ノートブックを再度開いたときにパッケージを再インストールする必要はありません。詳細については、環境の依存関係のResetを参照してください。

キャッシングは、対話型ノートブックに適用されます。air CLI またはジョブとしてスケジュールされたワークロードを実行してもこのキャッシュは使用されません。各ランで依存関係が新しくインストールされます。

ベストプラクティスとして、キャッシュされた環境が有効に維持され、ランが再現可能になるように、パッケージを特定のバージョンにピン留めしてください。

カスタムモジュールをインポートするにはどうすればよいですか？

次のステップでは、独自の Python モジュールを使用する方法を示します。

コードをワークスペースに同期します。 Gitフォルダを使用してGitリポジトリをワークスペースにクローンするか、ファイルをワークスペースファイルとして直接uploadします。チームプロジェクトの場合は/Workspace/Sharedの下に、個人の開発の場合はユーザーフォルダの下に共有コードを格納します。コードをGitフォルダに保持することで、バージョン管理が維持されます。
フォルダを sys.path に追加してインポートします (ノートブックまたはトレーニングスクリプトの先頭):

Python
import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

制限事項

AI Runtimeでは、以下の機能は利用できません。

Spark 関数 : PySpark 関数は直接インポートまたは使用できません。AIランタイムはPythonのみの環境です；Sparkはローカルランタイムとしては利用できません。ただし、Spark Connect はデータ読み込みに利用可能です。「AI Runtimeへのデータの読み込み」を参照してください。
Databricks Runtime 機械学習ライブラリ ：プリインストールされたパッケージは Databricks Runtime 機械学習の代替ではありません。Databricks Runtime ML で利用可能な一部の機械学習ライブラリは、AI Runtime にはプリインストールされていない場合があります。
**プライベートなアーティファクト**：AI Runtime は特定の状況でサポートしています。詳細については、アカウントチームにお問い合わせください。

どの環境を使用するか​

Standard環境（最小限の環境）​

Databricks AI環境​

追加のパッケージをインストールする​

ノートブック内​

CLIを使用する場合​

ワークスペースの基本環境​

環境のキャッシュとカスタムモジュール​

環境情報はいつキャッシュされますか？​

カスタムモジュールをインポートするにはどうすればよいですか？​

制限事項​