環境をセットアップする

備考

プレビュー

AI Runtimeは、サーバレスGPUコンピュート向けに2つのマネージドPython環境を提供します。torch、cuda、torchvisionを備えた最小限のスタンダード環境と、PyTorch、Transformers、その他の機械学習およびディープラーニングフレームワークがプリロードされたDatabricks AI環境です。依存関係スタックを完全に制御するにはスタンダード環境を、すぐに使用できるトレーニングセットアップにはAI環境を選択してください。どちらかの環境から開始して、%pip installでパッケージを追加することもできます。

どの環境を使用するか

AI Runtimeは、Standard環境とDatabricks AI環境の2つのマネージドPython環境を提供します。

環境	主な特徴	いつ使うか
Standard環境	最小限。`cuda`が含まれています。環境バージョン5以降、`torch`と`torchvision`はプリインストールされなくなりました。	依存関係スタックを完全に制御したい、必要なものだけをインストールしたい
Databricks AI環境	人気のMLフレームワーク（ PyTorch 、Transformersなど）がプリロードされています。	手動による依存関係管理を必要とせずに、トレーニング、微調整、実験のための完全な環境が必要な場合

環境	主な特徴	いつ使うか
Standard環境	最小限。`cuda`が含まれています。環境バージョン5以降、`torch`と`torchvision`はプリインストールされなくなりました。	依存関係スタックを完全に制御したい、必要なものだけをインストールしたい
Databricks AI環境	人気のMLフレームワーク（ PyTorch 、Transformersなど）がプリロードされています。	手動による依存関係管理を必要とせずに、トレーニング、微調整、実験のための完全な環境が必要な場合

ワークスペース管理者がサーバレスGPUコンピュート用に構築したワークスペースのベース環境も使用できます。サーバレス GPU コンピュート向けビルド（AI Runtime）をご覧ください。

Standard環境（最小限の環境）

AI Runtimeの動作に必要なパッケージのみを含む、最小限で安定した環境。この環境には、GPUサポートのためにcudaが含まれています。環境バージョン5以降、torchとtorchvisionはプリインストールされなくなりました。ワークロードに必要なバージョンをpip installでインストールしてください。各環境バージョンにインストールされているパッケージについては、以下のリリースノートを参照してください。

最適なユーザー：依存関係スタックを完全に制御したいユーザー、必要なものだけをインストールしたいユーザー。

選択するには：**環境**サイドパネルで、ベース環境として**Standard v5**または**Standard v4**を選択します。

各バージョンにインストールされているパッケージバージョンの詳細については、リリースノートを参照してください。

Databricks AI環境

環境4以降で利用可能です。AI環境は、共通のRuntimeパッケージとGPUでの機械学習に特化したパッケージを備えたStandard環境の上に構築されています。プリインストールされているパッケージは次のとおりです。

PyTorch（CUDA対応）
トランスフォーマー（ Hugging Face ）
さらに、ML/DL関連の依存関係も追加されます。

こんな方に最適: 手動による依存関係管理を必要とせずに、ワークロードのトレーニング、微調整、実験のための完全な環境を必要とするML実践者。

選択するには：環境サイドパネルで、基本環境として AI v5 または AI v4 を選択します。

各バージョンにインストールされているパッケージバージョンの詳細については、リリースノートを参照してください。

ワークスペースの基本環境

ワークスペース管理者は、サーバーレスGPUコンピュート用のワークスペースの基本環境を構築できます。これにより、ワークスペース内のすべてのユーザーが**基本環境**ドロップダウンメニューから利用できるようになります。詳細については、「サーバレス GPU コンピュート用ビルド（AI Runtime）」を参照してください。

また、提供されているベース環境（デフォルトまたはDatabricks AI）のいずれかをベースにして、ノートブック内またはトレーニングスクリプトの先頭で%pip installを使用して追加のパッケージをプログラムでインストールすることで、プロジェクトごとにディープラーニング環境を設定することもできます。

Python
%pip install "trl==1.1.0"
%pip install "peft==0.19.1"
%pip install "transformers==5.5.4"
%pip install "fsspec==2024.9.0"
%pip install "huggingface_hub==1.11.0"
%pip install "datasets==3.2.0"
%pip install "accelerate==1.13.0"

マルチGPUワークロードで@distributedデコレータを使用する場合、.distributed()を呼び出す前に%pip installでインストールされたパッケージは、自動的にスナップショットが作成され、すべての分散プロセスに伝播されます。インストールされているパッケージの合計サイズは15 GBを超えてはなりません。

詳細については、ノートブックへの依存関係の追加を参照してください。

環境のキャッシュとカスタムモジュール

環境情報はいつキャッシュされますか？

起動時間を短縮するために、環境設定はセッション間でキャッシュされます。同じ環境構成でAI Runtimeに再接続すると、以前にインストールされたパッケージがキャッシュから利用可能になり、セットアップ時間を短縮できます。

ただし、キャッシュの動作は保証されないため、再現性を確保するには、ノートブックに必ず必要な %pip install コマンドを含めるようにしてください。

カスタムモジュールをインポートするにはどうすればよいですか？

カスタムモジュールをインポートするには、それらを/Workspace/Sharedに配置し、パスをsys.pathに追加します。

Python
import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

モジュールファイルをワークスペースファイルとしてアップロードし、直接インポートすることもできます。複数ユーザーによる共同作業の場合、共有コードはユーザー固有のフォルダではなく、 /Workspace/Sharedに保存してください。アクティブな開発の場合は、ユーザー固有のフォルダーを使用し、バージョン管理のためにリモートGitリポジトリにプッシュします。

制限事項

AI Runtimeでは、以下の機能は利用できません。

Spark 関数 : PySpark 関数は直接インポートまたは使用できません。AIランタイムはPythonのみの環境です；Sparkはローカルランタイムとしては利用できません。ただし、Spark Connect はデータ読み込みに利用可能です。「AI Runtimeへのデータの読み込み」を参照してください。
Databricks Runtime 機械学習ライブラリ ：プリインストールされたパッケージは Databricks Runtime 機械学習の代替ではありません。Databricks Runtime ML で利用可能な一部の機械学習ライブラリは、AI Runtime にはプリインストールされていない場合があります。
**プライベートなアーティファクト**：AI Runtime は特定の状況でサポートしています。詳細については、アカウントチームにお問い合わせください。

どの環境を使用するか​

Standard環境（最小限の環境）​

Databricks AI環境​

ワークスペースの基本環境​

環境のキャッシュとカスタムモジュール​

環境情報はいつキャッシュされますか？​

カスタムモジュールをインポートするにはどうすればよいですか？​

制限事項​