Databricks Runtime 9.0 for ML (EoS)
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。
Databricks は 2021 年 8 月にこのバージョンをリリースしました。
Databricks Runtime 9.0 for Machine Learning は、 Databricks Runtime 9.0 (EoS) に基づく機械学習とデータサイエンスのためのすぐに使える環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 また、 Horovodを使用した分散ディープラーニング トレーニングもサポートしています。
Databricks RuntimeMLクラスターの作成手順など、詳細については、「AI での と機械学習Databricks 」を参照してください。
補正
このリリースノートの以前のバージョンでは、 Databricks Runtime 9.0 ML GPU で Ganglia を使用したモニタリング クラスター GPU メトリクスのサポートが無効になったと記載されていました。 これは Databricks Runtime 9.0 ML Beta に当てはまりましたが、この問題は Databricks Runtime 9.0 ML GA で修正されました。 ステートメントは削除されました。
新機能と改善点
Databricks Runtime 9.0 ML は、Databricks Runtime 9.0 の上に構築されています。 Databricks Runtime 9.0 の新機能 (Apache Spark MLlib や SparkRなど) については、 Databricks Runtime 9.0 (EoS) リリースノートを参照してください。
Databricks Autologging (パブリック プレビュー)
Databricks Autologging は、一部の地域で Databricks Runtime 9.0 for Machine Learning で利用できるようになりました。 Databricks Autologging は、 Databricksでの機械学習トレーニング セッションの自動エクスペリメント追跡を提供するノーコード ソリューションです。 Databricks Autologgingを使用すると、さまざまな一般的な機械学習ライブラリからモデルをトレーニングするときに、モデル パラメーター、メトリクス、ファイル、リネージ情報が自動的にキャプチャされます。トレーニング セッションは、 MLflow 追跡実行として記録されます。 モデルファイルも追跡されるため、MLflow Model Registryに簡単にログに記録し、MLflowモデルサービングを使用してリアルタイムスコアリングにデプロイできます。
Databricks Autologgingの詳細については、Databricks Autologgingを参照してください。
Databricks Feature Store の機能強化
トレーニングセットを作成するときのパフォーマンスは、ソース 特徴量テーブル全体の結合数を最小限に抑えることで改善されました。
XGBoost PySpark との統合により、分散トレーニングと GPU クラスターがサポートされるようになりました
詳細については、「 Databricks で XGBoost を使用する」を参照してください。
Databricks Runtime ML Python 環境の主な変更点
Conda 環境は、%conda コマンドと共に削除されます。 Databricks Runtime 9.0 ML は、 pip
と virtualenv
で構築されています。Databricks Container Services で Conda ベースの環境を使用するカスタムイメージは引き続きサポートされます。
ただし、ノートブック スコープのライブラリ機能はありません。Databricks では、virtualenv ベースの環境を使用することをお勧めします。
Databricks Container Services と %pip
は、すべてのノートブック スコープのライブラリに対応します。
Databricks Runtime Python 環境の主な変更点については、「 Databricks Runtime 9.0 (EoS)」 を参照してください。インストールされている Python パッケージとそのバージョンの完全な一覧については、「 Python ライブラリ」を参照してください。
Python パッケージのアップグレード
- mlflow 1.18.0 -> 1.19.0
- NLTK 3.5 -> 3.6.1
Python パッケージが追加されました
- 預言者 1.0.1
Python パッケージの削除
- MKLの
- azure-core
- azure-storage-blob
- MSRESTの
- Docker
- クエリ文字列パーサー
- インテル-openmp
非推奨とサポートされていない機能
- Databricks Runtime 9.0 ML では、HorovodRunner は
np=0
の設定をサポートしていません (np
は Horovod ジョブに使用する並列プロセスの数です)。 - Databricks Runtime 9.0 ML には r-base 4.1.0 が含まれています R グラフィックス エンジン バージョン 14 を搭載しています。 これは、RStudio Server バージョン 1.2.x ではサポートされていません。
nvprof
は Databricks Runtime 9.0 ML GPU で削除されました。
システム環境
Databricks Runtime 9.0 ML のシステム環境は、Databricks Runtime 9.0 と次のように異なります。
- DBUtils : Databricks Runtime ML には、 ライブラリ ユーティリティ (dbutils.ライブラリ) (legacy) は含まれません。代わりに
%pip
コマンドを使用してください。 ノートブック スコープの Python ライブラリを参照してください。 - GPU クラスターの場合、 Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
- CUDA 11.0の
- cuDNN 8.1.0.77
- NCCL 2.10.3
- テンソルRT 7.2.2
ライブラリ
次のセクションでは、Databricks Runtime 9.0 ML に含まれるライブラリのうち、それらと異なるライブラリの一覧を示します Databricks Runtime 9.0 に含まれています。
このセクションの内容:
トップクラスのライブラリ
Databricks Runtime 9.0 ML には、次の最上位 ライブラリが含まれています。
Python ライブラリ
Databricks Runtime 9.0 ML は、Python パッケージ管理に Virtualenv を使用し、多くの一般的な ML パッケージが含まれています。
次のセクションで指定されているパッケージに加えて、Databricks Runtime 9.0 ML には次のパッケージも含まれています。
- hyperopt 0.2.5.db2
- スパークDL 2.2.0_db1
- feature_store 0.3.3
- automl 1.1.1
Python ライブラリ on CPU クラスター
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
---|---|---|---|---|---|
absl-py | 0.11.0 | アンテルゴス Linux | 2015.10 (ISOローリング) | appdirs (英語) | 1.4.4 |
アルゴン2-CFFI | 20.1.0 | アスター | 0.8.1 | アストゥンパース | 1.6.3 |
非同期ジェネレータ | 1.10 | 属性 | 20.3.0 | バックコール | 0.2.0 |
bcryptの | 3.2.0 | ブリーチ | 3.3.0 | ボト3 | 1.16.7 |
ボトコア | 1.19.7 | ボトルネック | 1.3.2 | cachetools | 4.2.2 |
認証 | 2020.12.5 | cffi | 1.14.5 | シャルデ | 4.0.0 |
クリック | 7.1.2 | クラウドピクルス | 1.6.0 | cmdstanpyさん | 0.9.68 |
コンフィグパーサー | 5.0.1 | 変換日 | 2.3.2 | 暗号化手法 | 3.4.7 |
サーマルサイクラー | 0.10.0 | シトン | 0.29.23 | Databricks の CLI | 0.14.3 |
DBUSPython | 1.2.16 | デコレータ | 5.0.6 | デフューズドXML | 0.7.1 |
ディル | 0.3.2 | ディスクキャッシュ | 5.2.1 | ディストリビューション | 0.3.2 |
ディストリビューション情報 | 0.23Ubuntuの1 | エントリポイント | 0.3 | エフェム | 4.0.0.2 |
facets-概要 | 1.0.0 | ファイルロック | 3.0.12 | flask | 1.1.2 |
フラットバッファ | 1.12 | FSSPECの | 0.9.0 | 未来 | 0.18.2 |
ガスト | 0.4.0 | ギットDB | 4.0.7 | ギットパイソン | 3.1.12 |
グーグル認証 | 1.22.1 | グーグル認証 - oauthlib | 0.4.2 | グーグルパスタ | 0.2.0 |
grpcio | 1.34.1 | gunicorn | 20.0.4 | h5pyさん | 3.1.0 |
イスラム暦コンバータ | 2.1.3 | 休日 | 0.10.5.2 | Horovod | 0.22.1 |
htmlmin | 0.1.12 | イドナ | 2.10 | イメージハッシュ | 4.2.1 |
ipykernel(英語) | 5.3.4 | アイパイソン | 7.22.0 | ipython-genutils | 0.2.0 |
ipywidgets | 7.6.4 | イソデート | 0.6.0 | それは危険です | 1.1.0 |
ジェダイ | 0.17.2 | ジンジャ2 | 2.11.3 | jmespathの | 0.10.0 |
ジョブリブ | 1.0.1 | ジョブリブスパーク | 0.3.0 | jsonschema(jsonschema) | 3.2.0 |
jupyter-クライアント | 6.1.12 | ジュピターコア | 4.7.1 | jupyterlab-pygmentsの | 0.1.2 |
jupyterlab-widgetsの | 1.0.1 | Keras-毎晩 | 2.5.0.dev2021032900 | Keras- 前処理 | 1.1.2 |
キウイソルバー | 1.3.1 | koalas | 1.8.1 | 韓国の太陰暦 | 0.2.1 |
LightGBM | 3.1.1 | LLVMLITEの | 0.36.0 | ルナカレンダー | 0.0.9 |
アオザメ | 1.1.3 | Markdown | 3.3.3 | マークアップセーフ | 1.1.1 |
Matplotlib | 3.4.2 | 行方不明いいえ | 0.5.0 | ミスチューン | 0.8.4 |
MLeap | 0.17.0 | mlflow-skinny | 1.19.0 | マルチメソッド | 1.4 |
NBクライアント | 0.5.3 | NBコンバート | 6.0.7 | NBフォーマット | 5.1.3 |
ネスト-アシンシオ | 1.5.1 | ネットワークX | 2.5 | nltk | 3.6.1 |
ノートブック | 6.3.0 | ナンバ | 0.53.1 | ナムピー | 1.19.2 |
OAuthlib | 3.1.0 | オプトアインサム | 3.3.0 | 包装 | 20.9 |
pandas | 1.2.4 | pandasプロファイリング | 3.0.0 | pandocフィルター | 1.4.3 |
パラミコ | 2.7.2 | パルソ | 0.7.0 | パッツィ | 0.5.1 |
petastorm | 0.11.1 | pexpect | 4.8.0 | ピク | 0.12.0 |
ピクルシェア | 0.7.5 | 枕 | 8.2.0 | 種 | 21.0.1 |
Plotly | 4.14.3 | prometheus-クライアント | 0.10.1 | プロンプトツールキット | 3.0.17 |
Prophet | 1.0.1 | プロトブフ | 3.17.2 | psutil の | 5.8.0 |
サイコップ2 | 2.8.5 | PTYPROCESSの | 0.7.0 | ピアロー | 4.0.0 |
pyasn1 | 0.4.8 | pyasn1モジュール | 0.2.8 | pycparser | 2.20 |
ピダンティック | 1.8.2 | ピグメント | 2.8.1 | PyGObject | 3.36.0 |
ピミーウス | 0.5.11 | PyNaClの | 1.3.0 | pyodbc | 4.0.30 |
pyparsing (英語) | 2.4.7 | ピルシステント | 0.17.3 | ピスタン | 2.19.1.1 |
Python-apt | 2.0.0 + ubuntu0.20.4.6 | Python-dateutil | 2.8.1 | Pythonエディタ | 1.0.4 |
ピッツ | 2020.5 | Pyウェーブレット | 1.1.1 | PyYAML (英語) | 5.4.1 |
ピズム | 20.0.0 | 正規表現 | 2021.4.4 | 要求 | 2.25.1 |
リクエスト-oauthlib | 1.3.0 | リクエスト-unixsocket | 0.2.0 | 再試行 | 1.3.3 |
rsa | 4.7.2 | S3トランスファー | 0.3.7 | Scikit-Learn | 0.24.1 |
scipy(サイピー) | 1.6.2 | シーボーン | 0.11.1 | Send2Trash(センド2トラッシュ) | 1.5.0 |
セットアップツール | 52.0.0 | setuptools-git | 1.2 | シャップ | 0.39.0 |
シンプルJSON | 3.17.2 | 6 | 1.15.0 | スライサー | 0.0.7 |
SMMAPの | 3.0.5 | スパークテンソルフローディストリビューター | 0.1.0 | sqlparse | 0.4.1 |
ssh-import-id | 5.10 | 統計モデル | 0.12.2 | 表 | 0.8.7 |
Unicodeで絡み合った | 0.1.0 | TensorBoard | 2.5.0 | TensorBoard-data-server | 0.6.1 |
TensorBoard-plugin-wit | 1.8.0 | テンソルフロー-CPU | 2.5.0 | テンソルフロー推定器 | 2.5.0 |
タームカラー | 1.1.0 | テルミナド | 0.9.4 | テストパス | 0.4.4 |
スレッドプールctl | 2.1.0 | トーチ | 1.9.0+CPU | トーチビジョン | 0.10.0+CPU |
竜巻 | 6.1 | tqdm | 4.59.0 | トレイトレット | 5.0.5 |
タイピング拡張 | 3.7.4.3 | ujson | 4.0.2 | 無人アップグレード | 0.1 |
urllib3 の | 1.25.11 | virtualenv | 20.4.1 | ビジョン | 0.7.1 |
WC幅 | 0.2.5 | webエンコーディング | 0.5.1 | websocket-クライアント | 0.57.0 |
ヴェルクツォイク | 1.0.1 | 輪 | 0.36.2 | widgetsnb拡張機能 | 3.5.1 |
ラッピング | 1.12.1 | XGBoost | 1.4.2 |
Python ライブラリ on GPU クラスター
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
---|---|---|---|---|---|
absl-py | 0.11.0 | アンテルゴス Linux | 2015.10 (ISOローリング) | appdirs (英語) | 1.4.4 |
アルゴン2-CFFI | 20.1.0 | アスター | 0.8.1 | アストゥンパース | 1.6.3 |
非同期ジェネレータ | 1.10 | 属性 | 20.3.0 | バックコール | 0.2.0 |
bcryptの | 3.2.0 | ブリーチ | 3.3.0 | ボト3 | 1.16.7 |
ボトコア | 1.19.7 | ボトルネック | 1.3.2 | cachetools | 4.2.2 |
認証 | 2020.12.5 | cffi | 1.14.5 | シャルデ | 4.0.0 |
クリック | 7.1.2 | クラウドピクルス | 1.6.0 | cmdstanpyさん | 0.9.68 |
コンフィグパーサー | 5.0.1 | 変換日 | 2.3.2 | 暗号化手法 | 3.4.7 |
サーマルサイクラー | 0.10.0 | シトン | 0.29.23 | Databricks の CLI | 0.14.3 |
DBUSPython | 1.2.16 | デコレータ | 5.0.6 | デフューズドXML | 0.7.1 |
ディル | 0.3.2 | ディスクキャッシュ | 5.2.1 | ディストリビューション | 0.3.2 |
ディストリビューション情報 | 0.23Ubuntuの1 | エントリポイント | 0.3 | エフェム | 4.0.0.2 |
facets-概要 | 1.0.0 | ファイルロック | 3.0.12 | flask | 1.1.2 |
フラットバッファ | 1.12 | FSSPECの | 0.9.0 | 未来 | 0.18.2 |
ガスト | 0.4.0 | ギットDB | 4.0.7 | ギットパイソン | 3.1.12 |
グーグル認証 | 1.22.1 | グーグル認証 - oauthlib | 0.4.2 | グーグルパスタ | 0.2.0 |
grpcio | 1.34.1 | gunicorn | 20.0.4 | h5pyさん | 3.1.0 |
イスラム暦コンバータ | 2.1.3 | 休日 | 0.10.5.2 | Horovod | 0.22.1 |
htmlmin | 0.1.12 | イドナ | 2.10 | イメージハッシュ | 4.2.1 |
ipykernel(英語) | 5.3.4 | アイパイソン | 7.22.0 | ipython-genutils | 0.2.0 |
ipywidgets | 7.6.4 | イソデート | 0.6.0 | それは危険です | 1.1.0 |
ジェダイ | 0.17.2 | ジンジャ2 | 2.11.3 | jmespathの | 0.10.0 |
ジョブリブ | 1.0.1 | ジョブリブスパーク | 0.3.0 | jsonschema(jsonschema) | 3.2.0 |
jupyter-クライアント | 6.1.12 | ジュピターコア | 4.7.1 | jupyterlab-pygmentsの | 0.1.2 |
jupyterlab-widgetsの | 1.0.1 | Keras-毎晩 | 2.5.0.dev2021032900 | Keras- 前処理 | 1.1.2 |
キウイソルバー | 1.3.1 | koalas | 1.8.1 | 韓国の太陰暦 | 0.2.1 |
LightGBM | 3.1.1 | LLVMLITEの | 0.36.0 | ルナカレンダー | 0.0.9 |
アオザメ | 1.1.3 | Markdown | 3.3.3 | マークアップセーフ | 1.1.1 |
Matplotlib | 3.4.2 | 行方不明いいえ | 0.5.0 | ミスチューン | 0.8.4 |
MLeap | 0.17.0 | mlflow-skinny | 1.19.0 | マルチメソッド | 1.4 |
NBクライアント | 0.5.3 | NBコンバート | 6.0.7 | NBフォーマット | 5.1.3 |
ネスト-アシンシオ | 1.5.1 | ネットワークX | 2.5 | nltk | 3.6.1 |
ノートブック | 6.3.0 | ナンバ | 0.53.1 | ナムピー | 1.19.2 |
OAuthlib | 3.1.0 | オプトアインサム | 3.3.0 | 包装 | 20.9 |
pandas | 1.2.4 | pandasプロファイリング | 3.0.0 | pandocフィルター | 1.4.3 |
パラミコ | 2.7.2 | パルソ | 0.7.0 | パッツィ | 0.5.1 |
petastorm | 0.11.1 | pexpect | 4.8.0 | ピク | 0.12.0 |
ピクルシェア | 0.7.5 | 枕 | 8.2.0 | 種 | 21.0.1 |
Plotly | 4.14.3 | prometheus-クライアント | 0.11.0 | プロンプトツールキット | 3.0.17 |
Prophet | 1.0.1 | プロトブフ | 3.17.2 | psutil の | 5.8.0 |
サイコップ2 | 2.8.5 | PTYPROCESSの | 0.7.0 | ピアロー | 4.0.0 |
pyasn1 | 0.4.8 | pyasn1モジュール | 0.2.8 | pycparser | 2.20 |
ピダンティック | 1.8.2 | ピグメント | 2.8.1 | PyGObject | 3.36.0 |
ピミーウス | 0.5.11 | PyNaClの | 1.3.0 | pyodbc | 4.0.30 |
pyparsing (英語) | 2.4.7 | ピルシステント | 0.17.3 | ピスタン | 2.19.1.1 |
Python-apt | 2.0.0 + ubuntu0.20.4.6 | Python-dateutil | 2.8.1 | Pythonエディタ | 1.0.4 |
ピッツ | 2020.5 | Pyウェーブレット | 1.1.1 | PyYAML (英語) | 5.4.1 |
ピズム | 20.0.0 | 正規表現 | 2021.4.4 | 要求 | 2.25.1 |
リクエスト-oauthlib | 1.3.0 | リクエスト-unixsocket | 0.2.0 | 再試行 | 1.3.3 |
rsa | 4.7.2 | S3トランスファー | 0.3.7 | Scikit-Learn | 0.24.1 |
scipy(サイピー) | 1.6.2 | シーボーン | 0.11.1 | Send2Trash(センド2トラッシュ) | 1.5.0 |
セットアップツール | 52.0.0 | setuptools-git | 1.2 | シャップ | 0.39.0 |
シンプルJSON | 3.17.2 | 6 | 1.15.0 | スライサー | 0.0.7 |
SMMAPの | 3.0.5 | スパークテンソルフローディストリビューター | 0.1.0 | sqlparse | 0.4.1 |
ssh-import-id | 5.10 | 統計モデル | 0.12.2 | 表 | 0.8.7 |
Unicodeで絡み合った | 0.1.0 | TensorBoard | 2.5.0 | TensorBoard-data-server | 0.6.1 |
TensorBoard-plugin-wit | 1.8.0 | TensorFlow | 2.5.0 | テンソルフロー推定器 | 2.5.0 |
タームカラー | 1.1.0 | テルミナド | 0.9.4 | テストパス | 0.4.4 |
スレッドプールctl | 2.1.0 | トーチ | 1.9.0 + CU111 | トーチビジョン | 0.10.0+CU111 |
竜巻 | 6.1 | tqdm | 4.59.0 | トレイトレット | 5.0.5 |
タイピング拡張 | 3.7.4.3 | ujson | 4.0.2 | 無人アップグレード | 0.1 |
urllib3 の | 1.25.11 | virtualenv | 20.4.1 | ビジョン | 0.7.1 |
WC幅 | 0.2.5 | webエンコーディング | 0.5.1 | websocket-クライアント | 0.57.0 |
ヴェルクツォイク | 1.0.1 | 輪 | 0.36.2 | widgetsnb拡張機能 | 3.5.1 |
ラッピング | 1.12.1 | XGBoost | 1.4.2 |
Python モジュールを含む Spark パッケージ
Spark パッケージ | Python モジュール | バージョン |
---|---|---|
graphframes | graphframes | 0.8.1-db3-spark3.1 |
R ライブラリ
R ライブラリは、Databricks Runtime9.0 の R ライブラリ と同じです。
Java and Scala ライブラリ (Scala 2.12 クラスター)
Databricks Runtime 9.0 ML には、Databricks Runtime 9.0 の Java ライブラリと Scala ライブラリに加えて、次の JAR が含まれています。
CPU クラスター
グループID | アーティファクト ID | バージョン |
---|---|---|
com.typesafe.akka (英語) | アッカ-actor_2.12 | 2.5.23 |
ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.17.0-4882dc3 |
ml.dmlc | XGBOOST4Jのspark_2.12 | 1.4.1 |
ml.dmlc | xgboost4j_2.12 | 1.4.1 |
org.graphframes | graphframes_2.12 | 0.8.1-db2-spark3.1 |
org.mlflowの | mlflow-クライアント | 1.19.0 |
org.mlflowの | mlflow-spark | 1.19.0 |
組織Scala-lang.modules | Scala-java8-compat_2.12 | 0.8.0 |
org.tensorflowの | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU クラスター
グループID | アーティファクト ID | バージョン |
---|---|---|
com.typesafe.akka (英語) | アッカ-actor_2.12 | 2.5.23 |
ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.17.0-4882dc3 |
ml.dmlc | XGBOOST4Jのgpu_2.12 | 1.4.1 |
ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.4.1 |
org.graphframes | graphframes_2.12 | 0.8.1-db2-spark3.1 |
org.mlflowの | mlflow-クライアント | 1.19.0 |
org.mlflowの | mlflow-spark | 1.19.0 |
組織Scala-lang.modules | Scala-java8-compat_2.12 | 0.8.0 |
org.tensorflowの | spark-tensorflow-connector_2.12 | 1.15.0 |