Databricks Runtime 10.0 for ML (EoS)
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。
Databricks Runtime 10.0 for Machine Learning は、 Databricks Runtime 10.0 (EoS) に基づく機械学習とデータサイエンスのためのすぐに使える環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 また、 Horovodを使用した分散ディープラーニング トレーニングもサポートしています。
Databricks RuntimeMLクラスターの作成手順など、詳細については、「AI での と機械学習Databricks 」を参照してください。
新機能と改善点
Databricks Runtime 10.0 ML は、Databricks Runtime 10.0 の上に構築されています。Databricks Runtime 10.0 の新機能 (Apache Spark MLlib や SparkRなど) については、 Databricks Runtime 10.0 (EoS) リリースノートを参照してください。
AutoML による時系列予測
AutoML で時系列予測がサポートされるようになりました。 詳細については、 AutoML のドキュメントを参照してください。
Databricks Runtime ML Python 環境の主な変更点
Python パッケージが追加されました
- Databricks の AutoML ランタイム 0.1.0
- 不均衡-学習0.8.0
- トランスフォーマー 4.9.2
システム環境
同梱の RStudio Server オープンソースをv1.4にアップデートしました。
Databricks Runtime 10.0 ML のシステム環境は、Databricks Runtime 10.0 と次のように異なります。
- DBUtils : Databricks Runtime ML には、 ライブラリ ユーティリティ (dbutils.ライブラリ) (legacy) は含まれません。代わりに
%pipコマンドを使用してください。 ノートブック スコープの Python ライブラリを参照してください。 - GPU クラスターの場合、 Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
- CUDA 11.0の
- cuDNN 8.0.5.39
- NCCL 2.10.3
- テンソルRT 7.2.2
ライブラリ
次のセクションでは、Databricks Runtime 10.0 ML に含まれるライブラリのうち、それらとは異なるライブラリの一覧を示します Databricks Runtime 10.0 に含まれています。
このセクションの内容：
トップクラスのライブラリ
Databricks Runtime 10.0 ML には、次の最上位 ライブラリが含まれています。
Python ライブラリ
Databricks Runtime 10.0 ML は、Python パッケージ管理に Virtualenv を使用し、多くの一般的な ML パッケージが含まれています。
次のセクションで指定されているパッケージに加えて、Databricks Runtime 10.0 ML には次のパッケージも含まれています。
- hyperopt 0.2.5.db2
- sparkdl 2.2.0_db3
- feature_store 0.3.4
- automl 1.3.1
Python ライブラリ on CPU クラスター
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
absl-py | 0.11.0 | アンテルゴス Linux | 2015.10 (ISOローリング) | appdirs (英語) | 1.4.4 |
アルゴン2-CFFI | 20.1.0 | アスター | 0.8.1 | アストゥンパース | 1.6.3 |
非同期ジェネレータ | 1.10 | 属性 | 20.3.0 | バックコール | 0.2.0 |
bcryptの | 3.2.0 | ブリーチ | 3.3.0 | ブリス | 0.7.4 |
ボト3 | 1.16.7 | ボトコア | 1.19.7 | ボトルネック | 1.3.2 |
cachetools | 4.2.2 | カタログ | 2.0.6 | 認証 | 2020.12.5 |
cffi | 1.14.5 | シャルデ | 4.0.0 | 打ち鳴らす | 5.0 |
クリック | 7.1.2 | クラウドピクルス | 1.6.0 | cmdstanpyさん | 0.9.68 |
コンフィグパーサー | 5.0.1 | 変換日 | 2.3.2 | 暗号化手法 | 3.4.7 |
サーマルサイクラー | 0.10.0 | サイメム | 2.0.5 | シトン | 0.29.23 |
Databricks 自動 ml ランタイム | 0.1.0 | Databricks の CLI | 0.14.3 | DBUSPython | 1.2.16 |
デコレータ | 5.0.6 | デフューズドXML | 0.7.1 | ディル | 0.3.2 |
ディスクキャッシュ | 5.2.1 | ディストリビューション | 0.3.2 | ディストリビューション情報 | 0.23Ubuntuの1 |
エントリポイント | 0.3 | エフェム | 4.0.0.2 | facets-概要 | 1.0.0 |
ファイルロック | 3.0.12 | flask | 1.1.2 | フラットバッファ | 1.12 |
FSSPECの | 0.9.0 | 未来 | 0.18.2 | ガスト | 0.4.0 |
ギットDB | 4.0.7 | ギットパイソン | 3.1.12 | グーグル認証 | 1.22.1 |
グーグル認証 - oauthlib | 0.4.2 | グーグルパスタ | 0.2.0 | grpcio | 1.39.0 |
gunicorn | 20.0.4 | h5pyさん | 3.1.0 | イスラム暦コンバータ | 2.2.1 |
休日 | 0.11.2 | Horovod | 0.22.1 | htmlmin | 0.1.12 |
抱きしめるface-hub | 0.0.12 | イドナ | 2.10 | イメージハッシュ | 4.2.1 |
不均衡な学習 | 0.8.0 | importlib-metadata | 3.10.0 | ipykernel(英語) | 5.3.4 |
アイパイソン | 7.22.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.6.3 |
イソデート | 0.6.0 | それは危険です | 1.1.0 | ジェダイ | 0.17.2 |
ジンジャ2 | 2.11.3 | jmespathの | 0.10.0 | ジョブリブ | 1.0.1 |
ジョブリブスパーク | 0.3.0 | jsonschema(jsonschema) | 3.2.0 | jupyter-クライアント | 6.1.12 |
ジュピターコア | 4.7.1 | jupyterlab-pygmentsの | 0.1.2 | jupyterlab-widgetsの | 1.0.0 |
keras | 2.6.0 | Keras- 前処理 | 1.1.2 | キウイソルバー | 1.3.1 |
koalas | 1.8.1 | 韓国の太陰暦 | 0.2.1 | LightGBM | 3.1.1 |
LLVMLITEの | 0.37.0 | ルナカレンダー | 0.0.9 | アオザメ | 1.1.3 |
Markdown | 3.3.3 | マークアップセーフ | 1.1.1 | Matplotlib | 3.4.2 |
行方不明いいえ | 0.5.0 | ミスチューン | 0.8.4 | MLeap | 0.17.0 |
mlflow-skinny | 1.20.2 | マルチメソッド | 1.4 | つぶやき | 1.0.5 |
NBクライアント | 0.5.3 | NBコンバート | 6.0.7 | NBフォーマット | 5.1.3 |
ネスト-アシンシオ | 1.5.1 | ネットワークX | 2.5 | nltk | 3.6.1 |
ノートブック | 6.3.0 | ナンバ | 0.54.0 | ナムピー | 1.19.2 |
OAuthlib | 3.1.0 | オプトアインサム | 3.3.0 | 包装 | 20.9 |
pandas | 1.2.4 | pandasプロファイリング | 3.0.0 | pandocフィルター | 1.4.3 |
パラミコ | 2.7.2 | パルソ | 0.7.0 | パシー | 0.6.0 |
パッツィ | 0.5.1 | petastorm | 0.11.2 | pexpect | 4.8.0 |
ピク | 0.12.0 | ピクルシェア | 0.7.5 | 枕 | 8.2.0 |
種 | 21.0.1 | Plotly | 5.1.0 | プレシェッド | 3.0.5 |
prometheus-クライアント | 0.10.1 | プロンプトツールキット | 3.0.17 | Prophet | 1.0.1 |
プロトブフ | 3.17.2 | psutil の | 5.8.0 | サイコップ2 | 2.8.5 |
PTYPROCESSの | 0.7.0 | ピアロー | 4.0.0 | pyasn1 | 0.4.8 |
pyasn1モジュール | 0.2.8 | pycparser | 2.20 | ピダンティック | 1.8.2 |
ピグメント | 2.8.1 | PyGObject | 3.36.0 | ピミーウス | 0.5.11 |
PyNaClの | 1.3.0 | pyodbc | 4.0.30 | pyparsing (英語) | 2.4.7 |
ピルシステント | 0.17.3 | ピスタン | 2.19.1.1 | Python-apt | 2.0.0 + ubuntu0.20.4.6 |
Python-dateutil | 2.8.1 | Pythonエディタ | 1.0.4 | ピッツ | 2020.5 |
Pyウェーブレット | 1.1.1 | PyYAML (英語) | 5.4.1 | ピズム | 20.0.0 |
正規表現 | 2021.4.4 | 要求 | 2.25.1 | リクエスト-oauthlib | 1.3.0 |
リクエスト-unixsocket | 0.2.0 | rsa | 4.7.2 | S3トランスファー | 0.3.7 |
サクレモーセス | 0.0.45 | Scikit-Learn | 0.24.1 | scipy(サイピー) | 1.6.2 |
シーボーン | 0.11.1 | Send2Trash(センド2トラッシュ) | 1.5.0 | セットアップツール | 52.0.0 |
setuptools-git | 1.2 | シャップ | 0.39.0 | シンプルJSON | 3.17.2 |
6 | 1.15.0 | スライサー | 0.0.7 | スマートオープン | 5.2.0 |
SMMAPの | 3.0.5 | スペイシー | 3.1.2 | スペイシーレガシー | 3.0.8 |
スパークテンソルフローディストリビューター | 1.0.0 | sqlparse | 0.4.1 | srslyの | 2.4.1 |
ssh-import-id | 5.10 | 統計モデル | 0.12.2 | 表 | 0.8.7 |
Unicodeで絡み合った | 0.1.0 | 持久力 | 6.2.0 | TensorBoard | 2.6.0 |
TensorBoard-data-server | 0.6.1 | TensorBoard-plugin-wit | 1.8.0 | テンソルフロー-CPU | 2.6.0 |
テンソルフロー推定器 | 2.6.0 | タームカラー | 1.1.0 | テルミナド | 0.9.4 |
テストパス | 0.4.4 | シンク | 8.0.8 | スレッドプールctl | 2.1.0 |
トークナイザー | 0.10.3 | トーチ | 1.9.0+CPU | トーチビジョン | 0.10.0+CPU |
竜巻 | 6.1 | tqdm | 4.59.0 | トレイトレット | 5.0.5 |
トランスフォーマー | 4.9.2 | タイパー | 0.3.2 | タイピング拡張 | 3.7.4.3 |
ujson | 4.0.2 | 無人アップグレード | 0.1 | urllib3 の | 1.25.11 |
virtualenv | 20.4.1 | ビジョン | 0.7.1 | 山葵 | 0.8.2 |
WC幅 | 0.2.5 | webエンコーディング | 0.5.1 | websocket-クライアント | 0.57.0 |
ヴェルクツォイク | 1.0.1 | 輪 | 0.36.2 | widgetsnb拡張機能 | 3.5.1 |
ラッピング | 1.12.1 | XGBoost | 1.4.2 | ジップ | 3.4.1 |
Python ライブラリ on GPU クラスター
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
absl-py | 0.11.0 | アンテルゴス Linux | 2015.10 (ISOローリング) | appdirs (英語) | 1.4.4 |
アルゴン2-CFFI | 20.1.0 | アスター | 0.8.1 | アストゥンパース | 1.6.3 |
非同期ジェネレータ | 1.10 | 属性 | 20.3.0 | バックコール | 0.2.0 |
bcryptの | 3.2.0 | ブリーチ | 3.3.0 | ブリス | 0.7.4 |
ボト3 | 1.16.7 | ボトコア | 1.19.7 | ボトルネック | 1.3.2 |
cachetools | 4.2.2 | カタログ | 2.0.6 | 認証 | 2020.12.5 |
cffi | 1.14.5 | シャルデ | 4.0.0 | 打ち鳴らす | 5.0 |
クリック | 7.1.2 | クラウドピクルス | 1.6.0 | cmdstanpyさん | 0.9.68 |
コンフィグパーサー | 5.0.1 | 変換日 | 2.3.2 | 暗号化手法 | 3.4.7 |
サーマルサイクラー | 0.10.0 | サイメム | 2.0.5 | シトン | 0.29.23 |
Databricks 自動 ml ランタイム | 0.1.0 | Databricks の CLI | 0.14.3 | DBUSPython | 1.2.16 |
デコレータ | 5.0.6 | デフューズドXML | 0.7.1 | ディル | 0.3.2 |
ディスクキャッシュ | 5.2.1 | ディストリビューション | 0.3.2 | ディストリビューション情報 | 0.23Ubuntuの1 |
エントリポイント | 0.3 | エフェム | 4.0.0.2 | facets-概要 | 1.0.0 |
ファイルロック | 3.0.12 | flask | 1.1.2 | フラットバッファ | 1.12 |
FSSPECの | 0.9.0 | 未来 | 0.18.2 | ガスト | 0.4.0 |
ギットDB | 4.0.7 | ギットパイソン | 3.1.12 | グーグル認証 | 1.22.1 |
グーグル認証 - oauthlib | 0.4.2 | グーグルパスタ | 0.2.0 | grpcio | 1.39.0 |
gunicorn | 20.0.4 | h5pyさん | 3.1.0 | イスラム暦コンバータ | 2.2.1 |
休日 | 0.11.2 | Horovod | 0.22.1 | htmlmin | 0.1.12 |
抱きしめるface-hub | 0.0.12 | イドナ | 2.10 | イメージハッシュ | 4.2.1 |
不均衡な学習 | 0.8.0 | importlib-metadata | 3.10.0 | ipykernel(英語) | 5.3.4 |
アイパイソン | 7.22.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.6.3 |
イソデート | 0.6.0 | それは危険です | 1.1.0 | ジェダイ | 0.17.2 |
ジンジャ2 | 2.11.3 | jmespathの | 0.10.0 | ジョブリブ | 1.0.1 |
ジョブリブスパーク | 0.3.0 | jsonschema(jsonschema) | 3.2.0 | jupyter-クライアント | 6.1.12 |
ジュピターコア | 4.7.1 | jupyterlab-pygmentsの | 0.1.2 | jupyterlab-widgetsの | 1.0.0 |
keras | 2.6.0 | Keras- 前処理 | 1.1.2 | キウイソルバー | 1.3.1 |
koalas | 1.8.1 | 韓国の太陰暦 | 0.2.1 | LightGBM | 3.1.1 |
LLVMLITEの | 0.37.0 | ルナカレンダー | 0.0.9 | アオザメ | 1.1.3 |
Markdown | 3.3.3 | マークアップセーフ | 1.1.1 | Matplotlib | 3.4.2 |
行方不明いいえ | 0.5.0 | ミスチューン | 0.8.4 | MLeap | 0.17.0 |
mlflow-skinny | 1.20.2 | マルチメソッド | 1.4 | つぶやき | 1.0.5 |
NBクライアント | 0.5.3 | NBコンバート | 6.0.7 | NBフォーマット | 5.1.3 |
ネスト-アシンシオ | 1.5.1 | ネットワークX | 2.5 | nltk | 3.6.1 |
ノートブック | 6.3.0 | ナンバ | 0.54.0 | ナムピー | 1.19.2 |
OAuthlib | 3.1.0 | オプトアインサム | 3.3.0 | 包装 | 20.9 |
pandas | 1.2.4 | pandasプロファイリング | 3.0.0 | pandocフィルター | 1.4.3 |
パラミコ | 2.7.2 | パルソ | 0.7.0 | パシー | 0.6.0 |
パッツィ | 0.5.1 | petastorm | 0.11.2 | pexpect | 4.8.0 |
ピク | 0.12.0 | ピクルシェア | 0.7.5 | 枕 | 8.2.0 |
種 | 21.0.1 | Plotly | 5.1.0 | プレシェッド | 3.0.5 |
プロンプトツールキット | 3.0.17 | Prophet | 1.0.1 | プロトブフ | 3.17.2 |
psutil の | 5.8.0 | サイコップ2 | 2.8.5 | PTYPROCESSの | 0.7.0 |
ピアロー | 4.0.0 | pyasn1 | 0.4.8 | pyasn1モジュール | 0.2.8 |
pycparser | 2.20 | ピダンティック | 1.8.2 | ピグメント | 2.8.1 |
PyGObject | 3.36.0 | ピミーウス | 0.5.11 | PyNaClの | 1.3.0 |
pyodbc | 4.0.30 | pyparsing (英語) | 2.4.7 | ピルシステント | 0.17.3 |
ピスタン | 2.19.1.1 | Python-apt | 2.0.0 + ubuntu0.20.4.6 | Python-dateutil | 2.8.1 |
Pythonエディタ | 1.0.4 | ピッツ | 2020.5 | Pyウェーブレット | 1.1.1 |
PyYAML (英語) | 5.4.1 | ピズム | 20.0.0 | 正規表現 | 2021.4.4 |
要求 | 2.25.1 | リクエスト-oauthlib | 1.3.0 | リクエスト-unixsocket | 0.2.0 |
rsa | 4.7.2 | S3トランスファー | 0.3.7 | サクレモーセス | 0.0.45 |
Scikit-Learn | 0.24.1 | scipy(サイピー) | 1.6.2 | シーボーン | 0.11.1 |
Send2Trash(センド2トラッシュ) | 1.5.0 | セットアップツール | 52.0.0 | setuptools-git | 1.2 |
シャップ | 0.39.0 | シンプルJSON | 3.17.2 | 6 | 1.15.0 |
スライサー | 0.0.7 | スマートオープン | 5.2.0 | SMMAPの | 3.0.5 |
スペイシー | 3.1.2 | スペイシーレガシー | 3.0.8 | スパークテンソルフローディストリビューター | 1.0.0 |
sqlparse | 0.4.1 | srslyの | 2.4.1 | ssh-import-id | 5.10 |
統計モデル | 0.12.2 | 表 | 0.8.7 | Unicodeで絡み合った | 0.1.0 |
持久力 | 6.2.0 | TensorBoard | 2.6.0 | TensorBoard-data-server | 0.6.1 |
TensorBoard-plugin-wit | 1.8.0 | TensorFlow | 2.6.0 | テンソルフロー推定器 | 2.6.0 |
タームカラー | 1.1.0 | テルミナド | 0.9.4 | テストパス | 0.4.4 |
シンク | 8.0.8 | スレッドプールctl | 2.1.0 | トークナイザー | 0.10.3 |
トーチ | 1.9.0 + CU111 | トーチビジョン | 0.10.0+CU111 | 竜巻 | 6.1 |
tqdm | 4.59.0 | トレイトレット | 5.0.5 | トランスフォーマー | 4.9.2 |
タイパー | 0.3.2 | タイピング拡張 | 3.7.4.3 | ujson | 4.0.2 |
無人アップグレード | 0.1 | urllib3 の | 1.25.11 | virtualenv | 20.4.1 |
ビジョン | 0.7.1 | 山葵 | 0.8.2 | WC幅 | 0.2.5 |
webエンコーディング | 0.5.1 | websocket-クライアント | 0.57.0 | ヴェルクツォイク | 1.0.1 |
輪 | 0.36.2 | widgetsnb拡張機能 | 3.5.1 | ラッピング | 1.12.1 |
XGBoost | 1.4.2 | ジップ | 3.4.1 |
Python モジュールを含む Spark パッケージ
Spark パッケージ | Python モジュール | バージョン |
|---|---|---|
graphframes | graphframes | 0.8.1-db6-spark3.2 |
R ライブラリ
R ライブラリは、Databricks Runtime10.0 の R ライブラリ と同じです。
Java and Scala ライブラリ (Scala 2.12 クラスター)
Databricks Runtime 10.0 ML には、Databricks Runtime 10.0 の Java ライブラリと Scala ライブラリに加えて、次の JAR が含まれています。
CPU クラスター
グループID | アーティファクト ID | バージョン |
|---|---|---|
com.typesafe.akka (英語) | アッカ-actor_2.12 | 2.5.23 |
ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.17.0-4882dc3 |
ml.dmlc | XGBOOST4Jのspark_2.12 | 1.4.1 |
ml.dmlc | xgboost4j_2.12 | 1.4.1 |
org.graphframes | graphframes_2.12 | 0.8.1-db6-spark3.2 |
org.mlflowの | mlflow-クライアント | 1.20.2 |
org.mlflowの | mlflow-spark | 1.20.2 |
組織Scala-lang.modules | Scala-java8-compat_2.12 | 0.8.0 |
org.tensorflowの | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU クラスター
グループID | アーティファクト ID | バージョン |
|---|---|---|
com.typesafe.akka (英語) | アッカ-actor_2.12 | 2.5.23 |
ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.17.0-4882dc3 |
ml.dmlc | XGBOOST4Jのgpu_2.12 | 1.4.1 |
ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.4.1 |
org.graphframes | graphframes_2.12 | 0.8.1-db6-spark3.2 |
org.mlflowの | mlflow-クライアント | 1.20.2 |
org.mlflowの | mlflow-spark | 1.20.2 |
組織Scala-lang.modules | Scala-java8-compat_2.12 | 0.8.0 |
org.tensorflowの | spark-tensorflow-connector_2.12 | 1.15.0 |