メインコンテンツまでスキップ
に最終更新

機械学習向け Databricks Runtime 11.3 LTS (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。サポート終了日については、 「サポート終了履歴」を参照してください。サポートされているすべてのDatabricks Runtimeバージョンについては、 Databricks Runtimeリリースノートのバージョンと互換性」を参照してください。

Databricks Runtime 11.3 LTS for Machine Learning は、 Databricks Runtime 11.3 LTS (EoS)に基づいた機械学習とデータサイエンスのためのすぐに使える環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールであるAutoMLが含まれています。Databricks Runtime ML は、Horovod を使用した分散ディープラーニング トレーニングもサポートします。

注記

LTS は、 このバージョンが 長期サポート 対象であることを意味します。Databricks Runtime LTS バージョンのライフサイクルを参照してください。

Databricks RuntimeMLクラスターの作成手順など、詳細については、「AI での と機械学習Databricks 」を参照してください。

新機能と改善点​

Databricks Runtime 11.3 LTS ML は、Databricks Runtime 11.3 LTS 上に構築されています。Apache Spark MLlibおよびSparkRを含むDatabricks Runtime 11.3 LTSの新機能については、 Databricks Runtime 11.3 LTS (EoS)リリース ノートを参照してください。

AutoMLの機能強化​

AutoML 、 AutoMLエクスペリメントでの既存のFeature Store特徴量テーブルの使用をサポートするようになりました。 詳細については、 AutoML Feature Store の統合をご覧ください。

AutoMLによって生成されたトライアル ノートブックには、ユーザーがハイパーチューニングを再実行できるようにするコード スニペットが含まれるようになりました。

AutoML は現在DecimalType機能をサポートしています。

バグ修正​

Databricks Runtime 11.3 LTS MLには、アップグレードされたバージョンの sparkdl.xgboost が含まれています。 以前のバージョンの sparkdl.xgboost には、このリリースで修正されたバグが含まれているため、Databricks では、ライブラリのユーザーが Databricks Runtime 11.3 LTS MLにアップグレードすることをお勧めします。

将来のリリースに備える​

Databricks Runtime ML の今後のリリースには、 sklearnバージョン 1.0 が含まれます。この変更に備える方法については、 sklearnドキュメントをご覧ください。

Databricks Runtime 機械学習には、2 つの openblas パッケージが含まれています。 /opt/OpenBLAS パッケージは Databricks Runtime 11.3 LTS MLで非推奨となり、今後のリリースで削除される予定です。

システム環境​

Databricks Runtime 11.3 LTS ML のシステム環境は、Databricks Runtime 11.3 LTS と次の点で異なります。

Databricks Runtime 11.3 LTS MLには XGBoost 1.6.1 が含まれており、 コンピュート機能 5.2 以下の GPU クラスターはサポートされていません。

ライブラリ​

以下のセクションでは、Databricks Runtime 11.3 LTS MLに含まれるライブラリのうち、 Databricks Runtime 11.3 LTS に含まれています。

このセクションの内容：

最上位ライブラリ​

Databricks Runtime 11.3 LTS ML には、次の最上位層のライブラリが含まれています。

Pythonライブラリ​

Databricks ランタイム 11.3 LTS MLは、Python パッケージ管理に Virtualenv を使用し、多くの一般的な機械学習パッケージが含まれています。

次のセクションで指定されているパッケージに加えて、 Databricks Runtime 11.3 LTS MLには次のパッケージも含まれています。

  • hyperopt 0.2.7.db1
  • sparkdl 2.3.0-DB3
  • フィーチャーストア 0.7.0
  • オートML 1.13.2

ローカルのPython仮想環境でDatabricks Runtime ML Python環境を再現するには、 requirements-11.3.txtをダウンロードしてください。ファイルを開いてpip install -r requirements-11.3.txtを実行します。このコマンドは、 Databricks Runtime MLが使用するすべてのオープンソース ライブラリをインストールしますが、 Databricksによって開発されたライブラリ ( databricks-automl 、 databricks-feature-store 、またはhyperoptのDatabricksフォークなど) はインストールしません。

Python ライブラリ on CPU クラスター​

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

absl-py

1.0.0

アルゴン2-cffi

20.1.0

アスター

0.8.1

astunparse

1.6.3

非同期ジェネレータ

1.10

属性

21.2.0

azureコア

1.22.1

azureコスモス

4.2.0

バックコール

0.2.0

バックポート.エントリポイント選択可能

1.1.1

bcrypt

4.0.0

黒

22.3.0

bleach

4.0.0

至福

0.7.8

ボト3

1.21.18

ボトコア

1.24.18

キャッシュツール

5.2.0

カタログ

2.0.8

認定

2021年10月8日

cffi

1.14.6

chardet

4.0.0

charset-normalizer

2.0.4

クリック

8.0.3

クラウドピクル

2.0.0

コマンドスタンピー

0.9.68

菓子

0.0.1

設定パーサー

5.2.0

変換日

2.4.0

cryptography

3.4.8

サイクラー

0.10.0

シメム

2.0.6

シトン

0.29.24

データブリックス オートML ランタイム

0.2.11

データブリックス CLI

0.17.3

ダブルテンポ

0.1.12

dbus- Python

1.2.16

デバッグ

1.4.1

デコレータ

5.1.0

defusedxml

0.7.1

ディル

0.3.4

ディスクキャッシュ

5.4.0

ディストリビューション

0.3.6

エントリポイント

0.3

エフェム

4.1.3

ファセットの概要

1.0.0

ファストテキスト

0.9.2

ファイルロック

3.3.1

flask

1.1.2

フラットバッファ

1.12

ファイルシステムスペック

2021年8月1日

未来

0.18.2

ガスト

0.4.0

gitdb

4.0.9

GitPython

3.1.27

Google認証

2.6.0

Google 認証 OAuth ライブラリ

0.4.6

Googleパスタ

0.2.0

grpcio

1.44.0

gunicorn

20.1.0

gviz-api

1.10.0

h5py

3.3.0

ヒジュラ暦コンバーター

2.2.4

休日

0.15

Horovod

0.25.0

htmlmin

0.1.12

huggingface-hub

0.9.1

イドナ

3.2

画像ハッシュ

4.3.0

不均衡な学習

0.8.1

importlib-メタデータ

4.8.1

ipyカーネル

6.12.1

iPython

7.32.0

ipython-genutils

0.2.0

ipywidgets

7.7.0

同位体

0.6.1

危険だ

2.0.1

ジェダイ

0.18.0

ジンジャ2

2.11.3

jmespath

0.10.0

joblib

1.0.1

ジョブリブスパーク

0.5.0

jsonschema

3.2.0

jupyterクライアント

6.1.12

ジュピターコア

4.8.1

jupyterlab-pygments

0.1.2

JupyterLabウィジェット

1.0.0

keras

2.9.0

Kerasの前処理

1.1.2

キウイソルバー

1.3.1

韓国の太陰暦

0.3.1

言語コード

3.3.0

libclang

14.0.6

LightGBM

3.3.2

llvmlite

0.37.0

太陰暦

0.0.9

マコ

1.2.0

Markdown

3.3.6

マークアップセーフ

2.0.1

Matplotlib

3.4.3

matplotlibインライン

0.1.2

行方不明

0.5.1

不調

0.8.4

MLeap

0.20.0

mlflow-skinny

1.29.0

マルチメソッド

1.9

つぶやき

1.0.8

mypy拡張機能

0.4.3

nbクライアント

0.5.3

nbconvert

6.1.0

nbフォーマット

5.1.3

ネスト非同期

1.5.1

ネットワークx

2.6.3

nltk

3.6.5

notebook

6.4.5

ナンバー

0.54.1

numpy

1.20.3

oauthlib

3.2.0

opt-einsum

3.3.0

packaging

21.0

pandas

1.3.4

pandasプロファイリング

3.1.0

パンドックフィルター

1.4.3

パラミコ

2.9.2

パルソ

0.8.2

パススペック

0.9.0

哀れな

0.6.2

patsy

0.5.2

petastorm

0.11.4

期待する

4.8.0

ピック

0.12.2

ピクルスシェア

0.7.5

枕

8.4.0

ピップ

21.2.4

プラットフォームディレクトリ

2.5.2

Plotly

5.9.0

pmdarima

1.8.5

プレシェッド

3.0.7

プロメテウスクライアント

0.11.0

プロンプトツールキット

3.0.20

Prophet

1.0.1

protobuf

3.19.4

psutil

5.8.0

サイコップ2

2.9.3

ptyプロセス

0.7.0

pyarrow

7.0.0

ピヤスン1

0.4.8

pyasn1モジュール

0.2.8

pybind11

2.10.0

pycパーサー

2.20

ピダンティック

1.9.2

ピグメント

2.10.0

PyGオブジェクト

3.36.0

ピジョンJWT

2.5.0

ピミーウス

0.5.11

ピナクロライド

1.5.0

pyodbc

4.0.31

pyparsing

3.0.4

ピリシスタント

0.18.0

ピスタン

2.19.1.1

Python-dateutil

2.8.2

Pythonエディター

1.0.4

pytz

2021.3

PyWavelet

1.1.1

ピヤム

6.0

ピズムク

22.2.1

正規表現

2021年8月3日

リクエスト

2.26.0

リクエスト-oauthlib

1.3.1

リクエスト-unixsocket

0.2.0

rsa

4.9

s3転送

0.5.2

scikit-learn

0.24.2

scipy

1.7.1

シーボーン

0.11.3

ゴミ箱へ送信

1.8.0

setuptools

58.0.4

セットアップツール-git

1.2

シャープ

0.41.0

シンプルなJSON

3.17.6

six

1.16.0

スライサー

0.0.7

スマートオープン

5.2.1

smmap

5.0.0

スペーシー

3.4.1

スペーシーレガシー

3.0.10

スペースロガー

1.0.3

spark-tensorflow-ディストリビューター

1.0.0

sqlparse

0.4.2

本当に

2.4.4

sshインポートID

5.10

statsmodels

0.12.2

表にする

0.8.9

ユニコードに絡まった

0.1.0

粘り強さ

8.0.1

TensorBoard

2.9.1

TensorBoard -データサーバー

0.6.1

TensorBoard -プラグインプロファイル

2.8.0

TensorBoard -プラグイン-wit

1.8.1

テンソルフローCPU

2.9.1

テンソルフロー推定器

2.9.0

tensorflow-io- GCS -ファイルシステム

0.27.0

用語色

2.0.1

終了する

0.9.4

テストパス

0.5.0

薄い

8.1.2

threadpoolctl

2.2.0

トークン化-rt

4.2.1

トークナイザー

0.12.1

トムリ

2.0.1

トーチ

1.12.1+CPU

トーチビジョン

0.13.1+CPU

竜巻

6.1

tqdm

4.62.3

特性レット

5.1.0

transformers

4.21.2

タイパー

0.4.2

タイピング拡張機能

3.10.0.2

ujson

4.0.2

無人アップグレード

0.1

urllib3

1.26.7

仮想環境

20.8.0

ビジョン

0.7.4

わさび

0.10.1

トイレ幅

0.2.5

webencodings

0.5.1

Websocketクライアント

1.3.1

ヴェルクツォイグ

2.0.2

車輪

0.37.0

ウィジェットnb拡張機能

3.6.0

ラップト

1.12.1

XGBoost

1.6.2

ジップ

3.6.0

Python ライブラリ on GPU クラスター​

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

absl-py

1.0.0

アルゴン2-cffi

20.1.0

アスター

0.8.1

astunparse

1.6.3

非同期ジェネレータ

1.10

属性

21.2.0

azureコア

1.22.1

azureコスモス

4.2.0

バックコール

0.2.0

バックポート.エントリポイント選択可能

1.1.1

bcrypt

4.0.0

黒

22.3.0

bleach

4.0.0

至福

0.7.8

ボト3

1.21.18

ボトコア

1.24.18

キャッシュツール

5.2.0

カタログ

2.0.8

認定

2021年10月8日

cffi

1.14.6

chardet

4.0.0

charset-normalizer

2.0.4

クリック

8.0.3

クラウドピクル

2.0.0

コマンドスタンピー

0.9.68

菓子

0.0.1

設定パーサー

5.2.0

変換日

2.4.0

cryptography

3.4.8

サイクラー

0.10.0

シメム

2.0.6

シトン

0.29.24

データブリックス オートML ランタイム

0.2.11

データブリックス CLI

0.17.3

ダブルテンポ

0.1.12

dbus- Python

1.2.16

デバッグ

1.4.1

デコレータ

5.1.0

defusedxml

0.7.1

ディル

0.3.4

ディスクキャッシュ

5.4.0

ディストリビューション

0.3.6

エントリポイント

0.3

エフェム

4.1.3

ファセットの概要

1.0.0

ファストテキスト

0.9.2

ファイルロック

3.3.1

flask

1.1.2

フラットバッファ

1.12

ファイルシステムスペック

2021年8月1日

未来

0.18.2

ガスト

0.4.0

gitdb

4.0.9

GitPython

3.1.27

Google認証

2.6.0

Google 認証 OAuth ライブラリ

0.4.6

Googleパスタ

0.2.0

grpcio

1.44.0

gunicorn

20.1.0

gviz-api

1.10.0

h5py

3.3.0

ヒジュラ暦コンバーター

2.2.4

休日

0.15

Horovod

0.25.0

htmlmin

0.1.12

huggingface-hub

0.9.1

イドナ

3.2

画像ハッシュ

4.3.0

不均衡な学習

0.8.1

importlib-メタデータ

4.8.1

ipyカーネル

6.12.1

iPython

7.32.0

ipython-genutils

0.2.0

ipywidgets

7.7.0

同位体

0.6.1

危険だ

2.0.1

ジェダイ

0.18.0

ジンジャ2

2.11.3

jmespath

0.10.0

joblib

1.0.1

ジョブリブスパーク

0.5.0

jsonschema

3.2.0

jupyterクライアント

6.1.12

ジュピターコア

4.8.1

jupyterlab-pygments

0.1.2

JupyterLabウィジェット

1.0.0

keras

2.9.0

Kerasの前処理

1.1.2

キウイソルバー

1.3.1

韓国の太陰暦

0.3.1

言語コード

3.3.0

libclang

14.0.6

LightGBM

3.3.2

llvmlite

0.37.0

太陰暦

0.0.9

マコ

1.2.0

Markdown

3.3.6

マークアップセーフ

2.0.1

Matplotlib

3.4.3

matplotlibインライン

0.1.2

行方不明

0.5.1

不調

0.8.4

MLeap

0.20.0

mlflow-skinny

1.29.0

マルチメソッド

1.9

つぶやき

1.0.8

mypy拡張機能

0.4.3

nbクライアント

0.5.3

nbconvert

6.1.0

nbフォーマット

5.1.3

ネスト非同期

1.5.1

ネットワークx

2.6.3

nltk

3.6.5

notebook

6.4.5

ナンバー

0.54.1

numpy

1.20.3

oauthlib

3.2.0

opt-einsum

3.3.0

packaging

21.0

pandas

1.3.4

pandasプロファイリング

3.1.0

パンドックフィルター

1.4.3

パラミコ

2.9.2

パルソ

0.8.2

パススペック

0.9.0

哀れな

0.6.2

patsy

0.5.2

petastorm

0.11.4

期待する

4.8.0

ピック

0.12.2

ピクルスシェア

0.7.5

枕

8.4.0

ピップ

21.2.4

プラットフォームディレクトリ

2.5.2

Plotly

5.9.0

pmdarima

1.8.5

プレシェッド

3.0.7

プロンプトツールキット

3.0.20

Prophet

1.0.1

protobuf

3.19.4

psutil

5.8.0

サイコップ2

2.9.3

ptyプロセス

0.7.0

pyarrow

7.0.0

ピヤスン1

0.4.8

pyasn1モジュール

0.2.8

pybind11

2.10.0

pycパーサー

2.20

ピダンティック

1.9.2

ピグメント

2.10.0

PyGオブジェクト

3.36.0

ピジョンJWT

2.5.0

ピミーウス

0.5.11

ピナクロライド

1.5.0

pyodbc

4.0.31

pyparsing

3.0.4

ピリシスタント

0.18.0

ピスタン

2.19.1.1

Python-dateutil

2.8.2

Pythonエディター

1.0.4

pytz

2021.3

PyWavelet

1.1.1

ピヤム

6.0

ピズムク

22.2.1

正規表現

2021年8月3日

リクエスト

2.26.0

リクエスト-oauthlib

1.3.1

リクエスト-unixsocket

0.2.0

rsa

4.9

s3転送

0.5.2

scikit-learn

0.24.2

scipy

1.7.1

シーボーン

0.11.3

ゴミ箱へ送信

1.8.0

setuptools

58.0.4

セットアップツール-git

1.2

シャープ

0.41.0

シンプルなJSON

3.17.6

six

1.16.0

スライサー

0.0.7

スマートオープン

5.2.1

smmap

5.0.0

スペーシー

3.4.1

スペーシーレガシー

3.0.10

スペースロガー

1.0.3

spark-tensorflow-ディストリビューター

1.0.0

sqlparse

0.4.2

本当に

2.4.4

sshインポートID

5.10

statsmodels

0.12.2

表にする

0.8.9

ユニコードに絡まった

0.1.0

粘り強さ

8.0.1

TensorBoard

2.9.1

TensorBoard -データサーバー

0.6.1

TensorBoard -プラグインプロファイル

2.8.0

TensorBoard -プラグイン-wit

1.8.1

TensorFlow

2.9.1

テンソルフロー推定器

2.9.0

tensorflow-io- GCS -ファイルシステム

0.27.0

用語色

2.0.1

終了する

0.9.4

テストパス

0.5.0

薄い

8.1.2

threadpoolctl

2.2.0

トークン化-rt

4.2.1

トークナイザー

0.12.1

トムリ

2.0.1

トーチ

1.12.1+cu113

トーチビジョン

0.13.1+cu113

竜巻

6.1

tqdm

4.62.3

特性レット

5.1.0

transformers

4.21.2

タイパー

0.4.2

タイピング拡張機能

3.10.0.2

ujson

4.0.2

無人アップグレード

0.1

urllib3

1.26.7

仮想環境

20.8.0

ビジョン

0.7.4

わさび

0.10.1

トイレ幅

0.2.5

webencodings

0.5.1

Websocketクライアント

1.3.1

ヴェルクツォイグ

2.0.2

車輪

0.37.0

ウィジェットnb拡張機能

3.6.0

ラップト

1.12.1

XGBoost

1.6.2

ジップ

3.6.0

Rライブラリ​

R ライブラリは、 Databricks Runtime 11.3 LTSのR ライブラリと同じです。

Java and Scala ライブラリ (Scala 2.12 クラスター)​

Databricks Runtime 11.3 LTS の Java および Scala ライブラリに加えて、Databricks Runtime 11.3 LTS MLには次の JAR が含まれています。

CPU クラスター​

グループID

アーティファクトID

バージョン

com.typesafe.akka

アッカアクター_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

v0.20.0-db1

ml.dmlc

xgboost4j-spark_2.12

1.6.2

ml.dmlc

xgboost4j_2.12

1.6.2

org.graphframes

graphframes_2.12

0.8.2-db1-spark3.2

org.mlflow

mlflowクライアント

1.29.0

org. Scala -lang.modules

Scala -java8-compat_2.12

0.8.0

org.tensorflow

spark-tensorflow-connector_2.12

1.15.0

GPU クラスター​

グループID

アーティファクトID

バージョン

com.typesafe.akka

アッカアクター_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

v0.20.0-db1

ml.dmlc

xgboost4j-gpu_2.12

1.6.2

ml.dmlc

xgboost4j-spark-gpu_2.12

1.6.2

org.graphframes

graphframes_2.12

0.8.2-db1-spark3.2

org.mlflow

mlflowクライアント

1.29.0

org. Scala -lang.modules

Scala -java8-compat_2.12

0.8.0

org.tensorflow

spark-tensorflow-connector_2.12

1.15.0