メインコンテンツまでスキップ

Databricks Runtime 10.4 LTS for Machine Learning (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。サポート終了日については、「 サポート終了の履歴」を参照してください。サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

Databricks Runtime 10.4 LTS for Machine Learning は、 Databricks Runtime 10.4 LTS (EoS) に基づく機械学習とデータサイエンスのためのすぐに使える環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。Databricks Runtime ML は、 Horovodを使用した分散ディープラーニング トレーニングもサポートしています。

Databricks RuntimeMLクラスターの作成手順など、詳細については、「AI での と機械学習Databricks 」を参照してください。

ヒント

サポート終了 (EoS) に達した Databricks Runtime バージョンのリリースノートを表示するには、「 サポート終了 Databricks Runtime リリースノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されない可能性があります。

新機能と改善点

Databricks Runtime 10.4 LTS ML は、Databricks Runtime 10.4 LTS の上に構築されています。Databricks Runtime 10.4 LTSの新機能 (Apache Spark MLlib や SparkRなど) については、Databricks Runtime 10.4 LTS (EoS) リリースノートを参照してください。

AutoML の機能強化

AutoML には、次の機能強化が行われました。

AutoML の一般提供開始

Databricks Runtime 10.4 LTS ML 以降、AutoML は一般公開されています。

欠損値の補完

null 値の代入方法を指定できるようになりました。デフォルトによって、 AutoML は列のタイプと内容に基づいて代入方法を選択します。 詳細については、「 欠損値の代入 」を参照してください。

UIからの列選択

分類と回帰の問題については、API に加えて UI を使用して、AutoML が計算中に無視する列を指定できるようになりました。「列の選択」を参照してください。

新しいデータ型

AutoML で数値配列型がサポートされるようになりました。

生成されたノートブックとエクスペリメントのカスタムロケーション

これで、生成されたノートブックとエクスペリメントを保存するワークスペース内の場所を指定 AutoML 。 experiment_dir パラメーターを使用します。AutoML Python API リファレンスをご覧ください。

Databricks Feature Store の機能強化

Databricks Feature Store には、次の機能強化が行われました。

システム環境

Databricks Runtime 10.4 LTS ML のシステム環境は、Databricks Runtime 10.4 LTS と次のように異なります。

ライブラリ

次のセクションでは、Databricks Runtime 10.4 LTS ML に含まれるライブラリのうち、それらとは異なるライブラリの一覧を示します Databricks Runtime 10.4 LTS に含まれています。

このセクションの内容:

トップクラスのライブラリ

Databricks Runtime 10.4 LTS ML には、次の最上位 ライブラリが含まれています。

Python ライブラリ

Databricks ランタイム 10.4 LTS MLは、Python パッケージ管理に Virtualenv を使用し、多くの一般的な機械学習パッケージが含まれています。

次のセクションで指定されているパッケージに加えて、 Databricks Runtime 10.4 LTS MLには次のパッケージも含まれています。

  • hyperopt 0.2.7.db1
  • sparkdl 2.2.0-DB5
  • feature_store 0.3.8
  • automl 1.7.2

Python ライブラリ on CPU クラスター

Databricks Runtime ML Python 環境をローカルの Python 仮想環境に再現するには、 requirements-10.4.txt ファイルをダウンロードして pip install -r requirements-10.4.txtを実行します。このコマンドは、Databricks Runtime ML が使用するすべてのオープンソース ライブラリをインストールしますが、databricks-automldatabricks-feature-storehyperoptの Databricks フォークなど、Databricks開発されたライブラリはインストールしません。

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

absl-py

0.11.0

アンテルゴス Linux

2015.10 (ISOローリング)

appdirs (英語)

1.4.4

アルゴン2-CFFI

20.1.0

アスター

0.8.1

アストゥンパース

1.6.3

非同期ジェネレータ

1.10

属性

20.3.0

バックコール

0.2.0

bcryptの

3.2.0

ビディクト

0.21.4

bleach

3.3.0

ブリス

0.7.4

ボト3

1.16.7

ボトコア

1.19.7

cachetools

4.2.4

カタログ

2.0.6

認証

2020.12.5

cffi

1.14.5

chardet

4.0.0

クリック

7.1.2

クラウドピクルス

1.6.0

cmdstanpyさん

0.9.68

コンフィグパーサー

5.0.1

変換日

2.3.2

cryptography

3.4.7

サーマルサイクラー

0.10.0

サイメム

2.0.5

シトン

0.29.23

Databricks 自動 ml ランタイム

0.2.6

Databricks の CLI

0.16.3

DBLテンポ

0.1.2

DBUSPython

1.2.16

デコレータ

5.0.6

defusedxml

0.7.1

ディル

0.3.2

ディスクキャッシュ

5.2.1

ディストリビューション

0.3.4

ディストリビューション情報

0.23Ubuntuの1

エントリポイント

0.3

エフェム

4.1.3

facets-概要

1.0.0

ファストテキスト

0.9.2

ファイルロック

3.0.12

flask

1.1.2

フラットバッファ

2.0

FSSPECの

0.9.0

未来

0.18.2

ガスト

0.4.0

ギットDB

4.0.7

ギットパイソン

3.1.12

グーグル認証

1.22.1

グーグル認証 - oauthlib

0.4.2

グーグルパスタ

0.2.0

grpcio

1.39.0

gunicorn

20.0.4

gviz-api

1.10.0

h5pyさん

3.1.0

イスラム暦コンバータ

2.2.3

休日

0.12

Horovod

0.23.0

htmlmin

0.1.12

抱きしめるface-hub

0.1.2

イドナ

2.10

イメージハッシュ

4.2.1

不均衡な学習

0.8.1

importlib-metadata

3.10.0

ipykernel(英語)

5.3.4

アイパイソン

7.22.0

ipython-genutils

0.2.0

ipywidgets

7.6.3

イソデート

0.6.0

それは危険です

1.1.0

ジェダイ

0.17.2

ジンジャ2

2.11.3

jmespath

0.10.0

joblib

1.0.1

ジョブリブスパーク

0.3.0

jsonschema(jsonschema)

3.2.0

jupyter-クライアント

6.1.12

ジュピターコア

4.7.1

jupyterlab-pygmentsの

0.1.2

jupyterlab-widgetsの

1.0.0

keras

2.8.0

Keras- 前処理

1.1.2

キウイソルバー

1.3.1

koalas

1.8.2

韓国の太陰暦

0.2.1

ラングコード

3.3.0

リブクラン

13.0.0

LightGBM

3.3.2

LLVMLITEの

0.38.0

ルナカレンダー

0.0.9

アオザメ

1.1.3

Markdown

3.3.3

マークアップセーフ

2.0.1

Matplotlib

3.4.2

行方不明いいえ

0.5.1

ミスチューン

0.8.4

MLeap

0.18.1

mlflow-skinny

1.24.0

マルチメソッド

1.7

つぶやき

1.0.5

NBクライアント

0.5.3

NBコンバート

6.0.7

NBフォーマット

5.1.3

ネスト-アシンシオ

1.5.1

ネットワークX

2.5

nltk

3.6.1

notebook

6.3.0

ナンバ

0.55.1

numpy

1.20.1

OAuthlib

3.1.0

オプトアインサム

3.3.0

packaging

21.3

pandas

1.2.4

pandasプロファイリング

3.1.0

pandocフィルター

1.4.3

パラミコ

2.7.2

パルソ

0.7.0

パシー

0.6.0

patsy

0.5.1

petastorm

0.11.4

pexpect

4.8.0

ピク

0.12.0

ピクルシェア

0.7.5

8.2.0

21.0.1

Plotly

5.5.0

エムダリマ

1.8.4

プレシェッド

3.0.5

prometheus-クライアント

0.10.1

プロンプトツールキット

3.0.17

Prophet

1.0.1

protobuf

3.17.2

psutil の

5.8.0

サイコップ2

2.8.5

PTYPROCESSの

0.7.0

pyarrow

4.0.0

pyasn1

0.4.8

pyasn1モジュール

0.2.8

pybind11

2.9.1

pycparser

2.20

ピダンティック

1.8.2

ピグメント

2.8.1

PyGObject

3.36.0

ピミーウス

0.5.11

PyNaClの

1.4.0

pyodbc

4.0.30

pyparsing

2.4.7

ピルシステント

0.17.3

ピスタン

2.19.1.1

Python-apt

2.0.0 + ubuntu0.20.4.7

Python-dateutil

2.8.1

Pythonエディタ

1.0.4

PythonエンジンIO

4.3.0

Pythonのソケット

5.4.1

pytz

2020.5

Pyウェーブレット

1.1.1

PyYAML (英語)

5.4.1

ピズム

20.0.0

正規表現

2021.4.4

要求

2.25.1

リクエスト-oauthlib

1.3.0

リクエスト-unixsocket

0.2.0

rsa

4.7.2

S3トランスファー

0.3.7

サクレモーセス

0.0.46

scikit-learn

0.24.1

scipy

1.6.2

シーボーン

0.11.1

Send2Trash(センド2トラッシュ)

1.5.0

setuptools

52.0.0

setuptools-git

1.2

シャップ

0.40.0

シンプルJSON

3.17.2

six

1.15.0

スライサー

0.0.7

スマートオープン

5.2.0

SMMAPの

3.0.5

スペイシー

3.2.1

スペイシーレガシー

3.0.8

スペイシーロガー

1.0.1

スパークテンソルフローディストリビューター

1.0.0

sqlparse

0.4.1

srslyの

2.4.1

ssh-import-id

5.10

statsmodels

0.12.2

0.8.7

Unicodeで絡み合った

0.1.0

持久力

6.2.0

TensorBoard

2.8.0

TensorBoard-data-server

0.6.1

TensorBoard-plugin-profile

2.5.0

TensorBoard-plugin-wit

1.8.1

テンソルフロー-CPU

2.8.0

テンソルフロー推定器

2.8.0

tensorflow-io-GCS-ファイルシステム

0.24.0

タームカラー

1.1.0

テルミナド

0.9.4

テストパス

0.4.4

tf-estimator-nightly

2.8.0.dev2021122109

シンク

8.0.12

threadpoolctl

2.1.0

トークナイザー

0.10.3

トーチ

1.10.2+CPU

トーチビジョン

0.11.3+CPU

竜巻

6.1

tqdm

4.59.0

トレイトレット

5.0.5

transformers

4.16.2

タイパー

0.3.2

タイピング拡張

3.7.4.3

ujson

4.0.2

無人アップグレード

0.1

urllib3 の

1.25.11

virtualenv

20.4.1

ビジョン

0.7.4

山葵

0.8.2

WC幅

0.2.5

webencodings

0.5.1

websocket-クライアント

0.57.0

ヴェルクツォイク

1.0.1

0.36.2

widgetsnb拡張機能

3.5.1

ラッピング

1.12.1

XGBoost

1.5.2

ジップ

3.4.1

Python ライブラリ on GPU クラスター

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

absl-py

0.11.0

アンテルゴス Linux

2015.10 (ISOローリング)

appdirs (英語)

1.4.4

アルゴン2-CFFI

20.1.0

アスター

0.8.1

アストゥンパース

1.6.3

非同期ジェネレータ

1.10

属性

20.3.0

バックコール

0.2.0

bcryptの

3.2.0

ビディクト

0.21.4

bleach

3.3.0

ブリス

0.7.4

ボト3

1.16.7

ボトコア

1.19.7

cachetools

4.2.4

カタログ

2.0.6

認証

2020.12.5

cffi

1.14.5

chardet

4.0.0

クリック

7.1.2

クラウドピクルス

1.6.0

cmdstanpyさん

0.9.68

コンフィグパーサー

5.0.1

変換日

2.3.2

cryptography

3.4.7

サーマルサイクラー

0.10.0

サイメム

2.0.5

シトン

0.29.23

Databricks 自動 ml ランタイム

0.2.6

Databricks の CLI

0.16.3

DBLテンポ

0.1.2

DBUSPython

1.2.16

デコレータ

5.0.6

defusedxml

0.7.1

ディル

0.3.2

ディスクキャッシュ

5.2.1

ディストリビューション

0.3.4

ディストリビューション情報

0.23Ubuntuの1

エントリポイント

0.3

エフェム

4.1.3

facets-概要

1.0.0

ファストテキスト

0.9.2

ファイルロック

3.0.12

flask

1.1.2

フラットバッファ

2.0

FSSPECの

0.9.0

未来

0.18.2

ガスト

0.4.0

ギットDB

4.0.7

ギットパイソン

3.1.12

グーグル認証

1.22.1

グーグル認証 - oauthlib

0.4.2

グーグルパスタ

0.2.0

grpcio

1.39.0

gunicorn

20.0.4

gviz-api

1.10.0

h5pyさん

3.1.0

イスラム暦コンバータ

2.2.3

休日

0.12

Horovod

0.23.0

htmlmin

0.1.12

抱きしめるface-hub

0.1.2

イドナ

2.10

イメージハッシュ

4.2.1

不均衡な学習

0.8.1

importlib-metadata

3.10.0

ipykernel(英語)

5.3.4

アイパイソン

7.22.0

ipython-genutils

0.2.0

ipywidgets

7.6.3

イソデート

0.6.0

それは危険です

1.1.0

ジェダイ

0.17.2

ジンジャ2

2.11.3

jmespath

0.10.0

joblib

1.0.1

ジョブリブスパーク

0.3.0

jsonschema(jsonschema)

3.2.0

jupyter-クライアント

6.1.12

ジュピターコア

4.7.1

jupyterlab-pygmentsの

0.1.2

jupyterlab-widgetsの

1.0.0

keras

2.8.0

Keras- 前処理

1.1.2

キウイソルバー

1.3.1

koalas

1.8.2

韓国の太陰暦

0.2.1

ラングコード

3.3.0

リブクラン

13.0.0

LightGBM

3.3.2

LLVMLITEの

0.38.0

ルナカレンダー

0.0.9

アオザメ

1.1.3

Markdown

3.3.3

マークアップセーフ

2.0.1

Matplotlib

3.4.2

行方不明いいえ

0.5.1

ミスチューン

0.8.4

MLeap

0.18.1

mlflow-skinny

1.24.0

マルチメソッド

1.7

つぶやき

1.0.5

NBクライアント

0.5.3

NBコンバート

6.0.7

NBフォーマット

5.1.3

ネスト-アシンシオ

1.5.1

ネットワークX

2.5

nltk

3.6.1

notebook

6.3.0

ナンバ

0.55.1

numpy

1.20.1

OAuthlib

3.1.0

オプトアインサム

3.3.0

packaging

21.3

pandas

1.2.4

pandasプロファイリング

3.1.0

pandocフィルター

1.4.3

パラミコ

2.7.2

パルソ

0.7.0

パシー

0.6.0

patsy

0.5.1

petastorm

0.11.4

pexpect

4.8.0

ピク

0.12.0

ピクルシェア

0.7.5

8.2.0

21.0.1

Plotly

5.5.0

エムダリマ

1.8.4

プレシェッド

3.0.5

プロンプトツールキット

3.0.17

Prophet

1.0.1

protobuf

3.17.2

psutil の

5.8.0

サイコップ2

2.8.5

PTYPROCESSの

0.7.0

pyarrow

4.0.0

pyasn1

0.4.8

pyasn1モジュール

0.2.8

pybind11

2.9.1

pycparser

2.20

ピダンティック

1.8.2

ピグメント

2.8.1

PyGObject

3.36.0

ピミーウス

0.5.11

PyNaClの

1.4.0

pyodbc

4.0.30

pyparsing

2.4.7

ピルシステント

0.17.3

ピスタン

2.19.1.1

Python-apt

2.0.0 + ubuntu0.20.4.7

Python-dateutil

2.8.1

Pythonエディタ

1.0.4

PythonエンジンIO

4.3.0

Pythonのソケット

5.4.1

pytz

2020.5

Pyウェーブレット

1.1.1

PyYAML (英語)

5.4.1

ピズム

20.0.0

正規表現

2021.4.4

要求

2.25.1

リクエスト-oauthlib

1.3.0

リクエスト-unixsocket

0.2.0

rsa

4.7.2

S3トランスファー

0.3.7

サクレモーセス

0.0.46

scikit-learn

0.24.1

scipy

1.6.2

シーボーン

0.11.1

Send2Trash(センド2トラッシュ)

1.5.0

setuptools

52.0.0

setuptools-git

1.2

シャップ

0.40.0

シンプルJSON

3.17.2

six

1.15.0

スライサー

0.0.7

スマートオープン

5.2.0

SMMAPの

3.0.5

スペイシー

3.2.1

スペイシーレガシー

3.0.8

スペイシーロガー

1.0.1

スパークテンソルフローディストリビューター

1.0.0

sqlparse

0.4.1

srslyの

2.4.1

ssh-import-id

5.10

statsmodels

0.12.2

0.8.7

Unicodeで絡み合った

0.1.0

持久力

6.2.0

TensorBoard

2.8.0

TensorBoard-data-server

0.6.1

TensorBoard-plugin-profile

2.5.0

TensorBoard-plugin-wit

1.8.1

TensorFlow

2.8.0

テンソルフロー推定器

2.8.0

tensorflow-io-GCS-ファイルシステム

0.24.0

タームカラー

1.1.0

テルミナド

0.9.4

テストパス

0.4.4

tf-estimator-nightly

2.8.0.dev2021122109

シンク

8.0.12

threadpoolctl

2.1.0

トークナイザー

0.10.3

トーチ

1.10.2+CU111

トーチビジョン

0.11.3+cu111

竜巻

6.1

tqdm

4.59.0

トレイトレット

5.0.5

transformers

4.16.2

タイパー

0.3.2

タイピング拡張

3.7.4.3

ujson

4.0.2

無人アップグレード

0.1

urllib3 の

1.25.11

virtualenv

20.4.1

ビジョン

0.7.4

山葵

0.8.2

WC幅

0.2.5

webencodings

0.5.1

websocket-クライアント

0.57.0

ヴェルクツォイク

1.0.1

0.36.2

widgetsnb拡張機能

3.5.1

ラッピング

1.12.1

XGBoost

1.5.2

ジップ

3.4.1

Python モジュールを含む Spark パッケージ

Spark パッケージ

Python モジュール

バージョン

graphframes

graphframes

0.8.2-db1-spark3.2

R ライブラリ

R ライブラリは、Databricks Runtime10.4LTS の R ライブラリ と同じです。

Java and Scala ライブラリ (Scala 2.12 クラスター)

Databricks Runtime 10.4 LTS の Java および Scala ライブラリに加えて、Databricks Runtime 10.4 LTS MLには次の JAR が含まれています。

CPU クラスター

グループID

アーティファクト ID

バージョン

com.typesafe.akka (英語)

アッカ-actor_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

0.18.1-23EB1EF

ml.dmlc

XGBOOST4Jのspark_2.12

1.5.2

ml.dmlc

xgboost4j_2.12

1.5.2

org.graphframes

graphframes_2.12

0.8.2-db1-spark3.2

org.mlflowの

mlflow-クライアント

1.24.0

org.mlflowの

mlflow-spark

1.24.0

組織Scala-lang.modules

Scala-java8-compat_2.12

0.8.0

org.tensorflowの

spark-tensorflow-connector_2.12

1.15.0

GPU クラスター

グループID

アーティファクト ID

バージョン

com.typesafe.akka (英語)

アッカ-actor_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

0.18.1-23EB1EF

ml.dmlc

XGBOOST4Jのspark_2.12

1.5.2

ml.dmlc

xgboost4j_2.12

1.5.2

org.graphframes

graphframes_2.12

0.8.2-db1-spark3.2

org.mlflowの

mlflow-クライアント

1.24.0

org.mlflowの

mlflow-spark

1.24.0

組織Scala-lang.modules

Scala-java8-compat_2.12

0.8.0

org.tensorflowの

spark-tensorflow-connector_2.12

1.15.0