メインコンテンツまでスキップ

Databricks Runtime 10.3 for ML (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

Databricks Runtime 10.3 for Machine Learning は、 Databricks Runtime 10.3 (EoS) に基づく機械学習とデータサイエンスのためのすぐに使える環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。 Databricks Runtime ML は、 Horovodを使用した分散ディープラーニング トレーニングもサポートしています。

Databricks RuntimeMLクラスターの作成手順など、詳細については、「AI での と機械学習Databricks 」を参照してください。

新機能と改善点​

Databricks Runtime 10.3 ML は、Databricks Runtime 10.3 の上に構築されています。Databricks Runtime 10.3 の新機能 (Apache Spark MLlib や SparkRなど) については、Databricks Runtime 10.3 (EoS) リリースノートを参照してください。

AutoML の機能強化​

AutoML には、次の機能強化が行われました。

AutoML で予測用の ARIMA モデルがサポートされるようになりました​

Prophet に加えて、AutoML は問題の予測のための ARIMA モデルを作成および評価するようになりました。

データセットから列を除外する​

AutoML API を使用すると、AutoML が計算中に無視する列を指定できます。 これは、分類問題と回帰問題でのみ使用できます。 詳細については、 AutoML Python API リファレンス をご覧ください。

AutoML の実行からアルゴリズム フレームワークを除外する​

scikit-learn など、AutoML がモデルを開発する際に考慮すべきではないアルゴリズム フレームワークを指定できます。 詳細については、 高度な構成 と AutoML Python API リファレンス をご覧ください。

max_trials 非推奨​

max_trials パラメーターは非推奨であり、次のメジャー Databricks Runtime ML リリースで削除されます。timeout_minutes を使用して、AutoML の実行時間を制御します。また、 Databricks Runtime 10.1 ML 以降では、 AutoML に早期停止が組み込まれています。Validation メトリクスが改善されなくなった場合、トレーニングとチューニングモデルを停止します。

Databricks Feature Store の機能強化​

ポイントインタイムルックアップを時系列特徴量テーブルに適用できるようになりました。 詳細については、「 Point-in-time support using time series 特徴量テーブル 」を参照してください。

Databricks Autologging (GA)​

Databricks Autologging が Databricks Runtime 10.3 ML で一般公開されました。 Databricks Autologging は、 Databricksでの機械学習トレーニング セッションの自動エクスペリメント追跡を提供するノーコード ソリューションです。 Databricks Autologgingを使用すると、さまざまな一般的な機械学習ライブラリからモデルをトレーニングするときに、モデル パラメーター、メトリクス、ファイル、リネージ情報が自動的にキャプチャされます。トレーニング セッションは、 MLflow 追跡実行として記録されます。 モデルファイルも追跡されるため、MLflow Model Registryに簡単にログに記録し、MLflowモデルサービングを使用してリアルタイムスコアリングにデプロイできます。

詳細については、Databricks Autologgingを参照してください。

システム環境​

Databricks Runtime 10.3 ML のシステム環境は、Databricks Runtime 10.3 と次のように異なります。

ライブラリ​

次のセクションでは、Databricks Runtime 10.3 ML に含まれるライブラリのうち、それらとは異なるライブラリの一覧を示します Databricks Runtime 10.3 に含まれています。

このセクションの内容：

トップクラスのライブラリ​

Databricks Runtime 10.3 ML には、次の最上位 ライブラリが含まれています。

Python ライブラリ​

Databricks Runtime 10.3 ML は、Python パッケージ管理に Virtualenv を使用し、多くの一般的な ML パッケージが含まれています。

次のセクションで指定されているパッケージに加えて、Databricks Runtime 10.3 ML には次のパッケージも含まれています。

  • hyperopt 0.2.7.db1
  • sparkdl 2.2.0-DB5
  • feature_store 0.3.7
  • automl 1.6.0 (英語)

Python ライブラリ on CPU クラスター​

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

absl-py

0.11.0

アンテルゴス Linux

2015.10 (ISOローリング)

appdirs (英語)

1.4.4

アルゴン2-CFFI

20.1.0

アスター

0.8.1

アストゥンパース

1.6.3

非同期ジェネレータ

1.10

属性

20.3.0

バックコール

0.2.0

bcryptの

3.2.0

ビディクト

0.21.4

ブリーチ

3.3.0

ブリス

0.7.4

ボト3

1.16.7

ボトコア

1.19.7

cachetools

4.2.4

カタログ

2.0.6

認証

2020.12.5

cffi

1.14.5

シャルデ

4.0.0

クリック

7.1.2

クラウドピクルス

1.6.0

cmdstanpyさん

0.9.68

コンフィグパーサー

5.0.1

変換日

2.3.2

暗号化手法

3.4.7

サーマルサイクラー

0.10.0

サイメム

2.0.5

シトン

0.29.23

Databricks 自動 ml ランタイム

0.2.5

Databricks の CLI

0.16.2

DBLテンポ

0.1.2

DBUSPython

1.2.16

デコレータ

5.0.6

デフューズドXML

0.7.1

ディル

0.3.2

ディスクキャッシュ

5.2.1

ディストリビューション

0.3.4

ディストリビューション情報

0.23Ubuntuの1

エントリポイント

0.3

エフェム

4.1.3

facets-概要

1.0.0

ファストテキスト

0.9.2

ファイルロック

3.0.12

flask

1.1.2

フラットバッファ

2.0

FSSPECの

0.9.0

未来

0.18.2

ガスト

0.4.0

ギットDB

4.0.7

ギットパイソン

3.1.12

グーグル認証

1.22.1

グーグル認証 - oauthlib

0.4.2

グーグルパスタ

0.2.0

grpcio

1.39.0

gunicorn

20.0.4

gviz-api

1.10.0

h5pyさん

3.1.0

イスラム暦コンバータ

2.2.2

休日

0.12

Horovod

0.23.0

htmlmin

0.1.12

抱きしめるface-hub

0.1.2

イドナ

2.10

イメージハッシュ

4.2.1

不均衡な学習

0.8.1

importlib-metadata

3.10.0

ipykernel(英語)

5.3.4

アイパイソン

7.22.0

ipython-genutils

0.2.0

ipywidgets

7.6.3

イソデート

0.6.0

それは危険です

1.1.0

ジェダイ

0.17.2

ジンジャ2

2.11.3

jmespathの

0.10.0

ジョブリブ

1.0.1

ジョブリブスパーク

0.3.0

jsonschema(jsonschema)

3.2.0

jupyter-クライアント

6.1.12

ジュピターコア

4.7.1

jupyterlab-pygmentsの

0.1.2

jupyterlab-widgetsの

1.0.0

keras

2.7.0

Keras- 前処理

1.1.2

キウイソルバー

1.3.1

koalas

1.8.2

韓国の太陰暦

0.2.1

ラングコード

3.3.0

リブクラン

12.0.0

LightGBM

3.3.1

LLVMLITEの

0.38.0

ルナカレンダー

0.0.9

アオザメ

1.1.3

Markdown

3.3.3

マークアップセーフ

2.0.1

Matplotlib

3.4.2

行方不明いいえ

0.5.0

ミスチューン

0.8.4

MLeap

0.18.1

mlflow-skinny

1.23.0

マルチメソッド

1.6

つぶやき

1.0.5

NBクライアント

0.5.3

NBコンバート

6.0.7

NBフォーマット

5.1.3

ネスト-アシンシオ

1.5.1

ネットワークX

2.5

nltk

3.6.1

ノートブック

6.3.0

ナンバ

0.55.0

ナムピー

1.20.1

OAuthlib

3.1.0

オプトアインサム

3.3.0

包装

21.3

pandas

1.2.4

pandasプロファイリング

3.1.0

pandocフィルター

1.4.3

パラミコ

2.7.2

パルソ

0.7.0

パシー

0.6.0

パッツィ

0.5.1

petastorm

0.11.3

pexpect

4.8.0

ピク

0.12.0

ピクルシェア

0.7.5

枕

8.2.0

種

21.0.1

Plotly

5.5.0

エムダリマ

1.8.4

プレシェッド

3.0.5

prometheus-クライアント

0.10.1

プロンプトツールキット

3.0.17

Prophet

1.0.1

プロトブフ

3.17.2

psutil の

5.8.0

サイコップ2

2.8.5

PTYPROCESSの

0.7.0

ピアロー

4.0.0

pyasn1

0.4.8

pyasn1モジュール

0.2.8

pybind11

2.9.0

pycparser

2.20

ピダンティック

1.8.2

ピグメント

2.8.1

PyGObject

3.36.0

ピミーウス

0.5.11

PyNaClの

1.4.0

pyodbc

4.0.30

pyparsing (英語)

2.4.7

ピルシステント

0.17.3

ピスタン

2.19.1.1

Python-apt

2.0.0 + ubuntu0.20.4.6

Python-dateutil

2.8.1

Pythonエディタ

1.0.4

PythonエンジンIO

4.3.0

Pythonのソケット

5.4.1

ピッツ

2020.5

Pyウェーブレット

1.1.1

PyYAML (英語)

5.4.1

ピズム

20.0.0

正規表現

2021.4.4

要求

2.25.1

リクエスト-oauthlib

1.3.0

リクエスト-unixsocket

0.2.0

rsa

4.7.2

S3トランスファー

0.3.7

サクレモーセス

0.0.46

Scikit-Learn

0.24.1

scipy(サイピー)

1.6.2

シーボーン

0.11.1

Send2Trash(センド2トラッシュ)

1.5.0

セットアップツール

52.0.0

setuptools-git

1.2

シャップ

0.40.0

シンプルJSON

3.17.2

6

1.15.0

スライサー

0.0.7

スマートオープン

5.2.0

SMMAPの

3.0.5

スペイシー

3.2.1

スペイシーレガシー

3.0.8

スペイシーロガー

1.0.1

スパークテンソルフローディストリビューター

1.0.0

sqlparse

0.4.1

srslyの

2.4.1

ssh-import-id

5.10

統計モデル

0.12.2

表

0.8.7

Unicodeで絡み合った

0.1.0

持久力

6.2.0

TensorBoard

2.7.0

TensorBoard-data-server

0.6.1

TensorBoard-plugin-profile

2.5.0

TensorBoard-plugin-wit

1.8.1

テンソルフロー-CPU

2.7.0

テンソルフロー推定器

2.7.0

tensorflow-io-GCS-ファイルシステム

0.23.1

タームカラー

1.1.0

テルミナド

0.9.4

テストパス

0.4.4

シンク

8.0.12

スレッドプールctl

2.1.0

トークナイザー

0.10.3

トーチ

1.10.1+CPU

トーチビジョン

0.11.2+CPU

竜巻

6.1

tqdm

4.59.0

トレイトレット

5.0.5

トランスフォーマー

4.15.0

タイパー

0.3.2

タイピング拡張

3.7.4.3

ujson

4.0.2

無人アップグレード

0.1

urllib3 の

1.25.11

virtualenv

20.4.1

ビジョン

0.7.4

山葵

0.8.2

WC幅

0.2.5

webエンコーディング

0.5.1

websocket-クライアント

0.57.0

ヴェルクツォイク

1.0.1

輪

0.36.2

widgetsnb拡張機能

3.5.1

ラッピング

1.12.1

XGBoost

1.5.1

ジップ

3.4.1

Python ライブラリ on GPU クラスター​

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

absl-py

0.11.0

アンテルゴス Linux

2015.10 (ISOローリング)

appdirs (英語)

1.4.4

アルゴン2-CFFI

20.1.0

アスター

0.8.1

アストゥンパース

1.6.3

非同期ジェネレータ

1.10

属性

20.3.0

バックコール

0.2.0

bcryptの

3.2.0

ビディクト

0.21.4

ブリーチ

3.3.0

ブリス

0.7.4

ボト3

1.16.7

ボトコア

1.19.7

cachetools

4.2.4

カタログ

2.0.6

認証

2020.12.5

cffi

1.14.5

シャルデ

4.0.0

クリック

7.1.2

クラウドピクルス

1.6.0

cmdstanpyさん

0.9.68

コンフィグパーサー

5.0.1

変換日

2.3.2

暗号化手法

3.4.7

サーマルサイクラー

0.10.0

サイメム

2.0.5

シトン

0.29.23

Databricks 自動 ml ランタイム

0.2.5

Databricks の CLI

0.16.2

DBLテンポ

0.1.2

DBUSPython

1.2.16

デコレータ

5.0.6

デフューズドXML

0.7.1

ディル

0.3.2

ディスクキャッシュ

5.2.1

ディストリビューション

0.3.4

ディストリビューション情報

0.23Ubuntuの1

エントリポイント

0.3

エフェム

4.1.3

facets-概要

1.0.0

ファストテキスト

0.9.2

ファイルロック

3.0.12

flask

1.1.2

フラットバッファ

2.0

FSSPECの

0.9.0

未来

0.18.2

ガスト

0.4.0

ギットDB

4.0.7

ギットパイソン

3.1.12

グーグル認証

1.22.1

グーグル認証 - oauthlib

0.4.2

グーグルパスタ

0.2.0

grpcio

1.39.0

gunicorn

20.0.4

gviz-api

1.10.0

h5pyさん

3.1.0

イスラム暦コンバータ

2.2.2

休日

0.12

Horovod

0.23.0

htmlmin

0.1.12

抱きしめるface-hub

0.1.2

イドナ

2.10

イメージハッシュ

4.2.1

不均衡な学習

0.8.1

importlib-metadata

3.10.0

ipykernel(英語)

5.3.4

アイパイソン

7.22.0

ipython-genutils

0.2.0

ipywidgets

7.6.3

イソデート

0.6.0

それは危険です

1.1.0

ジェダイ

0.17.2

ジンジャ2

2.11.3

jmespathの

0.10.0

ジョブリブ

1.0.1

ジョブリブスパーク

0.3.0

jsonschema(jsonschema)

3.2.0

jupyter-クライアント

6.1.12

ジュピターコア

4.7.1

jupyterlab-pygmentsの

0.1.2

jupyterlab-widgetsの

1.0.0

keras

2.7.0

Keras- 前処理

1.1.2

キウイソルバー

1.3.1

koalas

1.8.2

韓国の太陰暦

0.2.1

ラングコード

3.3.0

リブクラン

12.0.0

LightGBM

3.3.1

LLVMLITEの

0.38.0

ルナカレンダー

0.0.9

アオザメ

1.1.3

Markdown

3.3.3

マークアップセーフ

2.0.1

Matplotlib

3.4.2

行方不明いいえ

0.5.0

ミスチューン

0.8.4

MLeap

0.18.1

mlflow-skinny

1.23.0

マルチメソッド

1.6

つぶやき

1.0.5

NBクライアント

0.5.3

NBコンバート

6.0.7

NBフォーマット

5.1.3

ネスト-アシンシオ

1.5.1

ネットワークX

2.5

nltk

3.6.1

ノートブック

6.3.0

ナンバ

0.55.0

ナムピー

1.20.1

OAuthlib

3.1.0

オプトアインサム

3.3.0

包装

21.3

pandas

1.2.4

pandasプロファイリング

3.1.0

pandocフィルター

1.4.3

パラミコ

2.7.2

パルソ

0.7.0

パシー

0.6.0

パッツィ

0.5.1

petastorm

0.11.3

pexpect

4.8.0

ピク

0.12.0

ピクルシェア

0.7.5

枕

8.2.0

種

21.0.1

Plotly

5.5.0

エムダリマ

1.8.4

プレシェッド

3.0.5

プロンプトツールキット

3.0.17

Prophet

1.0.1

プロトブフ

3.17.2

psutil の

5.8.0

サイコップ2

2.8.5

PTYPROCESSの

0.7.0

ピアロー

4.0.0

pyasn1

0.4.8

pyasn1モジュール

0.2.8

pybind11

2.9.0

pycparser

2.20

ピダンティック

1.8.2

ピグメント

2.8.1

PyGObject

3.36.0

ピミーウス

0.5.11

PyNaClの

1.4.0

pyodbc

4.0.30

pyparsing (英語)

2.4.7

ピルシステント

0.17.3

ピスタン

2.19.1.1

Python-apt

2.0.0 + ubuntu0.20.4.6

Python-dateutil

2.8.1

Pythonエディタ

1.0.4

PythonエンジンIO

4.3.0

Pythonのソケット

5.4.1

ピッツ

2020.5

Pyウェーブレット

1.1.1

PyYAML (英語)

5.4.1

ピズム

20.0.0

正規表現

2021.4.4

要求

2.25.1

リクエスト-oauthlib

1.3.0

リクエスト-unixsocket

0.2.0

rsa

4.7.2

S3トランスファー

0.3.7

サクレモーセス

0.0.46

Scikit-Learn

0.24.1

scipy(サイピー)

1.6.2

シーボーン

0.11.1

Send2Trash(センド2トラッシュ)

1.5.0

セットアップツール

52.0.0

setuptools-git

1.2

シャップ

0.40.0

シンプルJSON

3.17.2

6

1.15.0

スライサー

0.0.7

スマートオープン

5.2.0

SMMAPの

3.0.5

スペイシー

3.2.1

スペイシーレガシー

3.0.8

スペイシーロガー

1.0.1

スパークテンソルフローディストリビューター

1.0.0

sqlparse

0.4.1

srslyの

2.4.1

ssh-import-id

5.10

統計モデル

0.12.2

表

0.8.7

Unicodeで絡み合った

0.1.0

持久力

6.2.0

TensorBoard

2.7.0

TensorBoard-data-server

0.6.1

TensorBoard-plugin-profile

2.5.0

TensorBoard-plugin-wit

1.8.1

TensorFlow

2.7.0

テンソルフロー推定器

2.7.0

tensorflow-io-GCS-ファイルシステム

0.23.1

タームカラー

1.1.0

テルミナド

0.9.4

テストパス

0.4.4

シンク

8.0.12

スレッドプールctl

2.1.0

トークナイザー

0.10.3

トーチ

1.10.1 + CU111

トーチビジョン

0.11.2+CU111

竜巻

6.1

tqdm

4.59.0

トレイトレット

5.0.5

トランスフォーマー

4.15.0

タイパー

0.3.2

タイピング拡張

3.7.4.3

ujson

4.0.2

無人アップグレード

0.1

urllib3 の

1.25.11

virtualenv

20.4.1

ビジョン

0.7.4

山葵

0.8.2

WC幅

0.2.5

webエンコーディング

0.5.1

websocket-クライアント

0.57.0

ヴェルクツォイク

1.0.1

輪

0.36.2

widgetsnb拡張機能

3.5.1

ラッピング

1.12.1

XGBoost

1.5.1

ジップ

3.4.1

Python モジュールを含む Spark パッケージ​

Spark パッケージ

Python モジュール

バージョン

graphframes

graphframes

0.8.2-db1-spark3.2

R ライブラリ​

R ライブラリは、Databricks Runtime10.3 の R ライブラリ と同じです。

Java and Scala ライブラリ (Scala 2.12 クラスター)​

Databricks Runtime 10.3 の Java ライブラリと Scala ライブラリに加えて、Databricks Runtime 10.3 ML には次の JAR が含まれています。

CPU クラスター​

グループID

アーティファクト ID

バージョン

com.typesafe.akka (英語)

アッカ-actor_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

0.18.1-23EB1EF

ml.dmlc

XGBOOST4Jのspark_2.12

1.5.1

ml.dmlc

xgboost4j_2.12

1.5.1

org.graphframes

graphframes_2.12

0.8.2-db1-spark3.2

org.mlflowの

mlflow-クライアント

1.23.0

org.mlflowの

mlflow-spark

1.23.0

組織Scala-lang.modules

Scala-java8-compat_2.12

0.8.0

org.tensorflowの

spark-tensorflow-connector_2.12

1.15.0

GPU クラスター​

グループID

アーティファクト ID

バージョン

com.typesafe.akka (英語)

アッカ-actor_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

0.18.1-23EB1EF

ml.dmlc

XGBOOST4Jのspark_2.12

1.5.1

ml.dmlc

xgboost4j_2.12

1.5.1

org.graphframes

graphframes_2.12

0.8.2-db1-spark3.2

org.mlflowの

mlflow-クライアント

1.23.0

org.mlflowの

mlflow-spark

1.23.0

組織Scala-lang.modules

Scala-java8-compat_2.12

0.8.0

org.tensorflowの

spark-tensorflow-connector_2.12

1.15.0

に最終更新