メインコンテンツまでスキップ

Databricks Runtime 12.0 for Machine Learning (EoS) (英語)

注記

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

Databricks Runtime 12.0 for Machine Learning は、 Databricks Runtime 12.0 (EoS) に基づく機械学習とデータサイエンスのためのすぐに使える環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。 Databricks Runtime ML は、 Horovodを使用した分散ディープラーニング トレーニングもサポートしています。

Databricks RuntimeMLクラスターの作成手順など、詳細については、「AI での と機械学習Databricks 」を参照してください。

新機能と改善点​

Databricks Runtime 12.0 ML は、Databricks Runtime 12.0 の上に構築されています。Databricks Runtime 12.0 の新機能 (Apache Spark MLlib や SparkRなど) については、Databricks Runtime 12.0 (EoS) リリースノートを参照してください。

AutoML の機能強化​

  • 予測モデルに、オプションで国の祝日を含めることができるようになりました。
  • 予測で、月次、四半期、および年次の頻度がサポートされるようになりました。
  • AutoML では、より大きなデータセットをトレーニングに使用できるようになりました。 AutoML は、大規模なデータセットに対してより多くの CPU コアを自動的に割り当てます。

AutoMLの詳細については、「AutoMLとは」を参照してください。

MLflow 2.0 の​

Databricks Runtime 12.0 ML には MLflow 2.0 が含まれています。MLflow 2.0 は、 MLflowの強力なプラットフォーム基盤に基づいて構築され、広範なユーザーフィードバックを組み込んでデータサイエンス ワークフローを簡素化し、 MLOps向けの革新的なファーストクラスのツールを提供します。 MLflowMLflow機能と改善点には、AutoML 、ハイパーパラメーターチューニング、分類サポートなどの Recipes (旧 パイプライン) の拡張機能、ML エコシステムとの最新の統合、合理化されたMLflow Tracking UI、 のプラットフォーム コンポーネント全体のコア の更新などがあります。APIMLflow詳細については、 MLflow 2.0 のドキュメント を参照するか、 ブログ記事を確認してください。

scikit-learn 1.0​

Databricks Runtime ML 12.0 には scikit-learn バージョン 1.0 が含まれています。 この scikit-learn リリースの変更点については、 scikit-learn のドキュメント を参照してください。

システム環境​

Databricks Runtime 12.0 ML のシステム環境は、Databricks Runtime 12.0 と次のように異なります。

Databricks Runtime 12.0 ML には XGBoost 1.6.2 が含まれています。 これは、コンピュート機能5.2以下のGPUクラスターをサポートしていません。

ライブラリ​

次のセクションでは、Databricks Runtime 12.0 ML に含まれるライブラリのうち、それらとは異なるライブラリの一覧を示します Databricks Runtime 12.0 に含まれています。

このセクションの内容：

トップクラスのライブラリ​

Databricks Runtime 12.0 ML には、次の最上位 ライブラリが含まれています。

Python ライブラリ​

Databricks Runtime 12.0 ML は、Python パッケージ管理に Virtualenv を使用し、多くの一般的な ML パッケージが含まれています。

次のセクションで指定されているパッケージに加えて、Databricks Runtime 12.0 ML には次のパッケージも含まれています。

  • hyperopt 0.2.7.db1
  • sparkdl 2.3.0-DB3
  • AutoML 1.14.1

Databricks Runtime ML Python 環境をローカルの Python 仮想環境に再現するには、 requirements-12.0.txt ファイルをダウンロードして pip install -r requirements-12.0.txtを実行します。 このコマンドは、Databricks Runtime ML が使用するすべてのオープンソース ライブラリをインストールしますが、databricks-automl、databricks-feature-store、hyperopt の Databricks fork など、Databricksが開発したライブラリはインストールしません。

Python ライブラリ on CPU クラスター​

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

absl-py

1.0.0

アルゴン2-CFFI

21.3.0

argon2-cffi-結合

21.2.0

アスター

0.8.1

アストトークンズ

2.0.5

アストゥンパース

1.6.3

属性

21.4.0

azure-core

1.26.1

azure-cosmos

4.2.0

バックコール

0.2.0

backports.entry-points-selectable

1.2.0

bcryptの

3.2.0

美しいスープ4

4.11.1

黒い

22.3.0

ブリーチ

4.1.0

ブリス

0.7.9

ボト3

1.21.32

ボトコア

1.24.32

cachetools

4.2.2

カタログ

2.0.8

カテゴリ-エンコーダー

2.5.1.投稿0

認証

2021.10.8

cffi

1.15.0

シャルデ

4.0.0

文字セット・ノーマライザー

2.0.4

クリック

8.0.4

クラウドピクルス

2.0.0

cmdstanpyさん

1.0.8

コンフェクション

0.0.3

コンフィグパーサー

5.2.0

変換日

2.4.0

暗号化手法

3.4.8

サーマルサイクラー

0.11.0

サイメム

2.0.7

シトン

0.29.28

Databricks 自動 ml ランタイム

0.2.13

Databricks の CLI

0.17.3

databricks-feature-store

0.8.0

DBLテンポ

0.1.12

DBUSPython

1.2.16

デバッグ

1.5.1

デコレータ

5.1.1

デフューズドXML

0.7.1

ディル

0.3.4

ディスクキャッシュ

5.4.0

ディストリビューション

0.3.6

エントリポイント

0.4

エフェム

4.1.3

実行

0.8.3

facets-概要

1.0.0

fastjsonスキーマ

2.16.2

ファストテキスト

0.9.2

ファイルロック

3.6.0

flask

1.1.2

フラットバッファ

22.10.26

fonttools

4.25.0

FSSPECの

2022.2.0

未来

0.18.2

ガスト

0.4.0

ギットDB

4.0.9

ギットパイソン

3.1.27

グーグル認証

1.33.0

グーグル認証 - oauthlib

0.4.6

グーグルパスタ

0.2.0

grpcio

1.42.0

gunicorn

20.1.0

gviz-api

1.10.0

h5pyさん

3.6.0

イスラム暦コンバータ

2.2.4

休日

0.16

Horovod

0.25.0

htmlmin

0.1.12

抱きしめるface-hub

0.11.0

イドナ

3.3

イメージハッシュ

4.3.1

不均衡な学習

0.8.1

importlib-metadata

4.11.3

ipykernel(英語)

6.15.3

アイパイソン

8.5.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

イソデート

0.6.1

それは危険です

2.0.1

ジェダイ

0.18.1

ジンジャ2

2.11.3

jmespathの

0.10.0

ジョブリブ

1.1.0

ジョブリブスパーク

0.5.0

jsonschema(jsonschema)

4.4.0

jupyter-クライアント

6.1.12

jupyter_core

4.11.2

jupyterlab-pygmentsの

0.1.2

jupyterlab-widgetsの

1.0.0

keras

2.10.0

Keras- 前処理

1.1.2

キウイソルバー

1.3.2

韓国の太陰暦

0.3.1

ラングコード

3.3.0

リブクラン

14.0.6

LightGBM

3.3.3

LLVMLITEの

0.38.0

ルナカレンダー

0.0.9

アオザメ

1.2.0

Markdown

3.3.4

マークアップセーフ

2.0.1

Matplotlib

3.5.1

matplotlib-インライン

0.1.2

行方不明いいえ

0.5.1

ミスチューン

0.8.4

MLeap

0.20.0

mlflow-skinny

2.0.1

マルチメソッド

1.8

つぶやき

1.0.9

mypy-extensions

0.4.3

NBクライアント

0.5.13

NBコンバート

6.4.4

NBフォーマット

5.3.0

ネスト-アシンシオ

1.5.5

ネットワークX

2.7.1

nltk

3.7

ノートブック

6.4.8

ナンバ

0.55.1

ナムピー

1.21.5

OAuthlib

3.2.0

オプトアインサム

3.3.0

包装

21.3

pandas

1.4.2

pandasプロファイリング

3.3.0

pandocフィルター

1.5.0

パラミコ

2.9.2

パルソ

0.8.3

パススペック

0.9.0

パシー

0.6.1

パッツィ

0.5.2

petastorm

0.11.4

pexpect

4.8.0

ピク

0.12.2

ピクルシェア

0.7.5

枕

9.0.1

種

21.2.4

プラットフォームディレクトリ

2.5.4

Plotly

5.6.0

エムダリマ

2.0.1

プレシェッド

3.0.8

prometheus-クライアント

0.13.1

プロンプトツールキット

3.0.20

Prophet

1.1.1

プロトブフ

3.19.4

psutil の

5.8.0

サイコップ2

2.9.3

PTYPROCESSの

0.7.0

ピュア評価

0.2.2

ピアロー

7.0.0

pyasn1

0.4.8

pyasn1モジュール

0.2.8

pybind11

2.10.1

pycparser

2.21

ピダンティック

1.9.2

ピグメント

2.11.2

PyGObject

3.36.0

PyJWTの

2.6.0

ピミーウス

0.5.11

PyNaClの

1.5.0

pyodbc

4.0.32

pyparsing (英語)

3.0.4

ピルシステント

0.18.0

Python-dateutil

2.8.2

Pythonエディタ

1.0.4

ピッツ

2021.3

Pyウェーブレット

1.3.0

PyYAML (英語)

6.0

ピズム

22.3.0

正規表現

2022.3.15

要求

2.27.1

リクエスト-oauthlib

1.3.1

リクエスト-unixsocket

0.2.0

rsa

4.7.2

S3トランスファー

0.5.0

Scikit-Learn

1.0.2

scipy(サイピー)

1.7.3

シーボーン

0.11.2

Send2Trash(センド2トラッシュ)

1.8.0

セットアップツール

61.2.0

setuptools-git

1.2

シャップ

0.41.0

シンプルJSON

3.17.6

6

1.16.0

スライサー

0.0.7

スマートオープン

5.1.0

SMMAPの

5.0.0

スープふるい

2.3.1

スペイシー

3.4.1

スペイシーレガシー

3.0.10

スペイシーロガー

1.0.3

スパークテンソルフローディストリビューター

1.0.0

sqlparse

0.4.2

srslyの

2.4.5

ssh-import-id

5.10

スタックデータ

0.2.0

統計モデル

0.13.2

表

0.8.9

Unicodeで絡み合った

0.2.0

持久力

8.0.1

TensorBoard

2.10.0

TensorBoard-data-server

0.6.1

TensorBoard-plugin-profile

2.8.0

TensorBoard-plugin-wit

1.8.1

テンソルフロー-CPU

2.10.0

テンソルフロー推定器

2.10.0

tensorflow-io-GCS-ファイルシステム

0.28.0

タームカラー

2.1.1

テルミナド

0.13.1

テストパス

0.5.0

シンク

8.1.5

スレッドプールctl

2.2.0

トークン化-RT

4.2.1

トークナイザー

0.13.2

トムリ

1.2.2

トーチ

1.12.1+CPU

トーチビジョン

0.13.1+CPU

竜巻

6.1

tqdm

4.64.0

トレイトレット

5.1.1

トランスフォーマー

4.23.1

タイパー

0.4.2

typing_extensions

4.1.1

無人アップグレード

0.1

urllib3 の

1.26.9

virtualenv

20.8.0

ビジョン

0.7.5

山葵

0.10.1

WC幅

0.2.5

webエンコーディング

0.5.1

websocket-クライアント

0.58.0

ヴェルクツォイク

2.0.3

輪

0.37.1

widgetsnb拡張機能

3.6.1

ラッピング

1.12.1

ジップ

3.7.0

Python ライブラリ on GPU クラスター​

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

absl-py

1.0.0

アルゴン2-CFFI

21.3.0

argon2-cffi-結合

21.2.0

アスター

0.8.1

アストトークンズ

2.0.5

アストゥンパース

1.6.3

属性

21.4.0

azure-core

1.26.1

azure-cosmos

4.2.0

バックコール

0.2.0

backports.entry-points-selectable

1.2.0

bcryptの

3.2.0

美しいスープ4

4.11.1

黒い

22.3.0

ブリーチ

4.1.0

ブリス

0.7.9

ボト3

1.21.32

ボトコア

1.24.32

cachetools

4.2.2

カタログ

2.0.8

カテゴリ-エンコーダー

2.5.1.投稿0

認証

2021.10.8

cffi

1.15.0

シャルデ

4.0.0

文字セット・ノーマライザー

2.0.4

クリック

8.0.4

クラウドピクルス

2.0.0

cmdstanpyさん

1.0.8

コンフェクション

0.0.3

コンフィグパーサー

5.2.0

変換日

2.4.0

暗号化手法

3.4.8

サーマルサイクラー

0.11.0

サイメム

2.0.7

シトン

0.29.28

Databricks 自動 ml ランタイム

0.2.13

Databricks の CLI

0.17.3

databricks-feature-store

0.8.0

DBLテンポ

0.1.12

DBUSPython

1.2.16

デバッグ

1.5.1

デコレータ

5.1.1

デフューズドXML

0.7.1

ディル

0.3.4

ディスクキャッシュ

5.4.0

ディストリビューション

0.3.6

エントリポイント

0.4

エフェム

4.1.3

実行

0.8.3

facets-概要

1.0.0

fastjsonスキーマ

2.16.2

ファストテキスト

0.9.2

ファイルロック

3.6.0

flask

1.1.2

フラットバッファ

22.10.26

fonttools

4.25.0

FSSPECの

2022.2.0

未来

0.18.2

ガスト

0.4.0

ギットDB

4.0.9

ギットパイソン

3.1.27

グーグル認証

1.33.0

グーグル認証 - oauthlib

0.4.6

グーグルパスタ

0.2.0

grpcio

1.42.0

gunicorn

20.1.0

gviz-api

1.10.0

h5pyさん

3.6.0

イスラム暦コンバータ

2.2.4

休日

0.16

Horovod

0.25.0

htmlmin

0.1.12

抱きしめるface-hub

0.11.0

イドナ

3.3

イメージハッシュ

4.3.1

不均衡な学習

0.8.1

importlib-metadata

4.11.3

ipykernel(英語)

6.15.3

アイパイソン

8.5.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

イソデート

0.6.1

それは危険です

2.0.1

ジェダイ

0.18.1

ジンジャ2

2.11.3

jmespathの

0.10.0

ジョブリブ

1.1.0

ジョブリブスパーク

0.5.0

jsonschema(jsonschema)

4.4.0

jupyter-クライアント

6.1.12

jupyter_core

4.11.2

jupyterlab-pygmentsの

0.1.2

jupyterlab-widgetsの

1.0.0

keras

2.10.0

Keras- 前処理

1.1.2

キウイソルバー

1.3.2

韓国の太陰暦

0.3.1

ラングコード

3.3.0

リブクラン

14.0.6

LightGBM

3.3.3

LLVMLITEの

0.38.0

ルナカレンダー

0.0.9

アオザメ

1.2.0

Markdown

3.3.4

マークアップセーフ

2.0.1

Matplotlib

3.5.1

matplotlib-インライン

0.1.2

行方不明いいえ

0.5.1

ミスチューン

0.8.4

MLeap

0.20.0

mlflow-skinny

2.0.1

マルチメソッド

1.8

つぶやき

1.0.9

mypy-extensions

0.4.3

NBクライアント

0.5.13

NBコンバート

6.4.4

NBフォーマット

5.3.0

ネスト-アシンシオ

1.5.5

ネットワークX

2.7.1

nltk

3.7

ノートブック

6.4.8

ナンバ

0.55.1

ナムピー

1.21.5

OAuthlib

3.2.0

オプトアインサム

3.3.0

包装

21.3

pandas

1.4.2

pandasプロファイリング

3.3.0

pandocフィルター

1.5.0

パラミコ

2.9.2

パルソ

0.8.3

パススペック

0.9.0

パシー

0.6.1

パッツィ

0.5.2

petastorm

0.11.4

pexpect

4.8.0

ピク

0.12.2

ピクルシェア

0.7.5

枕

9.0.1

種

21.2.4

プラットフォームディレクトリ

2.5.4

Plotly

5.6.0

エムダリマ

2.0.1

プレシェッド

3.0.8

プロンプトツールキット

3.0.20

Prophet

1.1.1

プロトブフ

3.19.4

psutil の

5.8.0

サイコップ2

2.9.3

PTYPROCESSの

0.7.0

ピュア評価

0.2.2

ピアロー

7.0.0

pyasn1

0.4.8

pyasn1モジュール

0.2.8

pybind11

2.10.1

pycparser

2.21

ピダンティック

1.9.2

ピグメント

2.11.2

PyGObject

3.36.0

PyJWTの

2.6.0

ピミーウス

0.5.11

PyNaClの

1.5.0

pyodbc

4.0.32

pyparsing (英語)

3.0.4

ピルシステント

0.18.0

Python-dateutil

2.8.2

Pythonエディタ

1.0.4

ピッツ

2021.3

Pyウェーブレット

1.3.0

PyYAML (英語)

6.0

ピズム

22.3.0

正規表現

2022.3.15

要求

2.27.1

リクエスト-oauthlib

1.3.1

リクエスト-unixsocket

0.2.0

rsa

4.7.2

S3トランスファー

0.5.0

Scikit-Learn

1.0.2

scipy(サイピー)

1.7.3

シーボーン

0.11.2

Send2Trash(センド2トラッシュ)

1.8.0

セットアップツール

61.2.0

setuptools-git

1.2

シャップ

0.41.0

シンプルJSON

3.17.6

6

1.16.0

スライサー

0.0.7

スマートオープン

5.1.0

SMMAPの

5.0.0

スープふるい

2.3.1

スペイシー

3.4.1

スペイシーレガシー

3.0.10

スペイシーロガー

1.0.3

スパークテンソルフローディストリビューター

1.0.0

sqlparse

0.4.2

srslyの

2.4.5

ssh-import-id

5.10

スタックデータ

0.2.0

統計モデル

0.13.2

表

0.8.9

Unicodeで絡み合った

0.2.0

持久力

8.0.1

TensorBoard

2.10.0

TensorBoard-data-server

0.6.1

TensorBoard-plugin-profile

2.8.0

TensorBoard-plugin-wit

1.8.1

TensorFlow

2.10.0

テンソルフロー推定器

2.10.0

tensorflow-io-GCS-ファイルシステム

0.28.0

タームカラー

2.1.1

テルミナド

0.13.1

テストパス

0.5.0

シンク

8.1.5

スレッドプールctl

2.2.0

トークン化-RT

4.2.1

トークナイザー

0.13.2

トムリ

1.2.2

トーチ

1.12.1 + CU113

トーチビジョン

0.13.1+cu113

竜巻

6.1

tqdm

4.64.0

トレイトレット

5.1.1

トランスフォーマー

4.23.1

タイパー

0.4.2

typing_extensions

4.1.1

無人アップグレード

0.1

urllib3 の

1.26.9

virtualenv

20.8.0

ビジョン

0.7.5

山葵

0.10.1

WC幅

0.2.5

webエンコーディング

0.5.1

websocket-クライアント

0.58.0

ヴェルクツォイク

2.0.3

輪

0.37.1

widgetsnb拡張機能

3.6.1

ラッピング

1.12.1

ジップ

3.7.0

R ライブラリ​

R ライブラリは、Databricks Runtime12.0 の R ライブラリ と同じです。

Java and Scala ライブラリ (Scala 2.12 クラスター)​

Databricks Runtime 12.0 ML には、Databricks Runtime 12.0 の Java ライブラリと Scala ライブラリに加えて、次の JAR が含まれています。

CPU クラスター​

グループID

アーティファクト ID

バージョン

com.typesafe.akka (英語)

アッカ-actor_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

v0.20.0-db1

ml.dmlc

XGBOOST4Jのspark_2.12

1.6.2

ml.dmlc

xgboost4j_2.12

1.6.2

org.graphframes

graphframes_2.12

0.8.2-db1-spark3.2

org.mlflowの

mlflow-クライアント

2.0.1

組織Scala-lang.modules

Scala-java8-compat_2.12

0.8.0

org.tensorflowの

spark-tensorflow-connector_2.12

1.15.0

GPU クラスター​

グループID

アーティファクト ID

バージョン

com.typesafe.akka (英語)

アッカ-actor_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

v0.20.0-db1

ml.dmlc

XGBOOST4Jのgpu_2.12

1.6.2

ml.dmlc

xgboost4j-spark-gpu_2.12

1.6.2

org.graphframes

graphframes_2.12

0.8.2-db1-spark3.2

org.mlflowの

mlflow-クライアント

2.0.1

組織Scala-lang.modules

Scala-java8-compat_2.12

0.8.0

org.tensorflowの

spark-tensorflow-connector_2.12

1.15.0

に最終更新