メインコンテンツまでスキップ

Databricks Runtime 13.2 for Machine Learning (EoS) (英語)

注記

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

Databricks Runtime 13.2 for Machine Learning は、 Databricks Runtime 13.2 (EoS) に基づく機械学習とデータサイエンスのためのすぐに使える環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。 Databricks Runtime ML は、 Horovodを使用した分散ディープラーニング トレーニングもサポートしています。

Databricks RuntimeMLクラスターの作成手順など、詳細については、「AI での と機械学習Databricks 」を参照してください。

新機能と改善点​

Databricks Runtime 13.2 ML は、Databricks Runtime 13.2 の上に構築されています。 Databricks Runtime 13.2 の新機能 (Apache Spark MLlib や SparkRなど) については、Databricks Runtime 13.2 (EoS) リリースノートを参照してください。

Databricks Feature Store の変更​

  • 必要な mlflow-skinny の最小バージョンは 2.4.0 になりました。
  • 指定された DataFrame に必要なすべての参照キーが含まれていない場合、トレーニング セットの作成は失敗します。

システム環境​

Databricks Runtime 13.2 ML のシステム環境は、Databricks Runtime 13.2 と次のように異なります。

Databricks Runtime 13.2 ML には XGBoost 1.7.3 が含まれていますが、 これはコンピュート機能 5.2 以下の GPU クラスターをサポートしていません。

ライブラリ​

次のセクションでは、Databricks Runtime 13.2 ML に含まれるライブラリのうち、Databricks Runtime 13.2 に含まれるライブラリと異なるライブラリを示します。

このセクションの内容：

トップクラスのライブラリ​

Databricks Runtime 13.2 ML には、次の最上位 ライブラリが含まれています。

Python ライブラリ​

Databricks Runtime 13.2 ML は、Python パッケージ管理に Virtualenv を使用し、多くの一般的な ML パッケージが含まれています。

次のセクションで指定されているパッケージに加えて、Databricks Runtime 13.2 ML には次のパッケージも含まれています。

  • hyperopt 0.2.7 + db3
  • sparkdl 3.0.0_db1
  • AUTOML 1.19.0 (英語)

Databricks Runtime ML Python 環境をローカルの Python 仮想環境に再現するには、 requirements-13.2.txt ファイルをダウンロードして pip install -r requirements-13.2.txtを実行します。 このコマンドは、Databricks Runtime ML が使用するすべてのオープンソース ライブラリをインストールしますが、databricks-automl、databricks-feature-store、hyperopt の Databricks fork など、Databricksが開発したライブラリはインストールしません。

Python ライブラリ on CPU クラスター​

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

absl-py

1.0.0

早める

0.19.0

AIOhttp

3.8.4

AIOシグナル

1.3.1

appdirs (英語)

1.4.4

アルゴン2-CFFI

21.3.0

argon2-cffi-結合

21.2.0

アスター

0.8.1

アストトークンズ

2.2.1

アストゥンパース

1.6.3

非同期タイムアウト

4.0.2

属性

21.4.0

オーディオ読み取り

3.0.0

azure-core

1.27.1

azure-cosmos

4.3.1b1

azure-storage-blob

12.17.0b1

azure-storage-file-datalake

12.11.0

バックコール

0.2.0

bcryptの

3.2.0

美しいスープ4

4.11.1

黒い

22.6.0

ブリーチ

4.1.0

ウィンカー

1.4

ブリス

0.7.9

ボト3

1.24.28

ボトコア

1.27.28

cachetools

4.2.4

カタログ

2.0.8

カテゴリ-エンコーダー

2.6.0

認証

2022.9.14

cffi

1.15.1

シャルデ

4.0.0

文字セット・ノーマライザー

2.0.4

クリック

8.0.4

クラウドピクルス

2.0.0

cmdstanpyさん

1.1.0

コンフェクション

0.0.4

コンフィグパーサー

5.2.0

変換日

2.4.0

暗号化手法

37.0.1

サーマルサイクラー

0.11.0

サイメム

2.0.7

シトン

0.29.32

デイサイト

1.8.1

Databricks 自動 ml ランタイム

0.2.16

Databricks の CLI

0.17.7

Databricks 機能ストア

0.13.1

Databricks の SDK

0.1.6

データクラス-JSON

0.5.8

データセット

2.12.0

DBLテンポ

0.1.23

DBUSPython

1.2.18

デバッグ

1.5.1

デコレータ

5.1.1

デフューズドXML

0.7.1

ディル

0.3.4

ディスクキャッシュ

5.6.1

ディストリビューション

0.3.6

docstring-to-markdown

0.12

エントリポイント

0.4

エフェム

4.1.4

評

0.4.0

実行

1.2.0

facets-概要

1.0.3

fastjsonスキーマ

2.17.1

ファストテキスト

0.9.2

ファイルロック

3.6.0

flask

1.1.2+db1

フラットバッファ

23.5.26

fonttools

4.25.0

フローズンリスト

1.3.3

FSSPECの

2022.7.1

未来

0.18.2

ガスト

0.4.0

ギットDB

4.0.10

ギットパイソン

3.1.27

グーグルAPIコア

2.8.2

グーグル認証

1.33.0

グーグル認証 - oauthlib

0.4.6

グーグルクラウドコア

2.3.2

Google Cloud Storage

2.9.0

グーグル-CRC32C

1.5.0

グーグルパスタ

0.2.0

Googleの再開可能なメディア

2.5.0

googleapis-common-protos

1.56.4

グリーンレット

1.1.1

grpcio

1.48.1

grpcio-ステータス

1.48.1

gunicorn

20.1.0

gviz-api

1.10.0

h5pyさん

3.7.0

休日

0.25

Horovod

0.28.0

htmlmin

0.1.12

httplib2の

0.20.2

抱きしめるface-hub

0.15.1

イドナ

3.3

イメージハッシュ

4.3.1

不均衡な学習

0.8.1

importlib-metadata

4.11.3

importlib-リソース

5.12.0

ipykernel(英語)

6.17.1

アイパイソン

8.10.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

イソデート

0.6.1

それは危険です

2.0.1

ジェダイ

0.18.1

ジープニー

0.7.1

ジンジャ2

2.11.3

jmespathの

0.10.0

ジョブリブ

1.2.0

ジョブリブスパーク

0.5.1

jsonschema(jsonschema)

4.16.0

jupyter-クライアント

7.3.4

jupyter_core

4.11.2

jupyterlab-pygmentsの

0.1.2

jupyterlab-widgetsの

1.0.0

keras

2.11.0

キーリング

23.5.0

キウイソルバー

1.4.2

韓国の太陰暦

0.3.1

ラングチェーン

0.0.181

ラングコード

3.3.0

ローンチパッドリブ

1.10.16

lazr.restfulクライアント

0.14.4

lazr.uri です。

1.0.6

lazy_loader

0.2

リブクラン

15.0.6.1

てんびん座

0.10.0

LightGBM

3.3.5

LLVMLITEの

0.38.0

ルナカレンダー

0.0.9

アオザメ

1.2.0

Markdown

3.3.4

マークアップセーフ

2.0.1

マシュマロ

3.19.0

マシュマロ列挙型

1.5.1

Matplotlib

3.5.2

matplotlib-インライン

0.1.6

マッケイブ

0.7.0

ミスチューン

0.8.4

MLeap

0.20.0

mlflow-skinny

2.4.1

もっと-itertools

8.10.0

msgpackの

1.0.5

マルチディクト

6.0.4

マルチメソッド

1.9.1

マルチプロセス

0.70.12.2

つぶやき

1.0.9

mypy-extensions

0.4.3

NBクライアント

0.5.13

NBコンバート

6.4.4

NBフォーマット

5.5.0

ネスト-アシンシオ

1.5.5

ネットワークX

2.8.4

忍者

1.11.1

nltk

3.7

ノードenv

1.8.0

ノートブック

6.4.12

ナンバ

0.55.1

numexpr

2.8.4

ナムピー

1.21.5

OAuthlib

3.2.0

OpenAI

0.27.7

openapi-schema-pydantic

1.2.4

オプトアインサム

3.3.0

包装

21.3

pandas

1.4.4

pandocフィルター

1.5.0

パラミコ

2.9.2

パルソ

0.8.3

パススペック

0.9.0

パシー

0.10.1

パッツィ

0.5.2

petastorm

0.12.1

pexpect

4.8.0

ピク

0.12.3

ピクルシェア

0.7.5

枕

9.2.0

種

22.2.2

プラットフォームディレクトリ

2.5.2

Plotly

5.9.0

プラギー

1.0.0

エムダリマ

2.0.3

犬

1.7.0

プレシェッド

3.0.8

prometheus-クライアント

0.14.1

プロンプトツールキット

3.0.36

Prophet

1.1.3

プロトブフ

3.19.4

psutil の

5.9.0

サイコップ2

2.9.3

PTYPROCESSの

0.7.0

ピュア評価

0.2.2

ピアロー

8.0.0

pyasn1

0.4.8

pyasn1モジュール

0.2.8

pybind11

2.10.4

pycparser

2.21

ピダンティック

1.10.6

パイフレーク

3.0.1

ピグメント

2.11.2

PyGObject

3.42.1

PyJWTの

2.3.0

ピミーウス

0.5.12

PyNaClの

1.5.0

pyodbc

4.0.32

pyparsing (英語)

3.0.9

パイライト

1.1.294

ピルシステント

0.18.0

ピテッセラクト

0.3.10

Python-dateutil

2.8.2

Pythonエディタ

1.0.4

Python-lsp-jsonrpc

1.0.0

Python-lsp-server

1.7.1

pytoolconfig(ピーツールコンフィグ)

1.2.2

ピッツ

2022.1

Pyウェーブレット

1.3.0

PyYAML (英語)

6.0

ピズム

23.2.0

正規表現

2022.7.9

要求

2.28.1

リクエスト-oauthlib

1.3.1

応答

0.18.0

縄

1.7.0

rsa

4.9

S3トランスファー

0.6.0

Scikit-Learn

1.1.1

scipy(サイピー)

1.9.1

シーボーン

0.11.2

シークレットストレージ

3.3.1

Send2Trash(センド2トラッシュ)

1.8.0

センテンストランスフォーマー

2.2.2

センテンスピース

0.1.99

セットアップツール

63.4.1

シャップ

0.41.0

シンプルJSON

3.17.6

6

1.16.0

スライサー

0.0.7

スマートオープン

5.2.1

SMMAPの

5.0.0

サウンドファイル

0.12.1

スープふるい

2.3.1

ソックスアール

0.3.5

スペイシー

3.5.3

スペイシーレガシー

3.0.12

スペイシーロガー

1.0.4

スパークテンソルフローディストリビューター

1.0.0

SQLAlchemy (英語)

1.4.39

sqlparse

0.4.2

srslyの

2.4.6

ssh-import-id

5.11

スタックデータ

0.6.2

統計モデル

0.13.2

表

0.8.10

Unicodeで絡み合った

0.2.0

持久力

8.1.0

TensorBoard

2.11.0

TensorBoard-data-server

0.6.1

TensorBoard-plugin-profile

2.11.2

TensorBoard-plugin-wit

1.8.1

テンソルフロー-CPU

2.11.0

テンソルフロー推定器

2.11.0

tensorflow-io-GCS-ファイルシステム

0.32.0

タームカラー

2.3.0

テルミナド

0.13.1

テストパス

0.6.0

シンク

8.1.10

スレッドプールctl

2.2.0

ティックトークン

0.4.0

トークン化-RT

4.2.1

トークナイザー

0.13.3

トムリ

2.0.1

トーチ

1.13.1+CPU

トーチビジョン

0.14.1+CPU

竜巻

6.1

tqdm

4.64.1

トレイトレット

5.1.1

トランスフォーマー

4.29.2

タイプガード

2.13.3

タイパー

0.7.0

タイピング検査

0.9.0

typing_extensions

4.3.0

ujson

5.4.0

無人アップグレード

0.1

urllib3 の

1.26.11

virtualenv

20.16.3

ビジョン

0.7.5

ワドリブ

1.3.6

山葵

1.1.2

WC幅

0.2.5

webエンコーディング

0.5.1

websocket-クライアント

0.58.0

ヴェルクツォイク

2.0.3

パッチ

1.0.2

輪

0.37.1

widgetsnb拡張機能

3.6.1

ワードクラウド

1.9.2

ラッピング

1.14.1

XGBoost

1.7.5

xxhashの

3.2.0

ヤップ

0.31.0

ヤール

1.9.2

ydata-プロファイリング

4.2.0

ジップ

3.8.0

Python ライブラリ on GPU クラスター​

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

absl-py

1.0.0

早める

0.19.0

AIOhttp

3.8.4

AIOシグナル

1.3.1

appdirs (英語)

1.4.4

アルゴン2-CFFI

21.3.0

argon2-cffi-結合

21.2.0

アスター

0.8.1

アストトークンズ

2.2.1

アストゥンパース

1.6.3

非同期タイムアウト

4.0.2

属性

21.4.0

オーディオ読み取り

3.0.0

azure-core

1.27.1

azure-cosmos

4.3.1b1

azure-storage-blob

12.17.0b1

azure-storage-file-datalake

12.11.0

バックコール

0.2.0

bcryptの

3.2.0

美しいスープ4

4.11.1

黒い

22.6.0

ブリーチ

4.1.0

ウィンカー

1.4

ブリス

0.7.9

ボト3

1.24.28

ボトコア

1.27.28

cachetools

4.2.4

カタログ

2.0.8

カテゴリ-エンコーダー

2.6.0

認証

2022.9.14

cffi

1.15.1

シャルデ

4.0.0

文字セット・ノーマライザー

2.0.4

クリック

8.0.4

クラウドピクルス

2.0.0

cmdstanpyさん

1.1.0

コンフェクション

0.0.4

コンフィグパーサー

5.2.0

変換日

2.4.0

暗号化手法

37.0.1

サーマルサイクラー

0.11.0

サイメム

2.0.7

シトン

0.29.32

デイサイト

1.8.1

Databricks 自動 ml ランタイム

0.2.16

Databricks の CLI

0.17.7

Databricks 機能ストア

0.13.1

Databricks の SDK

0.1.6

データクラス-JSON

0.5.8

データセット

2.12.0

DBLテンポ

0.1.23

DBUSPython

1.2.18

デバッグ

1.5.1

デコレータ

5.1.1

デフューズドXML

0.7.1

ディル

0.3.4

ディスクキャッシュ

5.6.1

ディストリビューション

0.3.6

docstring-to-markdown

0.12

エイノップス

0.6.1

エントリポイント

0.4

エフェム

4.1.4

評

0.4.0

実行

1.2.0

facets-概要

1.0.3

fastjsonスキーマ

2.17.1

ファストテキスト

0.9.2

ファイルロック

3.6.0

フラッシュアッティン

1.0.5

flask

1.1.2+db1

フラットバッファ

23.5.26

fonttools

4.25.0

フローズンリスト

1.3.3

FSSPECの

2022.7.1

未来

0.18.2

ガスト

0.4.0

ギットDB

4.0.10

ギットパイソン

3.1.27

グーグルAPIコア

2.8.2

グーグル認証

1.33.0

グーグル認証 - oauthlib

0.4.6

グーグルクラウドコア

2.3.2

Google Cloud Storage

2.9.0

グーグル-CRC32C

1.5.0

グーグルパスタ

0.2.0

Googleの再開可能なメディア

2.5.0

googleapis-common-protos

1.56.4

グリーンレット

1.1.1

grpcio

1.48.1

grpcio-ステータス

1.48.1

gunicorn

20.1.0

gviz-api

1.10.0

h5pyさん

3.7.0

休日

0.25

Horovod

0.28.0

htmlmin

0.1.12

httplib2の

0.20.2

抱きしめるface-hub

0.15.1

イドナ

3.3

イメージハッシュ

4.3.1

不均衡な学習

0.8.1

importlib-metadata

4.11.3

importlib-リソース

5.12.0

ipykernel(英語)

6.17.1

アイパイソン

8.10.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

イソデート

0.6.1

それは危険です

2.0.1

ジェダイ

0.18.1

ジープニー

0.7.1

ジンジャ2

2.11.3

jmespathの

0.10.0

ジョブリブ

1.2.0

ジョブリブスパーク

0.5.1

jsonschema(jsonschema)

4.16.0

jupyter-クライアント

7.3.4

jupyter_core

4.11.2

jupyterlab-pygmentsの

0.1.2

jupyterlab-widgetsの

1.0.0

keras

2.11.0

キーリング

23.5.0

キウイソルバー

1.4.2

韓国の太陰暦

0.3.1

ラングチェーン

0.0.181

ラングコード

3.3.0

ローンチパッドリブ

1.10.16

lazr.restfulクライアント

0.14.4

lazr.uri です。

1.0.6

lazy_loader

0.2

リブクラン

15.0.6.1

てんびん座

0.10.0

LightGBM

3.3.5

LLVMLITEの

0.38.0

ルナカレンダー

0.0.9

アオザメ

1.2.0

Markdown

3.3.4

マークアップセーフ

2.0.1

マシュマロ

3.19.0

マシュマロ列挙型

1.5.1

Matplotlib

3.5.2

matplotlib-インライン

0.1.6

マッケイブ

0.7.0

ミスチューン

0.8.4

MLeap

0.20.0

mlflow-skinny

2.4.1

もっと-itertools

8.10.0

msgpackの

1.0.5

マルチディクト

6.0.4

マルチメソッド

1.9.1

マルチプロセス

0.70.12.2

つぶやき

1.0.9

mypy-extensions

0.4.3

NBクライアント

0.5.13

NBコンバート

6.4.4

NBフォーマット

5.5.0

ネスト-アシンシオ

1.5.5

ネットワークX

2.8.4

忍者

1.11.1

nltk

3.7

ノードenv

1.8.0

ノートブック

6.4.12

ナンバ

0.55.1

numexpr

2.8.4

ナムピー

1.21.5

OAuthlib

3.2.0

OpenAI

0.27.7

openapi-schema-pydantic

1.2.4

オプトアインサム

3.3.0

包装

21.3

pandas

1.4.4

pandocフィルター

1.5.0

パラミコ

2.9.2

パルソ

0.8.3

パススペック

0.9.0

パシー

0.10.1

パッツィ

0.5.2

petastorm

0.12.1

pexpect

4.8.0

ピク

0.12.3

ピクルシェア

0.7.5

枕

9.2.0

種

22.2.2

プラットフォームディレクトリ

2.5.2

Plotly

5.9.0

プラギー

1.0.0

エムダリマ

2.0.3

犬

1.7.0

プレシェッド

3.0.8

プロンプトツールキット

3.0.36

Prophet

1.1.3

プロトブフ

3.19.4

psutil の

5.9.0

サイコップ2

2.9.3

PTYPROCESSの

0.7.0

ピュア評価

0.2.2

ピアロー

8.0.0

pyasn1

0.4.8

pyasn1モジュール

0.2.8

pybind11

2.10.4

pycparser

2.21

ピダンティック

1.10.6

パイフレーク

3.0.1

ピグメント

2.11.2

PyGObject

3.42.1

PyJWTの

2.3.0

ピミーウス

0.5.12

PyNaClの

1.5.0

pyodbc

4.0.32

pyparsing (英語)

3.0.9

パイライト

1.1.294

ピルシステント

0.18.0

ピテッセラクト

0.3.10

Python-dateutil

2.8.2

Pythonエディタ

1.0.4

Python-lsp-jsonrpc

1.0.0

Python-lsp-server

1.7.1

pytoolconfig(ピーツールコンフィグ)

1.2.2

ピッツ

2022.1

Pyウェーブレット

1.3.0

PyYAML (英語)

6.0

ピズム

23.2.0

正規表現

2022.7.9

要求

2.28.1

リクエスト-oauthlib

1.3.1

応答

0.18.0

縄

1.7.0

rsa

4.9

S3トランスファー

0.6.0

Scikit-Learn

1.1.1

scipy(サイピー)

1.9.1

シーボーン

0.11.2

シークレットストレージ

3.3.1

Send2Trash(センド2トラッシュ)

1.8.0

センテンストランスフォーマー

2.2.2

センテンスピース

0.1.99

セットアップツール

63.4.1

シャップ

0.41.0

シンプルJSON

3.17.6

6

1.16.0

スライサー

0.0.7

スマートオープン

5.2.1

SMMAPの

5.0.0

サウンドファイル

0.12.1

スープふるい

2.3.1

ソックスアール

0.3.5

スペイシー

3.5.3

スペイシーレガシー

3.0.12

スペイシーロガー

1.0.4

スパークテンソルフローディストリビューター

1.0.0

SQLAlchemy (英語)

1.4.39

sqlparse

0.4.2

srslyの

2.4.6

ssh-import-id

5.11

スタックデータ

0.6.2

統計モデル

0.13.2

表

0.8.10

Unicodeで絡み合った

0.2.0

持久力

8.1.0

TensorBoard

2.11.0

TensorBoard-data-server

0.6.1

TensorBoard-plugin-profile

2.11.2

TensorBoard-plugin-wit

1.8.1

TensorFlow

2.11.0

テンソルフロー推定器

2.11.0

tensorflow-io-GCS-ファイルシステム

0.32.0

タームカラー

2.3.0

テルミナド

0.13.1

テストパス

0.6.0

シンク

8.1.10

スレッドプールctl

2.2.0

ティックトークン

0.4.0

トークン化-RT

4.2.1

トークナイザー

0.13.3

トムリ

2.0.1

トーチ

1.13.1+CU117

トーチビジョン

0.14.1+CU117

竜巻

6.1

tqdm

4.64.1

トレイトレット

5.1.1

トランスフォーマー

4.29.2

タイプガード

2.13.3

タイパー

0.7.0

タイピング検査

0.9.0

typing_extensions

4.3.0

ujson

5.4.0

無人アップグレード

0.1

urllib3 の

1.26.11

virtualenv

20.16.3

ビジョン

0.7.5

ワドリブ

1.3.6

山葵

1.1.2

WC幅

0.2.5

webエンコーディング

0.5.1

websocket-クライアント

0.58.0

ヴェルクツォイク

2.0.3

パッチ

1.0.2

輪

0.37.1

widgetsnb拡張機能

3.6.1

ワードクラウド

1.9.2

ラッピング

1.14.1

XGBoost

1.7.5

xxhashの

3.2.0

ヤップ

0.31.0

ヤール

1.9.2

ydata-プロファイリング

4.2.0

ジップ

3.8.0

R ライブラリ​

R ライブラリは、Databricks Runtime13.2 の R ライブラリ と同じです。

Java and Scala ライブラリ (Scala 2.12 クラスター)​

Databricks Runtime 13.2 ML には、Databricks Runtime 13.2 の Java ライブラリと Scala ライブラリに加えて、次の JAR が含まれています。

CPU クラスター​

グループID

アーティファクト ID

バージョン

com.typesafe.akka (英語)

アッカ-actor_2.12

2.5.23

ml.dmlc

XGBOOST4Jのspark_2.12

1.7.3

ml.dmlc

xgboost4j_2.12

1.7.3

org.graphframes

graphframes_2.12

0.8.2-db2-spark3.4

org.mlflowの

mlflow-クライアント

2.4.1

組織Scala-lang.modules

Scala-java8-compat_2.12

0.8.0

org.tensorflowの

spark-tensorflow-connector_2.12

1.15.0

GPU クラスター​

グループID

アーティファクト ID

バージョン

com.typesafe.akka (英語)

アッカ-actor_2.12

2.5.23

ml.dmlc

XGBOOST4Jのgpu_2.12

1.7.3

ml.dmlc

xgboost4j-spark-gpu_2.12

1.7.3

org.graphframes

graphframes_2.12

0.8.2-db2-spark3.4

org.mlflowの

mlflow-クライアント

2.4.1

組織Scala-lang.modules

Scala-java8-compat_2.12

0.8.0

org.tensorflowの

spark-tensorflow-connector_2.12

1.15.0

に最終更新