メインコンテンツまでスキップ

Databricks Runtime 10.1 for ML (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

Databricks Runtime 10.1 for Machine Learning は、 Databricks Runtime 10.1 (EoS) に基づく機械学習とデータサイエンスのためのすぐに使える環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 また、 Horovodを使用した分散ディープラーニング トレーニングもサポートしています。

Databricks RuntimeMLクラスターの作成手順など、詳細については、「AI での と機械学習Databricks 」を参照してください。

新機能と改善点​

Databricks Runtime 10.1 ML は、Databricks Runtime 10.1 の上に構築されています。Databricks RuntimeApache SparkMLlibやSparkR など、 10.1 の新機能については、Databricks Runtime 10.1 (EoS) リリースノートを参照してください。

AutoML の機能強化​

Databricks Runtime 10.1 の AutoML には、セマンティック型検出の改善、トレーニング中の潜在的なデータ問題に対する新しいアラート、モデルのオーバーフィットを防ぐ新機能、入力データセットをトレーニング、検証、テストのセットに時系列で分割する機能が含まれています。

追加のセマンティック型検出​

AutoML で、追加のセマンティック型検出がサポートされるようになりました。

  • カテゴリ ラベルを含む数値列は、カテゴリ タイプとして扱われます。
  • 英語のテキストを含む文字列は、テキスト特徴量として扱われます。

また、注釈を追加して列のデータ型を指定することもできるようになりました。 詳細については、「 セマンティック型検出」を参照してください。

潜在的なデータの問題に関するトレーニング中のアラート​

AutoML は、データセットの潜在的な問題を検出してアラートを生成するようになりました。 アラートの例としては、サポートされていない列の種類や高カーディナリティの列などがあります。 これらのアラートは、エクスペリメント ページの新しい アラート タブの下に表示されます。 アラートに関する追加情報は、データ探索ノートブックに含まれています。 詳細については、「 エクスペリメントの実行と結果の監視」を参照してください。

モデルのオーバーフィットの削減​

次の 2 つの新機能により、AutoML の使用時にモデルが過剰適合する可能性が減少します。

  • AutoML は、validation と training メトリクスに加えて test メトリクスを報告するようになりました。
  • AutoML で早期停止が使用されるようになりました。 検証メトリクスが改善されなくなった場合、モデルのトレーニングとチューニングは停止します。

データセットをトレーニング/検証/テストセットに時系列で分割​

分類と回帰の問題では、データセットを学習セット、検証セット、およびテスト セットに時系列で分割できます。 詳細については 、「データをトレーニング セット、検証セット、テスト セットに分割 する」を参照してください。

Databricks Feature Store の機能強化​

Databricks Feature Store は、特徴量テーブルの追加のデータ型 (BinaryType、DecimalType、MapType) をサポートするようになりました。

mlflowの​

Databricks Runtime 10.1 ML に含まれる Mlflow バージョン 1.21.0 以降では、次の機能強化を利用できます。

  • [モデル] fastai モデルのフレーバーをアップグレードして、fastai v2(2.4.1以降)をサポートします。
  • [モデル]Prophet 時系列モデル用の mlflow.prophet モデル フレーバーを導入します。
  • [スコアリング]日付のような文字列を誤って datetime オブジェクトにキャストするスキーマ強制エラーを修正します。

Hyperopt​

SparkTrials fminの early_stopping_fn パラメーターがサポートされるようになりました。早期停止機能を使用して、評価の最大数に達する前にハイパーパラメーターチューニング Hyperopt 停止する条件を指定できます。 たとえば、このパラメーターを使用して、目的関数が減少しなくなった場合に調整を終了できます。 詳細については、 fmin()を参照してください。

Databricks Runtime ML Python 環境の主な変更点​

Python パッケージのアップグレード​

  • automl 1.3.1 => 1.4.1
  • feature_store 0.3.4 => 0.3.5
  • 休日 0.11.2 = > 0.11.3.1
  • Horovod 0.22.1 = > 0.23.0
  • Hyperopt 0.2.5.db2 => 0.2.5.db4
  • 不均衡な学習 0.8.0 = > 0.8.1
  • lightgbm 3.1.1 の => 3.3.0
  • mlflow 1.20.2 => 1.21.0
  • ペタストーム 0.11.2 => 0.11.3
  • プロットリー 5.1.0 => 5.3.0
  • PyTorch 1.9.0 = > 1.9.1
  • スペイシー 3.1.2 => 3.1.3
  • sparkdl 2.2.0_db3 => 2.2.0_db4
  • トーチビジョン 0.10.0 => 0.10.1
  • トランスフォーマー 4.9.2 => 4.11.3

Python パッケージが追加されました​

  • fasttext => 0.9.2
  • TensorBoard-plugin-profile => 2.5.0

非推奨​

MLlib自動MLflowトラッキングDatabricks Runtime は、10.1ML 以降 実行されるクラスターでは非推奨とされています。代わりに、 MLflow PySpark ML の自動ログ 記録を使用して、 mlflow.pyspark.ml.autolog()を呼び出します。 自動ロギングは、 Databricks Autologgingでデフォルトによって有効になります。

システム環境​

Databricks Runtime 10.1 ML のシステム環境は、Databricks Runtime 10.1 と次のように異なります。

ライブラリ​

次のセクションでは、Databricks Runtime 10.1 ML に含まれるライブラリのうち、それらとは異なるライブラリの一覧を示します Databricks Runtime 10.1 に含まれています。

このセクションの内容：

トップクラスのライブラリ​

Databricks Runtime 10.1 ML には、次の最上位 ライブラリが含まれています。

Python ライブラリ​

Databricks Runtime 10.1 ML は、Python パッケージ管理に Virtualenv を使用し、多くの一般的な ML パッケージが含まれています。

次のセクションで指定されているパッケージに加えて、Databricks Runtime 10.1 ML には次のパッケージも含まれています。

  • Hyperopt 0.2.5.db4
  • スパークDL 2.2.0-DB4
  • feature_store 0.3.5
  • AutoML 1.4.0 (英語)
注記

Databricks Runtime 10.1 ML には、非互換性の問題により、バージョン 1.0 ではなく scikit-learn バージョン 0.24 が含まれています。 scikit-learn パッケージは、Databricks Runtime 10.1 ML の他の多くのパッケージと対話します。

scikit-learn バージョン 1.0 にアップグレードできます。ただし、Databricks はこのバージョンをサポートしていません。

アップグレードするには、 ノートブック スコープのライブラリを使用します。 ノートブックから %pip install --upgrade "scikit-learn>=1.0,<1.1"を実行します。

別の方法として、この クラスター initスクリプトを使用することもできます。

Bash
#!/bin/bash

set -e

pip install --upgrade "scikit-learn>=1.0,<1.1"

Python ライブラリ on CPU クラスター​

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

absl-py

0.11.0

アンテルゴス Linux

2015.10 (ISOローリング)

appdirs (英語)

1.4.4

アルゴン2-CFFI

20.1.0

アスター

0.8.1

アストゥンパース

1.6.3

非同期ジェネレータ

1.10

属性

20.3.0

バックコール

0.2.0

bcryptの

3.2.0

ブリーチ

3.3.0

ブリス

0.7.4

ボト3

1.16.7

ボトコア

1.19.7

cachetools

4.2.4

カタログ

2.0.6

認証

2020.12.5

cffi

1.14.5

シャルデ

4.0.0

打ち鳴らす

5.0

クリック

7.1.2

クラウドピクルス

1.6.0

cmdstanpyさん

0.9.68

コンフィグパーサー

5.0.1

変換日

2.3.2

暗号化手法

3.4.7

サーマルサイクラー

0.10.0

サイメム

2.0.5

シトン

0.29.23

Databricks 自動 ml ランタイム

0.2.3

Databricks の CLI

0.14.3

DBUSPython

1.2.16

デコレータ

5.0.6

デフューズドXML

0.7.1

ディル

0.3.2

ディスクキャッシュ

5.2.1

ディストリビューション

0.3.3

ディストリビューション情報

0.23Ubuntuの1

エントリポイント

0.3

エフェム

4.1

facets-概要

1.0.0

ファストテキスト

0.9.2

ファイルロック

3.0.12

flask

1.1.2

フラットバッファ

1.12

FSSPECの

0.9.0

未来

0.18.2

ガスト

0.4.0

ギットDB

4.0.7

ギットパイソン

3.1.12

グーグル認証

1.22.1

グーグル認証 - oauthlib

0.4.2

グーグルパスタ

0.2.0

grpcio

1.39.0

gunicorn

20.0.4

gviz-api

1.10.0

h5pyさん

3.1.0

イスラム暦コンバータ

2.2.2

休日

0.11.3.1

Horovod

0.23.0

htmlmin

0.1.12

抱きしめるface-hub

0.0.19

イドナ

2.10

イメージハッシュ

4.2.1

不均衡な学習

0.8.1

importlib-metadata

3.10.0

ipykernel(英語)

5.3.4

アイパイソン

7.22.0

ipython-genutils

0.2.0

ipywidgets

7.6.3

イソデート

0.6.0

それは危険です

1.1.0

ジェダイ

0.17.2

ジンジャ2

2.11.3

jmespathの

0.10.0

ジョブリブ

1.0.1

ジョブリブスパーク

0.3.0

jsonschema(jsonschema)

3.2.0

jupyter-クライアント

6.1.12

ジュピターコア

4.7.1

jupyterlab-pygmentsの

0.1.2

jupyterlab-widgetsの

1.0.0

keras

2.6.0

Keras- 前処理

1.1.2

キウイソルバー

1.3.1

koalas

1.8.2

韓国の太陰暦

0.2.1

LightGBM

3.3.0

LLVMLITEの

0.37.0

ルナカレンダー

0.0.9

アオザメ

1.1.3

Markdown

3.3.3

マークアップセーフ

2.0.1

Matplotlib

3.4.2

行方不明いいえ

0.5.0

ミスチューン

0.8.4

MLeap

0.18.1

mlflow-skinny

1.21.0

マルチメソッド

1.6

つぶやき

1.0.5

NBクライアント

0.5.3

NBコンバート

6.0.7

NBフォーマット

5.1.3

ネスト-アシンシオ

1.5.1

ネットワークX

2.5

nltk

3.6.1

ノートブック

6.3.0

ナンバ

0.54.1

ナムピー

1.19.2

OAuthlib

3.1.0

オプトアインサム

3.3.0

包装

20.9

pandas

1.2.4

pandasプロファイリング

3.1.0

pandocフィルター

1.4.3

パラミコ

2.7.2

パルソ

0.7.0

パシー

0.6.0

パッツィ

0.5.1

petastorm

0.11.3

pexpect

4.8.0

ピク

0.12.0

ピクルシェア

0.7.5

枕

8.2.0

種

21.0.1

Plotly

5.3.0

プレシェッド

3.0.5

prometheus-クライアント

0.10.1

プロンプトツールキット

3.0.17

Prophet

1.0.1

プロトブフ

3.17.2

psutil の

5.8.0

サイコップ2

2.8.5

PTYPROCESSの

0.7.0

ピアロー

4.0.0

pyasn1

0.4.8

pyasn1モジュール

0.2.8

pybind11

2.8.0

pycparser

2.20

ピダンティック

1.8.2

ピグメント

2.8.1

PyGObject

3.36.0

ピミーウス

0.5.11

PyNaClの

1.4.0

pyodbc

4.0.30

pyparsing (英語)

2.4.7

ピルシステント

0.17.3

ピスタン

2.19.1.1

Python-apt

2.0.0 + ubuntu0.20.4.6

Python-dateutil

2.8.1

Pythonエディタ

1.0.4

ピッツ

2020.5

Pyウェーブレット

1.1.1

PyYAML (英語)

5.4.1

ピズム

20.0.0

正規表現

2021.4.4

要求

2.25.1

リクエスト-oauthlib

1.3.0

リクエスト-unixsocket

0.2.0

rsa

4.7.2

S3トランスファー

0.3.7

サクレモーセス

0.0.46

Scikit-Learn

0.24.1

scipy(サイピー)

1.6.2

シーボーン

0.11.1

Send2Trash(センド2トラッシュ)

1.5.0

セットアップツール

52.0.0

setuptools-git

1.2

シャップ

0.39.0

シンプルJSON

3.17.2

6

1.15.0

スライサー

0.0.7

スマートオープン

5.2.0

SMMAPの

3.0.5

スペイシー

3.1.3

スペイシーレガシー

3.0.8

スパークテンソルフローディストリビューター

1.0.0

sqlparse

0.4.1

srslyの

2.4.1

ssh-import-id

5.10

統計モデル

0.12.2

表

0.8.7

Unicodeで絡み合った

0.1.0

持久力

6.2.0

TensorBoard

2.6.0

TensorBoard-data-server

0.6.1

TensorBoard-plugin-profile

2.5.0

TensorBoard-plugin-wit

1.8.0

テンソルフロー-CPU

2.6.0

テンソルフロー推定器

2.6.0

タームカラー

1.1.0

テルミナド

0.9.4

テストパス

0.4.4

シンク

8.0.9

スレッドプールctl

2.1.0

トークナイザー

0.10.3

トーチ

1.9.1+CPU

トーチビジョン

0.10.1+CPU

竜巻

6.1

tqdm

4.59.0

トレイトレット

5.0.5

トランスフォーマー

4.11.3

タイパー

0.3.2

タイピング拡張

3.7.4.3

ujson

4.0.2

無人アップグレード

0.1

urllib3 の

1.25.11

virtualenv

20.4.1

ビジョン

0.7.4

山葵

0.8.2

WC幅

0.2.5

webエンコーディング

0.5.1

websocket-クライアント

0.57.0

ヴェルクツォイク

1.0.1

輪

0.36.2

widgetsnb拡張機能

3.5.1

ラッピング

1.12.1

XGBoost

1.4.2

ジップ

3.4.1

Python ライブラリ on GPU クラスター​

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

absl-py

0.11.0

アンテルゴス Linux

2015.10 (ISOローリング)

appdirs (英語)

1.4.4

アルゴン2-CFFI

20.1.0

アスター

0.8.1

アストゥンパース

1.6.3

非同期ジェネレータ

1.10

属性

20.3.0

バックコール

0.2.0

bcryptの

3.2.0

ブリーチ

3.3.0

ブリス

0.7.4

ボト3

1.16.7

ボトコア

1.19.7

cachetools

4.2.4

カタログ

2.0.6

認証

2020.12.5

cffi

1.14.5

シャルデ

4.0.0

打ち鳴らす

5.0

クリック

7.1.2

クラウドピクルス

1.6.0

cmdstanpyさん

0.9.68

コンフィグパーサー

5.0.1

変換日

2.3.2

暗号化手法

3.4.7

サーマルサイクラー

0.10.0

サイメム

2.0.5

シトン

0.29.23

Databricks 自動 ml ランタイム

0.2.3

Databricks の CLI

0.14.3

DBUSPython

1.2.16

デコレータ

5.0.6

デフューズドXML

0.7.1

ディル

0.3.2

ディスクキャッシュ

5.2.1

ディストリビューション

0.3.3

ディストリビューション情報

0.23Ubuntuの1

エントリポイント

0.3

エフェム

4.1

facets-概要

1.0.0

ファストテキスト

0.9.2

ファイルロック

3.0.12

flask

1.1.2

フラットバッファ

1.12

FSSPECの

0.9.0

未来

0.18.2

ガスト

0.4.0

ギットDB

4.0.7

ギットパイソン

3.1.12

グーグル認証

1.22.1

グーグル認証 - oauthlib

0.4.2

グーグルパスタ

0.2.0

grpcio

1.39.0

gunicorn

20.0.4

gviz-api

1.10.0

h5pyさん

3.1.0

イスラム暦コンバータ

2.2.2

休日

0.11.3.1

Horovod

0.23.0

htmlmin

0.1.12

抱きしめるface-hub

0.0.19

イドナ

2.10

イメージハッシュ

4.2.1

不均衡な学習

0.8.1

importlib-metadata

3.10.0

ipykernel(英語)

5.3.4

アイパイソン

7.22.0

ipython-genutils

0.2.0

ipywidgets

7.6.3

イソデート

0.6.0

それは危険です

1.1.0

ジェダイ

0.17.2

ジンジャ2

2.11.3

jmespathの

0.10.0

ジョブリブ

1.0.1

ジョブリブスパーク

0.3.0

jsonschema(jsonschema)

3.2.0

jupyter-クライアント

6.1.12

ジュピターコア

4.7.1

jupyterlab-pygmentsの

0.1.2

jupyterlab-widgetsの

1.0.0

keras

2.6.0

Keras- 前処理

1.1.2

キウイソルバー

1.3.1

koalas

1.8.2

韓国の太陰暦

0.2.1

LightGBM

3.3.0

LLVMLITEの

0.37.0

ルナカレンダー

0.0.9

アオザメ

1.1.3

Markdown

3.3.3

マークアップセーフ

2.0.1

Matplotlib

3.4.2

行方不明いいえ

0.5.0

ミスチューン

0.8.4

MLeap

0.18.1

mlflow-skinny

1.21.0

マルチメソッド

1.6

つぶやき

1.0.5

NBクライアント

0.5.3

NBコンバート

6.0.7

NBフォーマット

5.1.3

ネスト-アシンシオ

1.5.1

ネットワークX

2.5

nltk

3.6.1

ノートブック

6.3.0

ナンバ

0.54.1

ナムピー

1.19.2

OAuthlib

3.1.0

オプトアインサム

3.3.0

包装

20.9

pandas

1.2.4

pandasプロファイリング

3.1.0

pandocフィルター

1.4.3

パラミコ

2.7.2

パルソ

0.7.0

パシー

0.6.0

パッツィ

0.5.1

petastorm

0.11.3

pexpect

4.8.0

ピク

0.12.0

ピクルシェア

0.7.5

枕

8.2.0

種

21.0.1

Plotly

5.3.0

プレシェッド

3.0.5

プロンプトツールキット

3.0.17

Prophet

1.0.1

プロトブフ

3.17.2

psutil の

5.8.0

サイコップ2

2.8.5

PTYPROCESSの

0.7.0

ピアロー

4.0.0

pyasn1

0.4.8

pyasn1モジュール

0.2.8

pybind11

2.8.1

pycparser

2.20

ピダンティック

1.8.2

ピグメント

2.8.1

PyGObject

3.36.0

ピミーウス

0.5.11

PyNaClの

1.4.0

pyodbc

4.0.30

pyparsing (英語)

2.4.7

ピルシステント

0.17.3

ピスタン

2.19.1.1

Python-apt

2.0.0 + ubuntu0.20.4.6

Python-dateutil

2.8.1

Pythonエディタ

1.0.4

ピッツ

2020.5

Pyウェーブレット

1.1.1

PyYAML (英語)

5.4.1

ピズム

20.0.0

正規表現

2021.4.4

要求

2.25.1

リクエスト-oauthlib

1.3.0

リクエスト-unixsocket

0.2.0

rsa

4.7.2

S3トランスファー

0.3.7

サクレモーセス

0.0.46

Scikit-Learn

0.24.1

scipy(サイピー)

1.6.2

シーボーン

0.11.1

Send2Trash(センド2トラッシュ)

1.5.0

セットアップツール

52.0.0

setuptools-git

1.2

シャップ

0.39.0

シンプルJSON

3.17.2

6

1.15.0

スライサー

0.0.7

スマートオープン

5.2.0

SMMAPの

3.0.5

スペイシー

3.1.3

スペイシーレガシー

3.0.8

スパークテンソルフローディストリビューター

1.0.0

sqlparse

0.4.1

srslyの

2.4.1

ssh-import-id

5.10

統計モデル

0.12.2

表

0.8.7

Unicodeで絡み合った

0.1.0

持久力

6.2.0

TensorBoard

2.6.0

TensorBoard-data-server

0.6.1

TensorBoard-plugin-profile

2.5.0

TensorBoard-plugin-wit

1.8.0

TensorFlow

2.6.0

テンソルフロー推定器

2.6.0

タームカラー

1.1.0

テルミナド

0.9.4

テストパス

0.4.4

シンク

8.0.9

スレッドプールctl

2.1.0

トークナイザー

0.10.3

トーチ

1.9.1 + CU111

トーチビジョン

0.10.1 + CU111

竜巻

6.1

tqdm

4.59.0

トレイトレット

5.0.5

トランスフォーマー

4.11.3

タイパー

0.3.2

タイピング拡張

3.7.4.3

ujson

4.0.2

無人アップグレード

0.1

urllib3 の

1.25.11

virtualenv

20.4.1

ビジョン

0.7.4

山葵

0.8.2

WC幅

0.2.5

webエンコーディング

0.5.1

websocket-クライアント

0.57.0

ヴェルクツォイク

1.0.1

輪

0.36.2

widgetsnb拡張機能

3.5.1

ラッピング

1.12.1

XGBoost

1.4.2

ジップ

3.4.1

Python モジュールを含む Spark パッケージ​

Spark パッケージ

Python モジュール

バージョン

graphframes

graphframes

0.8.2-db1-spark3.2

R ライブラリ​

R ライブラリは、Databricks Runtime10.1 の R ライブラリ と同じです。

Java and Scala ライブラリ (Scala 2.12 クラスター)​

Databricks Runtime 10.1 ML には、Databricks Runtime 10.1 の Java ライブラリと Scala ライブラリに加えて、次の JAR が含まれています。

CPU クラスター​

グループID

アーティファクト ID

バージョン

com.typesafe.akka (英語)

アッカ-actor_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

0.17.0-4882dc3

ml.dmlc

XGBOOST4Jのspark_2.12

1.4.1

ml.dmlc

xgboost4j_2.12

1.4.1

org.graphframes

graphframes_2.12

0.8.1-db6-spark3.2

org.mlflowの

mlflow-クライアント

1.20.2

org.mlflowの

mlflow-spark

1.20.2

組織Scala-lang.modules

Scala-java8-compat_2.12

0.8.0

org.tensorflowの

spark-tensorflow-connector_2.12

1.15.0

GPU クラスター​

グループID

アーティファクト ID

バージョン

com.typesafe.akka (英語)

アッカ-actor_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

0.18.1-23EB1EF

ml.dmlc

XGBOOST4Jのgpu_2.12

1.4.1

ml.dmlc

xgboost4j-spark-gpu_2.12

1.4.1-スパーク3.2

org.graphframes

graphframes_2.12

0.8.2-db1-spark3.2

org.mlflowの

mlflow-クライアント

1.21.0

org.mlflowの

mlflow-spark

1.21.0

組織Scala-lang.modules

Scala-java8-compat_2.12

0.8.0

org.tensorflowの

spark-tensorflow-connector_2.12

1.15.0

に最終更新