メインコンテンツまでスキップ

Databricks Runtime 5.3 ML (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

Databricks は 2019 年 4 月にこのバージョンをリリースしました。

Databricks Runtime 5.3 ML は、 Databricks Runtime 5.3 (EoS) に基づく機械学習とデータサイエンスのためのすぐに使える環境を提供します。Databricks Runtime for ML には、TensorFlow、PyTorch、Keras、XGBoost など、一般的な機械学習ライブラリが多数含まれています。 また、 Horovodを使用した分散ディープラーニング トレーニングもサポートしています。

Databricks RuntimeMLクラスターの作成手順など、詳細については、「AI での と機械学習Databricks 」を参照してください。

新機能​

Databricks Runtime 5.3 ML は、Databricks Runtime 5.3 の上に構築されています。Databricks Runtime 5.3 の新機能については、Databricks Runtime 5.3 (EoS) リリースノートを参照してください。ライブラリの更新に加えて、Databricks Runtime 5.3 ML では次の新機能が導入されています。

  • MLflow + Apache Spark MLlib の統合: Databricks Runtime 5.3 ML は、PySpark チューニング アルゴリズム (CrossValidator と TrainValidationSplitを使用して、適合するモデルの MLflow 実行の自動ログ記録をサポートしています。
備考

プレビュー

この機能は プライベート プレビュー段階です。 有効にする方法については、Databricks の営業担当者にお問い合わせください。

  • 次のライブラリを最新バージョンにアップグレードします。

    • PyArrow を 0.8.0 から 0.12.1 まで: BinaryType はArrowベースの変換でサポートされており、 PandasUDFで使用できます。
    • Horovod を 0.15.2 から 0.16.0 に。
    • TensorboardX を 1.4 から 1.6 に更新しました。

Databricks ML モデル エクスポート API は非推奨になりました。 Databricks では、MLlib モデルの種類をより幅広くカバーできる MLeap を代わりに使用することをお勧めします。 詳細については、 MLeap ML モデルのエクスポートをご覧ください。

メンテナンスの更新​

「Databricks Runtime 5.4 ML メンテナンスの更新」を参照してください。

システム環境​

Databricks Runtime 5.3 ML のシステム環境は、Databricks Runtime 5.3 と次のように異なります。

ライブラリ​

次のセクションでは、Databricks Runtime 5.3 ML に含まれるライブラリのうち、Databricks Runtime 5.3 に含まれるライブラリと異なるライブラリの一覧を示します。

トップクラスのライブラリ​

Databricks Runtime 5.3 ML には、次の最上位 ライブラリが含まれています。

Python ライブラリ​

Databricks Runtime 5.3 ML では、Python パッケージ管理に Conda が使用されます。 そのため、プリインストールされている Python ライブラリと Databricks Runtime には大きな違いがあります。 以下は、提供されている Python パッケージと Conda パッケージ マネージャーを使用してインストールされたバージョンの完全なリストです。

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

absl-py

0.7.0

argparse

1.4.0

ASN1暗号

0.24.0

アスター

0.7.1

バックポート-ABC

0.5

backports.functools-lru-cache(キャッシュ)

1.5

backports.weakref です。

1.0.投稿1

bcryptの

3.1.6

ブリーチ

2.1.3

Boto

2.48.0

ボト3

1.7.62

ボトコア

1.10.62

認証

2018.04.16

cffi

1.11.5

シャルデ

3.0.4

クラウドピクルス

0.5.3

コロラマ州

0.3.9

コンフィグパーサー

3.5.0

暗号化手法

2.2.2

サーマルサイクラー

0.10.0

シトン

0.28.2

デコレータ

4.3.0

docutilsの

0.14

エントリポイント

0.2.3

列挙型34

1.1.6

et-xmlファイル

1.0.1

関数

1.0.2

ファンクツールズ32

3.2.3-2

ヒューズピー

2.0.4

先物

3.2.0

ガスト

0.2.2

grpcio

1.12.1

h5pyさん

2.8.0

Horovod

0.16.0

html5lib の

1.0.1

イドナ

2.6

IPアドレス

1.0.22

アイパイソン

5.7.0

ipython_genutils

0.2.0

JDCALの

1.4

ジンジャ2

2.10

jmespathの

0.9.3

jsonschema(jsonschema)

2.6.0

jupyter-クライアント

5.2.3

ジュピターコア

4.4.0

keras

2.2.4

Keras-アプリケーション

1.0.6

Keras- 前処理

1.0.5

キウイソルバー

1.0.1

ラインキャッシュ2

1.0.0

LLVMLITEの

0.23.1

lxml の

4.2.1

Markdown

3.0.1

マークアップセーフ

1.0

Matplotlib

2.2.2

ミスチューン

0.8.3

MLeap

0.8.1

嘲る

2.0.0

msgpackの

0.5.6

NBコンバート

5.3.1

NBフォーマット

4.4.0

鼻

1.3.7

ノーズ除外

0.5.0

ナンバ

0.38.0 + 0.g2a2b772fc.dirty

ナムピー

1.14.3

olefileの

0.45.1

openpyxlの

2.5.3

pandas

0.23.0

pandocフィルター

1.4.2

パラミコ

2.4.1

pathlib2 の

2.3.2

パッツィ

0.5.0

PBRの

5.1.1

pexpect

4.5.0

ピクルシェア

0.7.4

枕

5.1.0

種

10.0.1

通う

3.11

プロンプトツールキット

1.0.15

プロトブフ

3.6.1

psutil の

5.6.0

サイコップ2

2.7.5

PTYPROCESSの

0.5.2

ピアロー

0.12.1

pyasn1

0.4.5

pycparser

2.18

ピグメント

2.2.0

PyNaClの

1.3.0

pyOpenSSLの

18.0.0

pyparsing (英語)

2.2.0

PySocks(パイソックス)

1.6.8

Python

2.7.15

Python-dateutil

2.7.3

ピッツ

2018.4

PyYAML (英語)

3.12

ピズム

17.0.0

要求

2.18.4

S3トランスファー

0.1.13

スカンディール

1.7

Scikit-Learn

0.19.1

scipy(サイピー)

1.1.0

シーボーン

0.8.1

セットアップツール

39.1.0

シンプル汎用

0.8.1

シングルディスパッチ

3.4.0.3

6

1.11.0

統計モデル

0.9.0

サブプロセス32

3.5.3

TensorBoard

1.12.2

テンソルボードX

1.6

TensorFlow

1.12.0

タームカラー

1.1.0

テストパス

0.3.1

トーチ

0.4.1

トーチビジョン

0.2.1

竜巻

5.0.2

トレースバック2

1.4.0

トレイトレット

4.3.2

ユニットテスト2

1.1.0

urllib3 の

1.22

virtualenv

16.0.0

WC幅

0.1.7

webエンコーディング

0.5.1

ヴェルクツォイク

0.14.1

輪

0.31.1

ラッピング

1.10.11

WSGIREFの

0.1.2

さらに、次の Spark パッケージには Python モジュールが含まれています。

Spark パッケージ

Python モジュール

バージョン

graphframes

graphframes

0.7.0-db1-spark2.4

スパークディープラーニング

スパークDL

1.5.0-db1-spark2.4

テンソルフレーム

テンソルフレーム

0.6.0 から s_2.11

R ライブラリ​

R ライブラリは、Databricks Runtime 5.3 の R ライブラリと同じです。

Java and Scala ライブラリ (Scala 2.11 クラスター)​

Databricks Runtime 5.3 の Java ライブラリと Scala ライブラリに加えて、Databricks Runtime 5.3 ML には次の JAR が含まれています。

グループID

アーティファクト ID

バージョン

com.databricksの

スパークディープラーニング

1.5.0-db1-spark2.4

com.typesafe.akka (英語)

アッカ-actor_2.11

2.3.11

ml.combust.mleap

mleap-databricks-runtime_2.11

0.13.0

ml.dmlc

XGブースト4J

0.81

ml.dmlc

XGBOOST4J-スパーク

0.81

org.graphframes

graphframes_2.11

0.7.0-db1-spark2.4

org.tensorflowの

リテンソルフロー

1.12.0

org.tensorflowの

libtensorflow_jni

1.12.0

org.tensorflowの

スパークテンソルフロー connector_2.11

1.12.0

org.tensorflowの

TensorFlow

1.12.0

org.tensorフレーム

テンソルフレーム

0.6.0 から s_2.11

に最終更新