Databricks Runtime 5.0 ML (EoS)
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。
Databricks は 2018 年 11 月にこのバージョンをリリースしました。
Databricks Runtime 5.0 ML は、機械学習とデータサイエンスのためのすぐに使える環境を提供します。 これには、TensorFlow、Keras、XGBoost など、多くの一般的なライブラリが含まれています。 また、 を使用した分散TensorFlow トレーニングもサポートしています。Horovod
Databricks RuntimeMLクラスターの作成手順など、詳細については、「AI での と機械学習Databricks 」を参照してください。
新機能
Databricks Runtime 5.0 ML は、Databricks Runtime 5.0 の上に構築されています。Databricks Runtime 5.0 の新機能については、Databricks Runtime 5.0 (EoS) リリースノートを参照してください。Databricks Runtime 5.0 ML には、Databricks Runtime 5.0 の新機能に加えて、次の新機能が含まれています。
- HorovodRunner は、Horovod を使用して分散ディープラーニング トレーニング ジョブを実行します。
- パッケージ管理の Conda サポート。
- MLeap の統合。
- GraphFrames の統合。
Databricks Runtime ML リリースは、基本の Databricks Runtime リリースに対するすべてのメンテナンス更新を取得します。 すべてのメンテナンス更新プログラムの一覧については、「 Databricks Runtime のメンテナンス更新プログラム (アーカイブ済み)」を参照してください。
システム環境
Databricks Runtime 5.0 と Databricks Runtime 5.0 ML のシステム環境の違いは次のとおりです。
- Python : Python 2 クラスターの場合は 2.7.15、Python 3 クラスターの場合は 3.6.5。
- GPU クラスターの場合、次の NVIDIA GPU ライブラリ:
- テスラドライバー396.44
- CUDA 9.2の
- CUDNN 7.2.1
ライブラリ
このセクションでは、Databricks Runtime 5.0 に含まれるライブラリと Databricks Runtime 5.0 ML に含まれるライブラリの違いを示します。
Python ライブラリ
Databricks Runtime 5.0 ML では、Python パッケージ管理に Conda が使用されます。 以下は、提供されているPythonパッケージとCondaパッケージマネージャーを使用してインストールされたバージョンの完全なリストです。
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
absl-py | 0.6.1 | argparse | 1.4.0 | ASN1暗号 | 0.24.0 |
アスター | 0.7.1 | バックポート-ABC | 0.5 | backports.functools-lru-cache(キャッシュ) | 1.5 |
backports.weakref です。 | 1.0.投稿1 | bcryptの | 3.1.4 | ブリーチ | 2.1.3 |
Boto | 2.48.0 | ボト3 | 1.7.62 | ボトコア | 1.10.62 |
認証 | 2018.04.16 | cffi | 1.11.5 | シャルデ | 3.0.4 |
クラウドピクルス | 0.5.3 | コロラマ州 | 0.3.9 | コンフィグパーサー | 3.5.0 |
暗号化手法 | 2.2.2 | サーマルサイクラー | 0.10.0 | シトン | 0.28.2 |
デコレータ | 4.3.0 | docutilsの | 0.14 | エントリポイント | 0.2.3 |
列挙型34 | 1.1.6 | et-xmlファイル | 1.0.1 | 関数 | 1.0.2 |
ファンクツールズ32 | 3.2.3-2 | ヒューズピー | 2.0.4 | 先物 | 3.2.0 |
ガスト | 0.2.0 | grpcio | 1.12.1 | h5pyさん | 2.8.0 |
Horovod | 0.15.0 | html5lib の | 1.0.1 | イドナ | 2.6 |
IPアドレス | 1.0.22 | アイパイソン | 5.7.0 | ipython_genutils | 0.2.0 |
JDCALの | 1.4 | ジンジャ2 | 2.10 | jmespathの | 0.9.3 |
jsonschema(jsonschema) | 2.6.0 | jupyter-クライアント | 5.2.3 | ジュピターコア | 4.4.0 |
keras | 2.2.4 | Keras-アプリケーション | 1.0.6 | Keras- 前処理 | 1.0.5 |
キウイソルバー | 1.0.1 | ラインキャッシュ2 | 1.0.0 | LLVMLITEの | 0.23.1 |
lxml の | 4.2.1 | Markdown | 3.0.1 | マークアップセーフ | 1.0 |
Matplotlib | 2.2.2 | ミスチューン | 0.8.3 | MLeap | 0.8.1 |
嘲る | 2.0.0 | msgpackの | 0.5.6 | NBコンバート | 5.3.1 |
NBフォーマット | 4.4.0 | 鼻 | 1.3.7 | ノーズ除外 | 0.5.0 |
ナンバ | 0.38.0 + 0.g2a2b772fc.dirty | ナムピー | 1.14.3 | olefileの | 0.45.1 |
openpyxlの | 2.5.3 | pandas | 0.23.0 | pandocフィルター | 1.4.2 |
パラミコ | 2.4.1 | pathlib2 の | 2.3.2 | パッツィ | 0.5.0 |
PBRの | 5.1.0 | pexpect | 4.5.0 | ピクルシェア | 0.7.4 |
枕 | 5.1.0 | 種 | 10.0.1 | 通う | 3.11 |
プロンプトツールキット | 1.0.15 | プロトブフ | 3.6.1 | サイコップ2 | 2.7.5 |
PTYPROCESSの | 0.5.2 | ピアロー | 0.8.0 | pyasn1 | 0.4.4 |
pycparser | 2.18 | ピグメント | 2.2.0 | PyNaClの | 1.3.0 |
pyOpenSSLの | 18.0.0 | pyparsing (英語) | 2.2.0 | PySocks(パイソックス) | 1.6.8 |
Python | 2.7.15 | Python-dateutil | 2.7.3 | ピッツ | 2018.4 |
PyYAML (英語) | 3.12 | ピズム | 17.0.0 | 要求 | 2.18.4 |
S3トランスファー | 0.1.13 | スカンディール | 1.7 | Scikit-Learn | 0.19.1 |
scipy(サイピー) | 1.1.0 | シーボーン | 0.8.1 | セットアップツール | 39.1.0 |
シンプル汎用 | 0.8.1 | シングルディスパッチ | 3.4.0.3 | 6 | 1.11.0 |
統計モデル | 0.9.0 | サブプロセス32 | 3.5.3 | TensorBoard | 1.10.0 |
TensorFlow | 1.10.0 | タームカラー | 1.1.0 | テストパス | 0.3.1 |
竜巻 | 5.0.2 | トレースバック2 | 1.4.0 | トレイトレット | 4.3.2 |
ユニットテスト2 | 1.1.0 | urllib3 の | 1.22 | virtualenv | 16.0.0 |
WC幅 | 0.1.7 | webエンコーディング | 0.5.1 | ヴェルクツォイク | 0.14.1 |
輪 | 0.31.1 | ラッピング | 1.10.11 | WSGIREFの | 0.1.2 |
さらに、次の Spark パッケージには Python モジュールが含まれています。
Spark パッケージ | Python モジュール | バージョン |
|---|---|---|
TensorFrames | TensorFrames | 0.5.0 から s_2.11 |
graphframes | graphframes | 0.6.0-db3-spark2.4 |
スパークディープラーニング | スパークDL | 1.3.0-db2-spark2.4 |
R ライブラリ
R ライブラリは、Databricks Runtime 5.0 の R ライブラリと同じです。
Java and Scala ライブラリ (Scala 2.11 クラスター)
Databricks Runtime 5.0 ML には、Databricks Runtime 5.0 の Java ライブラリと Scala ライブラリに加えて、次の JAR が含まれています。
グループID | アーティファクト ID | バージョン |
|---|---|---|
com.databricksの | スパークディープラーニング | 1.3.0-db2-spark2.4 |
org.tensorフレーム | TensorFrames | 0.5.0 から s_2.11 |
org.graphframes | graphframes_2.11 | 0.6.0-db3-spark2.4 |
org.tensorflowの | リテンソルフロー | 1.10.0 |
org.tensorflowの | libtensorflow_jni | 1.10.0 |
org.tensorflowの | スパークテンソルフロー connector_2.11 | 1.10.0-スパーク2.4-001 |
org.tensorflowの | TensorFlow | 1.10.0 |
ml.dmlc | XGブースト4J | 0.80 |
ml.dmlc | XGBOOST4J-スパーク | 0.80 |
ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0-スナップショット |