Databricks Runtime 5.2 ML
Databricks は 2019 年 1 月にこのバージョンをリリースしました。
Databricks Runtime 5.2 ML は、 Databricks Runtime 5.2 (EoS) に基づく機械学習とデータサイエンスのためのすぐに使える環境を提供します。Databricks Runtime for ML には、TensorFlow、PyTorch、Keras、XGBoost など、一般的な機械学習ライブラリが多数含まれています。 また、 を使用した分散TensorFlow トレーニングもサポートしています。Horovod
Databricks RuntimeMLクラスターの作成手順など、詳細については、「AI での と機械学習Databricks 」を参照してください。
新機能
Databricks Runtime 5.2 ML は、Databricks Runtime 5.2 の上に構築されています。 Databricks Runtime 5.2 の新機能については、Databricks Runtime 5.2 (EoS) リリースノートを参照してください。ライブラリの更新に加えて、Databricks Runtime 5.2 ML では次の新機能が導入されています。
- GraphFrames は、Databricks のパフォーマンス最適化により、 Pregel API (Python) をサポートするようになりました。
- HorovodRunner は次のように付け加えています。
- GPU クラスターでは、トレーニングプロセスはワーカーノードではなく GPU にマッピングされ、マルチ GPU インスタンスタイプのサポートが簡素化されます。 この組み込みサポートにより、カスタムコードなしでマルチGPUマシン上のすべてのGPUに配布できます。
HorovodRunner.run()ここで、最初のトレーニング プロセスからの戻り値を返します。
Databricks Runtime ML リリースは、基本の Databricks Runtime リリースに対するすべてのメンテナンス更新を取得します。 すべてのメンテナンス更新プログラムの一覧については、「 Databricks Runtime のメンテナンス更新プログラム (アーカイブ済み)」を参照してください。
システム環境
Databricks Runtime 5.2 ML のシステム環境は、Databricks Runtime 5.2 と次のように異なります。
- Python : Python 2 クラスターの場合は 2.7.15、Python 3 クラスターの場合は 3.6.5。
- DBUtils : Databricks Runtime 5.2 ML には、 ライブラリ ユーティリティ (dbutils.ライブラリ) (レガシー) は含まれていません。
- GPU クラスターの場合、次の NVIDIA GPU ライブラリ:
- テスラドライバー396.44
- CUDA 9.2の
- CUDNN 7.2.1
ライブラリ
次のセクションでは、Databricks Runtime 5.2 ML に含まれるライブラリと Databricks Runtime 5.2 に含まれるライブラリが異なるライブラリの一覧を示します。
Python ライブラリ
Databricks Runtime 5.2 ML では、Python パッケージ管理に Conda が使用されます。 そのため、プリインストールされている Python ライブラリと Databricks Runtime には大きな違いがあります。 以下は、提供されている Python パッケージと Conda パッケージ マネージャーを使用してインストールされたバージョンの完全なリストです。
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
absl-py | 0.6.1 | argparse | 1.4.0 | ASN1暗号 | 0.24.0 |
アスター | 0.7.1 | バックポート-ABC | 0.5 | backports.functools-lru-cache(キャッシュ) | 1.5 |
backports.weakref です。 | 1.0.投稿1 | bcryptの | 3.1.5 | ブリーチ | 2.1.3 |
Boto | 2.48.0 | ボト3 | 1.7.62 | ボトコア | 1.10.62 |
認証 | 2018.04.16 | cffi | 1.11.5 | シャルデ | 3.0.4 |
クラウドピクルス | 0.5.3 | コロラマ州 | 0.3.9 | コンフィグパーサー | 3.5.0 |
暗号化手法 | 2.2.2 | サーマルサイクラー | 0.10.0 | シトン | 0.28.2 |
デコレータ | 4.3.0 | docutilsの | 0.14 | エントリポイント | 0.2.3 |
列挙型34 | 1.1.6 | et-xmlファイル | 1.0.1 | 関数 | 1.0.2 |
ファンクツールズ32 | 3.2.3-2 | ヒューズピー | 2.0.4 | 先物 | 3.2.0 |
ガスト | 0.2.0 | grpcio | 1.12.1 | h5pyさん | 2.8.0 |
Horovod | 0.15.2 | html5lib の | 1.0.1 | イドナ | 2.6 |
IPアドレス | 1.0.22 | アイパイソン | 5.7.0 | ipython_genutils | 0.2.0 |
JDCALの | 1.4 | ジンジャ2 | 2.10 | jmespathの | 0.9.3 |
jsonschema(jsonschema) | 2.6.0 | jupyter-クライアント | 5.2.3 | ジュピターコア | 4.4.0 |
keras | 2.2.4 | Keras-アプリケーション | 1.0.6 | Keras- 前処理 | 1.0.5 |
キウイソルバー | 1.0.1 | ラインキャッシュ2 | 1.0.0 | LLVMLITEの | 0.23.1 |
lxml の | 4.2.1 | Markdown | 3.0.1 | マークアップセーフ | 1.0 |
Matplotlib | 2.2.2 | ミスチューン | 0.8.3 | ムリープ | 0.8.1 |
嘲る | 2.0.0 | msgpackの | 0.5.6 | NBコンバート | 5.3.1 |
NBフォーマット | 4.4.0 | 鼻 | 1.3.7 | ノーズ除外 | 0.5.0 |
ナンバ | 0.38.0 + 0.g2a2b772fc.dirty | ナムピー | 1.14.3 | olefileの | 0.45.1 |
openpyxlの | 2.5.3 | pandas | 0.23.0 | pandocフィルター | 1.4.2 |
パラミコ | 2.4.1 | pathlib2 の | 2.3.2 | パッツィ | 0.5.0 |
PBRの | 5.1.1 | pexpect | 4.5.0 | ピクルシェア | 0.7.4 |
枕 | 5.1.0 | 種 | 10.0.1 | 通う | 3.11 |
プロンプトツールキット | 1.0.15 | プロトブフ | 3.6.1 | サイコップ2 | 2.7.5 |
PTYPROCESSの | 0.5.2 | ピアロー | 0.8.0 | pyasn1 | 0.4.4 |
pycparser | 2.18 | ピグメント | 2.2.0 | PyNaClの | 1.3.0 |
pyOpenSSLの | 18.0.0 | pyparsing (英語) | 2.2.0 | PySocks(パイソックス) | 1.6.8 |
Python | 2.7.15 | Python-dateutil | 2.7.3 | ピッツ | 2018.4 |
PyYAML (英語) | 3.12 | ピズム | 17.0.0 | 要求 | 2.18.4 |
S3トランスファー | 0.1.13 | スカンディール | 1.7 | Scikit-Learn | 0.19.1 |
scipy(サイピー) | 1.1.0 | シーボーン | 0.8.1 | セットアップツール | 39.1.0 |
シンプル汎用 | 0.8.1 | シングルディスパッチ | 3.4.0.3 | 6 | 1.11.0 |
統計モデル | 0.9.0 | サブプロセス32 | 3.5.3 | TensorBoard | 1.12.2 |
テンソルボードX | 1.4 | TensorFlow | 1.12.0 | タームカラー | 1.1.0 |
テストパス | 0.3.1 | トーチ | 0.4.1 | トーチビジョン | 0.2.1 |
竜巻 | 5.0.2 | トレースバック2 | 1.4.0 | トレイトレット | 4.3.2 |
ユニットテスト2 | 1.1.0 | urllib3 の | 1.22 | virtualenv | 16.0.0 |
WC幅 | 0.1.7 | webエンコーディング | 0.5.1 | ヴェルクツォイク | 0.14.1 |
輪 | 0.31.1 | ラッピング | 1.10.11 | WSGIREFの | 0.1.2 |
さらに、次の Spark パッケージには Python モジュールが含まれています。
Spark パッケージ | Python モジュール | バージョン |
|---|---|---|
graphframes | graphframes | 0.7.0-db1-spark2.4 |
スパークディープラーニング | スパークDL | 1.5.0-db1-spark2.4 |
TensorFrames | TensorFrames | 0.6.0 から s_2.11 |
R ライブラリ
R ライブラリは、Databricks Runtime 5.2 の R ライブラリと同じです。
Java and Scala ライブラリ (Scala 2.11 クラスター)
Databricks Runtime 5.2 ML には、Databricks Runtime 5.2 の Java ライブラリと Scala ライブラリに加えて、次の JAR が含まれています。
グループID | アーティファクト ID | バージョン |
|---|---|---|
com.databricksの | スパークディープラーニング | 1.5.0-db1-spark2.4 |
com.typesafe.akka (英語) | アッカ-actor_2.11 | 2.3.11 |
ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0 |
ml.dmlc | XGブースト4J | 0.81 |
ml.dmlc | XGBOOST4J-スパーク | 0.81 |
org.graphframes | graphframes_2.11 | 0.7.0-db1-spark2.4 |
org.tensorflowの | リテンソルフロー | 1.12.0 |
org.tensorflowの | libtensorflow_jni | 1.12.0 |
org.tensorflowの | スパークテンソルフロー connector_2.11 | 1.12.0 |
org.tensorflowの | TensorFlow | 1.12.0 |
org.tensorフレーム | TensorFrames | 0.6.0 から s_2.11 |