Databricks Runtime 7.6 for Machine Learning (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。サポート終了日については、「サポート終了の履歴」を参照してください。サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

Databricks は 2021 年 2 月にこのバージョンをリリースしました。

Databricks Runtime 7.6 for Machine Learning は、 Databricks Runtime 7.6 (EoS) に基づく機械学習とデータサイエンスのためのすぐに使える環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。また、 Horovodを使用した分散ディープラーニングトレーニングもサポートしています。

Databricks RuntimeMLクラスターの作成手順など、詳細については、「AI でのと機械学習Databricks 」を参照してください。

Databricks Runtime 6.x からの移行に関するヘルプについては、「 Databricks Runtime 7.x 移行ガイド (EoS)」を参照してください。

新機能と主な変更点

Databricks Runtime 7.6 ML は、Databricks Runtime 7.6 の上に構築されています。 Databricks Runtime 7.6 の新機能 (Apache Spark MLlib や SparkRなど) については、 Databricks Runtime 7.6 (EoS) リリースノートを参照してください。

非推奨

Tensoflow 1.x は、Databricks Runtime の今後のメジャーリリースでサポートされません
次の CUDA パッケージは非推奨となり、Databricks Runtime の今後のメジャーリリースで削除されます。
- cuda-コマンド行-ツール
- CUDAコンパイラ
- CUDA-CUDART-開発
- カダカフト
- カダカフトデブ
- CUDA-CUOBJDUMP
- クーダクプティ
- クーダ・キュランド
- cuda-curand-dev
- CUDA-CUSOLVER
- cuda-cusolver-dev
- cuda-cusparse
- cuda-cusparse-dev
- CUDAのドキュメント
- cuda-ドライバー-dev
- CUDA-GDBの
- cuda-gpu-ライブラリアドバイザー
- cuda-ライブラリ-dev
- CUDAライセンス
- カダ-memcheck
- cuda-minimal-ビルド
- cuda-misc-ヘッダー
- CUDA-NPPの
- CUDA-NPP-DEV
- CUDA-nsightの
- CUDA-NVCCの
- CUDA-NVDISASM
- CUDA-NVGRAPHの
- cuda-nvgraph-dev
- CUDA-NVJPEGの
- cuda-nvjpeg-dev
- cuda-nvml-dev
- cuda-nvprune
- cuda-nvrtc-dev
- CUDA-NVVPの
- cuda-サンプル
- カダサニタイザーAPI
- CUDA-ツールキット
- cuda-ツール
- cuda-visual-tools
- freeglut3の
- libcublas-dev
- libcudnn7-dev
- libdrm-dev
- libegl1
- libegm-mesa0
- libgbl1-mesa-dev
- libgbm1 の
- libgles1
- libgles2 (英語)
- libglu1-mesa
- libglu1-mesa-dev
- libnccl-dev
- libnvinfer-dev
- libnvinfer-plugin-dev
- libopengl0
- libwayland-サーバー0
- libx11-xcb-dev
- libxcb-dri2-0-dev
- libxcb-dri3-dev
- libxcb-glx0-dev
- libxcb-present-dev
- libxcb-randr0
- libxcb-randr0-dev
- libxcb-render0-dev
- libxcb-shape0-dev
- libxcb-sync-dev
- libxcb-xfixes0
- libxcb-xfixes0-dev
- libxdamage-dev
- libxext-dev
- libxfixes-dev
- libxi-dev
- libxmu-dev の
- libxmu-ヘッダー
- libxshmfence-dev
- libxxf86vm-dev
- メサ共通開発
- nsight-コンピュート
- nsightシステムズ
- x11プロト-ダメージ-dev
- x11proto-fixes-dev
- x11プロト入力デバイス
- X11プロト-xext-dev
- x11proto-xf86vidmode-dev

Databricks Runtime ML Python 環境の主な変更点

Databricks Runtime Python 環境の主な変更点については、「 Databricks Runtime 7.6 (EoS)」を参照してください。インストールされている Python パッケージとそのバージョンの完全な一覧については、「 Python ライブラリ」を参照してください。

Python パッケージのアップグレード

Databricks の CLI 0.14.0 -> 0.14.1
コアラ 1.4.0 -> 1.5.0
lightgbm 2.3.0 -> 3.1.1
mlflow 1.12.1 -> 1.13.1
plotly 4.12.0 -> 4.14.1
PyTorch 1.7.0 -> 1.7.1
トーチビジョン 0.8.1 -> 0.8.2
XGブースト 1.2.1 -> 1.3.1

改善

XGBoost の PySpark 統合 (パブリックプレビュー)

XGBoost と PySpark の統合が改善されました。パッケージ sparkdl 2.1.0-db5 には、ユーザーが PySpark ML パイプラインで XGBoost モデルをトレーニングできるようにする XgboostRegressor と XgboostClassifierの 2 つの新しい PySpark ML 推定器が含まれています。

このバージョンより前は、XGBoost は PySpark と統合されていませんでした。ユーザーは、 Scala でxgboost4j-sparkを使用するか、 PySpark ML パイプラインを切断し、ドライバーの Spark DataFrame を Pandas DataFrameとして収集し、 Python パッケージxgboostを使用する必要がありました。詳細については、 sparkdl API のドキュメントと Databricks での XGBoost の使用を参照してください。

システム環境

Databricks Runtime 7.6 ML のシステム環境は、Databricks Runtime 7.6 と次のように異なります。

DBUtils : Databricks Runtime ML には、ライブラリユーティリティ (dbutils.ライブラリ) (レガシー) は含まれていません。代わりに、 %pip コマンドと %conda コマンドを使用できます。ノートブックスコープの Python ライブラリを参照してください。
GPU クラスターの場合、 Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
- CUDA 10.1 アップデート 2
- cuDNN 7.6.5
- NCCL 2.7.3
- TensorRT 6.0.1

ライブラリ

次のセクションでは、Databricks Runtime 7.6 ML に含まれるライブラリのうち、それらとは異なるライブラリの一覧を示します Databricks Runtime 7.6 に含まれています。

このセクションの内容：

トップクラスのライブラリ
Pythonライブラリ
R ライブラリ
Java and Scala ライブラリ (Scala 2.12 クラスター)

トップクラスのライブラリ

Databricks Runtime 7.6 ML には、次の最上位ライブラリが含まれています。

Python ライブラリ

Databricks Runtime 7.6 ML は、Python パッケージ管理に Conda を使用し、多くの一般的な ML パッケージが含まれています。

次のセクションの Conda 環境で指定されているパッケージに加えて、Databricks Runtime 7.6 ML では次のパッケージもインストールされます。

Hyperopt 0.2.5.db1
スパークDL 2.1.0-DB5

Python ライブラリ on CPU クラスター

YAML
name: databricks-ml
channels:
  - pytorch
  - defaults
dependencies:
  - _libgcc_mutex=0.1=main
  - absl-py=0.9.0=py37_0
  - asn1crypto=1.3.0=py37_1
  - astor=0.8.0=py37_0
  - backcall=0.1.0=py37_0
  - backports=1.0=pyhd3eb1b0_2
  - bcrypt=3.2.0=py37h7b6447c_0
  - blas=1.0=mkl
  - blinker=1.4=py37_0
  - boto3=1.12.0=py_0
  - botocore=1.15.0=py_0
  - c-ares=1.17.1=h27cfd23_0
  - ca-certificates=2021.1.19=h06a4308_1 # (updated from h06a4308_0 in May 26, 2021 maintenance update)
  - cachetools=4.2.0=pyhd3eb1b0_0
  - certifi=2020.12.5=py37h06a4308_0
  - cffi=1.14.0=py37he30daa8_1 # (updated from py37h2e261b9_0 in May 26, 2021 maintenance update)
  - chardet=3.0.4=py37h06a4308_1003
  - click=7.0=py37_0
  - cloudpickle=1.4.1=py_0
  - configparser=3.7.4=py37_0
  - cpuonly=1.0=0
  - cryptography=2.8=py37h1ba5d50_0
  - cycler=0.10.0=py37_0
  - cython=0.29.15=py37he6710b0_0
  - decorator=4.4.1=py_0
  - dill=0.3.1.1=py37_1
  - docutils=0.15.2=py37_0
  - entrypoints=0.3=py37_0
  - flask=1.1.1=py_1
  - freetype=2.9.1=h8a8886c_1
  - future=0.18.2=py37_1
  - gast=0.3.3=py_0
  - gitdb=4.0.5=py_0
  - gitpython=3.1.0=py_0
  - google-auth=1.11.2=py_0
  - google-auth-oauthlib=0.4.1=py_2
  - google-pasta=0.2.0=py_0
  - grpcio=1.27.2=py37hf8bcb03_0
  - gunicorn=20.0.4=py37_0
  - h5py=2.10.0=py37h7918eee_0
  - hdf5=1.10.4=hb1b8bf9_0
  - icu=58.2=he6710b0_3
  - idna=2.8=py37_0
  - intel-openmp=2020.0=166
  - ipykernel=5.1.4=py37h39e3cac_0
  - ipython=7.12.0=py37h5ca1d4c_0
  - ipython_genutils=0.2.0=pyhd3eb1b0_1
  - isodate=0.6.0=py_1
  - itsdangerous=1.1.0=py37_0
  - jedi=0.17.2=py37h06a4308_1
  - jinja2=2.11.1=py_0
  - jmespath=0.10.0=py_0
  - joblib=0.14.1=py_0
  - jpeg=9b=h024ee3a_2
  - jupyter_client=5.3.4=py37_0
  - jupyter_core=4.6.1=py37_0
  - kiwisolver=1.1.0=py37he6710b0_0
  - krb5=1.17.1=h173b8e3_0 # (updated from 1.16.4 in May 26, 2021 maintenance update)
  - ld_impl_linux-64=2.33.1=h53a641e_7
  - libedit=3.1.20181209=hc058e9b_0
  - libffi=3.3=he6710b0_2 # (updated from 3.2.1 in May 26, 2021 maintenance update)
  - libgcc-ng=9.1.0=hdf63c60_0
  - libgfortran-ng=7.3.0=hdf63c60_0
  - libpng=1.6.37=hbc83047_0
  - libpq=12.2=h20c2e04_0 # (updated from 11.2 in May 26, 2021 maintenance update)
  - libprotobuf=3.11.4=hd408876_0
  - libsodium=1.0.16=h1bed415_0
  - libstdcxx-ng=9.1.0=hdf63c60_0
  - libtiff=4.1.0=h2733197_0
  - libuv=1.40.0=h7b6447c_0
  - lightgbm=3.1.1=py37h2531618_0
  - lz4-c=1.8.1.2=h14c3975_0
  - mako=1.1.2=py_0
  - markdown=3.1.1=py37_0
  - markupsafe=1.1.1=py37h14c3975_1
  - matplotlib-base=3.1.3=py37hef1b27d_0
  - mkl=2020.0=166
  - mkl-service=2.3.0=py37he8ac12f_0
  - mkl_fft=1.0.15=py37ha843d7b_0
  - mkl_random=1.1.0=py37hd6b4f25_0
  - ncurses=6.2=he6710b0_1
  - networkx=2.4=py_1
  - ninja=1.10.2=py37hff7bd54_0
  - nltk=3.4.5=py37_0
  - numpy=1.18.1=py37h4f9e942_0
  - numpy-base=1.18.1=py37hde5b4d6_1
  - oauthlib=3.1.0=py_0
  - olefile=0.46=py37_0
  - openssl=1.1.1k=h27cfd23_0 # (updated from 1.1.1i in May 26, 2021 maintenance update)
  - packaging=20.1=py_0
  - pandas=1.0.1=py37h0573a6f_0
  - paramiko=2.7.1=py_0
  - parso=0.7.0=py_0
  - patsy=0.5.1=py37_0
  - pexpect=4.8.0=pyhd3eb1b0_3
  - pickleshare=0.7.5=pyhd3eb1b0_1003
  - pillow=7.0.0=py37hb39fc2d_0
  - pip=20.0.2=py37_3
  - plotly=4.14.1=pyhd3eb1b0_0
  - prompt_toolkit=3.0.3=py_0
  - protobuf=3.11.4=py37he6710b0_0
  - psutil=5.6.7=py37h7b6447c_0
  - psycopg2=2.8.6=py37h3c74f83_1 # (updated from 2.8.4 in May 26, 2021 maintenance update)
  - ptyprocess=0.6.0=pyhd3eb1b0_2
  - pyasn1=0.4.8=py_0
  - pyasn1-modules=0.2.8=py_0
  - pycparser=2.19=py37_0
  - pygments=2.5.2=py_0
  - pyjwt=2.0.1=py37h06a4308_0
  - pynacl=1.3.0=py37h7b6447c_0
  - pyodbc=4.0.30=py37he6710b0_0
  - pyopenssl=19.1.0=pyhd3eb1b0_1
  - pyparsing=2.4.6=py_0
  - pysocks=1.7.1=py37_1
  - python=3.7.10=hdb3f193_0 # (updated from 3.7.6 in May 26, 2021 maintenance update)
  - python-dateutil=2.8.1=py_0
  - python-editor=1.0.4=py_0
  - pytorch=1.7.1=py3.7_cpu_0
  - pytz=2019.3=py_0
  - pyzmq=18.1.1=py37he6710b0_0
  - readline=8.1=h27cfd23_0 # (updated from 7.0 in May 26, 2021 maintenance update)
  - requests=2.22.0=py37_1
  - requests-oauthlib=1.3.0=py_0
  - retrying=1.3.3=py37_2
  - rsa=4.0=py_0
  - s3transfer=0.3.4=pyhd3eb1b0_0
  - scikit-learn=0.22.1=py37hd81dba3_0
  - scipy=1.4.1=py37h0b6359f_0
  - setuptools=45.2.0=py37_0
  - simplejson=3.17.0=py37h7b6447c_0
  - six=1.14.0=py37h06a4308_0
  - smmap=3.0.4=py_0
  - sqlite=3.35.4=hdfb4753_0 # (updated from 3.31.1 in May 26, 2021 maintenance update)
  - sqlparse=0.4.1=py_0
  - statsmodels=0.11.0=py37h7b6447c_0
  - tabulate=0.8.3=py37_0
  - tk=8.6.10=hbc83047_0 # (updated from 8.6.8 in May 26, 2021 maintenance update)
  - torchvision=0.8.2=py37_cpu
  - tornado=6.0.3=py37h7b6447c_3
  - tqdm=4.42.1=py_0
  - traitlets=4.3.3=py37_0
  - typing_extensions=3.7.4.3=py_0
  - unixodbc=2.3.7=h14c3975_0
  - urllib3=1.25.8=py37_0
  - wcwidth=0.1.8=py_0
  - websocket-client=0.56.0=py37_0
  - werkzeug=1.0.0=py_0
  - wheel=0.34.2=py37_0
  - wrapt=1.11.2=py37h7b6447c_0
  - xz=5.2.5=h7b6447c_0 # (updated from 5.2.4 in May 26, 2021 maintenance update)
  - zeromq=4.3.1=he6710b0_3
  - zlib=1.2.11=h7b6447c_3
  - zstd=1.3.7=h0b5b093_0
  - pip:
      - astunparse==1.6.3
      - azure-core==1.10.0
      - azure-storage-blob==12.7.0
      - databricks-cli==0.14.1
      - diskcache==5.1.0
      - docker==4.4.1
      - gorilla==0.3.0
      - horovod==0.20.3
      - joblibspark==0.3.0
      - keras-preprocessing==1.1.2
      - koalas==1.5.0
      - mleap==0.16.1
      - mlflow==1.13.1
      - msrest==0.6.19
      - opt-einsum==3.3.0
      - petastorm==0.9.7
      - pyarrow==1.0.1
      - pyyaml==5.4
      - querystring-parser==1.2.4
      - seaborn==0.10.0
      - spark-tensorflow-distributor==0.1.0
      - tensorboard==2.3.0
      - tensorboard-plugin-wit==1.8.0
      - tensorflow-cpu==2.3.1
      - tensorflow-estimator==2.3.0
      - termcolor==1.1.0
      - xgboost==1.3.1
prefix: /databricks/conda/envs/databricks-ml

Python ライブラリ on GPU クラスター

YAML
name: databricks-ml-gpu
channels:
  - pytorch
  - defaults
dependencies:
  - _libgcc_mutex=0.1=main
  - absl-py=0.9.0=py37_0
  - asn1crypto=1.3.0=py37_1
  - astor=0.8.0=py37_0
  - backcall=0.1.0=py37_0
  - backports=1.0=pyhd3eb1b0_2
  - bcrypt=3.2.0=py37h7b6447c_0
  - blas=1.0=mkl
  - blinker=1.4=py37_0
  - boto3=1.12.0=py_0
  - botocore=1.15.0=py_0
  - c-ares=1.17.1=h27cfd23_0
  - ca-certificates=2021.1.19=h06a4308_1 # (updated from h06a4308_0 in May 26, 2021 maintenance update)
  - cachetools=4.2.0=pyhd3eb1b0_0
  - certifi=2020.12.5=py37h06a4308_0
  - cffi=1.14.0=py37he30daa8_1 # (updated from py37h2e261b9_0 in May 26, 2021 maintenance update)
  - chardet=3.0.4=py37h06a4308_1003
  - click=7.0=py37_0
  - cloudpickle=1.4.1=py_0
  - configparser=3.7.4=py37_0
  - cryptography=2.8=py37h1ba5d50_0
  - cudatoolkit=10.1.243=h6bb024c_0
  - cycler=0.10.0=py37_0
  - cython=0.29.15=py37he6710b0_0
  - decorator=4.4.1=py_0
  - dill=0.3.1.1=py37_1
  - docutils=0.15.2=py37_0
  - entrypoints=0.3=py37_0
  - flask=1.1.1=py_1
  - freetype=2.9.1=h8a8886c_1
  - future=0.18.2=py37_1
  - gast=0.3.3=py_0
  - gitdb=4.0.5=py_0
  - gitpython=3.1.0=py_0
  - google-auth=1.11.2=py_0
  - google-auth-oauthlib=0.4.1=py_2
  - google-pasta=0.2.0=py_0
  - grpcio=1.27.2=py37hf8bcb03_0
  - gunicorn=20.0.4=py37_0
  - h5py=2.10.0=py37h7918eee_0
  - hdf5=1.10.4=hb1b8bf9_0
  - icu=58.2=he6710b0_3
  - idna=2.8=py37_0
  - intel-openmp=2020.0=166
  - ipykernel=5.1.4=py37h39e3cac_0
  - ipython=7.12.0=py37h5ca1d4c_0
  - ipython_genutils=0.2.0=pyhd3eb1b0_1
  - isodate=0.6.0=py_1
  - itsdangerous=1.1.0=py37_0
  - jedi=0.17.2=py37h06a4308_1
  - jinja2=2.11.1=py_0
  - jmespath=0.10.0=py_0
  - joblib=0.14.1=py_0
  - jpeg=9b=h024ee3a_2
  - jupyter_client=5.3.4=py37_0
  - jupyter_core=4.6.1=py37_0
  - kiwisolver=1.1.0=py37he6710b0_0
  - krb5=1.17.1=h173b8e3_0 # (updated from 1.16.4 in May 26, 2021 maintenance update)
  - ld_impl_linux-64=2.33.1=h53a641e_7
  - libedit=3.1.20181209=hc058e9b_0
  - libffi=3.3=he6710b0_2 # (updated from 3.2.1 in May 26, 2021 maintenance update)
  - libgcc-ng=9.1.0=hdf63c60_0
  - libgfortran-ng=7.3.0=hdf63c60_0
  - libpng=1.6.37=hbc83047_0
  - libpq=12.2=h20c2e04_0 # (updated from 11.2 in May 26, 2021 maintenance update)
  - libprotobuf=3.11.4=hd408876_0
  - libsodium=1.0.16=h1bed415_0
  - libstdcxx-ng=9.1.0=hdf63c60_0
  - libtiff=4.1.0=h2733197_0
  - libuv=1.40.0=h7b6447c_0
  - lightgbm=3.1.1=py37h2531618_0
  - lz4-c=1.8.1.2=h14c3975_0
  - mako=1.1.2=py_0
  - markdown=3.1.1=py37_0
  - markupsafe=1.1.1=py37h14c3975_1
  - matplotlib-base=3.1.3=py37hef1b27d_0
  - mkl=2020.0=166
  - mkl-service=2.3.0=py37he8ac12f_0
  - mkl_fft=1.0.15=py37ha843d7b_0
  - mkl_random=1.1.0=py37hd6b4f25_0
  - ncurses=6.2=he6710b0_1
  - networkx=2.4=py_1
  - ninja=1.10.2=py37hff7bd54_0
  - nltk=3.4.5=py37_0
  - numpy=1.18.1=py37h4f9e942_0
  - numpy-base=1.18.1=py37hde5b4d6_1
  - oauthlib=3.1.0=py_0
  - olefile=0.46=py37_0
  - openssl=1.1.1k=h27cfd23_0 # (updated from 1.1.1i in May 26, 2021 maintenance update)
  - packaging=20.1=py_0
  - pandas=1.0.1=py37h0573a6f_0
  - paramiko=2.7.1=py_0
  - parso=0.7.0=py_0
  - patsy=0.5.1=py37_0
  - pexpect=4.8.0=pyhd3eb1b0_3
  - pickleshare=0.7.5=pyhd3eb1b0_1003
  - pillow=7.0.0=py37hb39fc2d_0
  - pip=20.0.2=py37_3
  - plotly=4.14.1=pyhd3eb1b0_0
  - prompt_toolkit=3.0.3=py_0
  - protobuf=3.11.4=py37he6710b0_0
  - psutil=5.6.7=py37h7b6447c_0
  - psycopg2=2.8.6=py37h3c74f83_1 # (updated from 2.8.4 in May 26, 2021 maintenance update)
  - ptyprocess=0.6.0=pyhd3eb1b0_2
  - pyasn1=0.4.8=py_0
  - pyasn1-modules=0.2.8=py_0
  - pycparser=2.19=py37_0
  - pygments=2.5.2=py_0
  - pyjwt=2.0.1=py37h06a4308_0
  - pynacl=1.3.0=py37h7b6447c_0
  - pyodbc=4.0.30=py37he6710b0_0
  - pyopenssl=19.1.0=pyhd3eb1b0_1
  - pyparsing=2.4.6=py_0
  - pysocks=1.7.1=py37_1
  - python=3.7.10=hdb3f193_0 # (updated from 3.7.6 in May 26, 2021 maintenance update)
  - python-dateutil=2.8.1=py_0
  - python-editor=1.0.4=py_0
  - pytorch=1.7.1=py3.7_cuda10.1.243_cudnn7.6.3_0
  - pytz=2019.3=py_0
  - pyzmq=18.1.1=py37he6710b0_0
  - readline=8.1=h27cfd23_0 # (updated from 7.0 in May 26, 2021 maintenance update)
  - requests=2.22.0=py37_1
  - requests-oauthlib=1.3.0=py_0
  - retrying=1.3.3=py37_2
  - rsa=4.0=py_0
  - s3transfer=0.3.4=pyhd3eb1b0_0
  - scikit-learn=0.22.1=py37hd81dba3_0
  - scipy=1.4.1=py37h0b6359f_0
  - setuptools=45.2.0=py37_0
  - simplejson=3.17.0=py37h7b6447c_0
  - six=1.14.0=py37h06a4308_0
  - smmap=3.0.4=py_0
  - sqlite=3.35.4=hdfb4753_0 # (updated from 3.31.1 in May 26, 2021 maintenance update)
  - sqlparse=0.4.1=py_0
  - statsmodels=0.11.0=py37h7b6447c_0
  - tabulate=0.8.3=py37_0
  - tk=8.6.10=hbc83047_0 # (updated from 8.6.8 in May 26, 2021 maintenance update)
  - torchvision=0.8.2=py37_cu101
  - tornado=6.0.3=py37h7b6447c_3
  - tqdm=4.42.1=py_0
  - traitlets=4.3.3=py37_0
  - typing_extensions=3.7.4.3=py_0
  - unixodbc=2.3.7=h14c3975_0
  - urllib3=1.25.8=py37_0
  - wcwidth=0.1.8=py_0
  - websocket-client=0.56.0=py37_0
  - werkzeug=1.0.0=py_0
  - wheel=0.34.2=py37_0
  - wrapt=1.11.2=py37h7b6447c_0
  - xz=5.2.5=h7b6447c_0 # (updated from 5.2.4 in May 26, 2021 maintenance update)
  - zeromq=4.3.1=he6710b0_3
  - zlib=1.2.11=h7b6447c_3
  - zstd=1.3.7=h0b5b093_0
  - pip:
      - astunparse==1.6.3
      - azure-core==1.10.0
      - azure-storage-blob==12.7.0
      - databricks-cli==0.14.1
      - diskcache==5.1.0
      - docker==4.4.1
      - gorilla==0.3.0
      - horovod==0.20.3
      - joblibspark==0.3.0
      - keras-preprocessing==1.1.2
      - koalas==1.5.0
      - mleap==0.16.1
      - mlflow==1.13.1
      - msrest==0.6.19
      - opt-einsum==3.3.0
      - petastorm==0.9.7
      - pyarrow==1.0.1
      - pyyaml==5.4
      - querystring-parser==1.2.4
      - seaborn==0.10.0
      - spark-tensorflow-distributor==0.1.0
      - tensorboard==2.3.0
      - tensorboard-plugin-wit==1.8.0
      - tensorflow==2.3.1
      - tensorflow-estimator==2.3.0
      - termcolor==1.1.0
      - xgboost==1.3.1
prefix: /databricks/conda/envs/databricks-ml-gpu

Python モジュールを含む Spark パッケージ

Spark パッケージ	Python モジュール	バージョン
graphframes	graphframes	0.8.1-db1-spark3.0

R ライブラリ

R ライブラリは、Databricks Runtime7.6 の R ライブラリと同じです。

Java and Scala ライブラリ (Scala 2.12 クラスター)

Databricks Runtime 7.6 ML には、Databricks Runtime 7.6 の Java ライブラリと Scala ライブラリに加えて、次の JAR が含まれています。

CPU クラスター

グループID	アーティファクト ID	バージョン
com.typesafe.akka (英語)	アッカ-actor_2.12	2.5.23
ml.combust.mleap	mleap-databricks-runtime_2.12	0.17.3から4882dc3
ml.dmlc	XGBOOST4Jのspark_2.12	1.2.0
ml.dmlc	xgboost4j_2.12	1.2.0
org.mlflowの	mlflow-クライアント	1.13.1
組織Scala-lang.modules	Scala-java8-compat_2.12	0.8.0
org.tensorflowの	spark-tensorflow-connector_2.12	1.15.0

GPU クラスター

グループID	アーティファクト ID	バージョン
com.typesafe.akka (英語)	アッカ-actor_2.12	2.5.23
ml.combust.mleap	mleap-databricks-runtime_2.12	0.17.3から4882dc3
ml.dmlc	xgboost4j-spark-gpu_2.12	1.2.0
ml.dmlc	XGBOOST4Jのgpu_2.12	1.2.0
org.mlflowの	mlflow-クライアント	1.13.1
組織Scala-lang.modules	Scala-java8-compat_2.12	0.8.0
org.tensorflowの	spark-tensorflow-connector_2.12	1.15.0

新機能と主な変更点​

非推奨​

Databricks Runtime ML Python 環境の主な変更点​

Python パッケージのアップグレード​

改善​

XGBoost の PySpark 統合 (パブリック プレビュー)​

システム環境​

ライブラリ​

トップクラスのライブラリ​

Python ライブラリ​

Python ライブラリ on CPU クラスター​

Python ライブラリ on GPU クラスター​

Python モジュールを含む Spark パッケージ​

R ライブラリ​

Java and Scala ライブラリ (Scala 2.12 クラスター)​

CPU クラスター​

GPU クラスター​