メインコンテンツまでスキップ

Databricks Runtime 5.5 と Conda (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

注記

このリリースは使用できなくなりました。 Conda を使用して Python ライブラリと環境を管理する場合は、 サポートされているバージョンの Databricks Runtime for Machine Learning を使用します。

Databricks Runtime 5.5 with Conda (ベータ版) では、Conda を利用して Python ライブラリと環境を管理できるようになりました。 このランタイムには、クラスターの作成時に 2 つのルート Conda 環境オプションが用意されています。

  • Databricks Standard 環境には、多くの一般的な Python パッケージの更新バージョンが含まれています。 この環境は、Databricks Runtime で実行される既存のノートブックのドロップイン置換を目的としています。 これは、デフォルトの Databricks Conda ベースのランタイム環境です。
  • Databricks Minimal 環境には、PySpark と Databricks Python ノートブックの機能に必要な最小数のパッケージが含まれています。 この環境は、さまざまな Python パッケージを使用してランタイムをカスタマイズする場合に最適です。

どちらも Databricks ライブラリ ユーティリティ (dbutils.ライブラリ) (レガシー) のサポートが含まれています。

注記

Databricks Runtime 5.5 with Conda の Scala、Java、R ライブラリは、Databricks Runtime 5.5 のライブラリと同じです。 詳細については、 Databricks Runtime 5.5 LTS (EoS) リリースノートを参照してください。 Databricks RuntimeでConda を使用する方法については、Conda を参照してください。

新機能​

YAML 仕様を使用したノートブックの Conda 環境の更新をサポートするために、新しいノートブック スコープのライブラリ API が提供されています ( Conda のドキュメントを参照)。

Python
dbutils.library.updateCondaEnv('''envYmlContent''')

たとえば、numpy ライブラリを 1.16.4 に更新するには、次のようにします。 次の呼び出しを行います。

Python
dbutils.library.updateCondaEnv(
"""channels:
  - default
dependencies:
  - numpy=1.16.4""")
注記

dbutils.library.help("updateCondaEnv")を使用してupdateCondaEnvに関する詳細情報を取得できます。

改善​

  • 標準環境と最小環境のパッケージは、新しいバージョンに更新されます。 パッケージバージョンの完全なリストについては 、ライブラリ を参照してください。 主なパッケージの更新は次のとおりです。

    • Pythonが3.7.3に更新されました。 3.7.0 から
    • IPython が 7.4.0 に更新されました。 6.5.0 から
    • pip が 10.0.1 から 19.0.3 に更新されました

  • ノートブック間の環境分離を向上させるために、プロセス分離と ADLS パススルーが有効になっています。

  • 忘れがちな -y フラグを渡すことなく conda install を使用してパッケージをインストールできるように、.condarcで always_yes Conda 設定オプションが True に設定されるようになりました。

システム環境​

Databricks Runtime 5.5 と Conda のシステム環境は、Databricks Runtime 5.5 と次のように異なります。

  • Python の:3.7.x。 Python 3 のみがサポートされています。

ライブラリ​

environment.yml以下は、Databricks Runtime 5.5 の デフォルト ルート環境用にエクスポートされたConda ファイルです。

Databricks スタンダード​

YAML
name: databricks-standard
channels:
  - defaults
dependencies:
  - asn1crypto=0.24.0=py37_0
  - backcall=0.1.0=py37_0
  - blas=1.0=openblas
  - boto=2.49.0=py37_0
  - boto3=1.9.162=py_0
  - botocore=1.12.163=py_0
  - ca-certificates=2019.1.23=0
  - certifi=2019.3.9=py37_0
  - cffi=1.12.2=py37h2e261b9_1
  - chardet=3.0.4=py37_1
  - cryptography=2.6.1=py37h1ba5d50_0
  - cython=0.29.6=py37he6710b0_0
  - decorator=4.4.0=py37_1
  - docutils=0.14=py37_0
  - idna=2.8=py37_0
  - ipython=7.4.0=py37h39e3cac_0
  - ipython_genutils=0.2.0=py37_0
  - jedi=0.13.3=py37_0
  - jmespath=0.9.4=py_0
  - krb5=1.16.1=h173b8e3_7
  - libedit=3.1.20181209=hc058e9b_0
  - libffi=3.2.1=hd88cf55_4
  - libgcc-ng=8.2.0=hdf63c60_1
  - libgfortran-ng=7.3.0=hdf63c60_0
  - libopenblas=0.3.6=h5a2b251_0
  - libpq=11.2=h20c2e04_0
  - libstdcxx-ng=8.2.0=hdf63c60_1
  - ncurses=6.1=he6710b0_1
  - nomkl=3.0=0
  - numpy=1.16.2=py37h99e49ec_0
  - numpy-base=1.16.2=py37h2f8d375_0
  - openssl=1.1.1b=h7b6447c_1
  - pandas=0.24.2=py37he6710b0_0
  - parso=0.3.4=py37_0
  - patsy=0.5.1=py37_0
  - pexpect=4.6.0=py37_0
  - pickleshare=0.7.5=py37_0
  - pip=19.0.3=py37_0
  - prompt_toolkit=2.0.9=py37_0
  - psycopg2=2.7.6.1=py37h1ba5d50_0
  - ptyprocess=0.6.0=py37_0
  - pycparser=2.19=py37_0
  - pygments=2.3.1=py37_0
  - pyopenssl=19.0.0=py37_0
  - pysocks=1.6.8=py37_0
  - python=3.7.3=h0371630_0
  - python-dateutil=2.8.0=py37_0
  - pytz=2018.9=py37_0
  - readline=7.0=h7b6447c_5
  - requests=2.21.0=py37_0
  - s3transfer=0.2.0=py37_0
  - scikit-learn=0.20.3=py37h22eb022_0
  - scipy=1.2.1=py37he2b7bc3_0
  - setuptools=40.8.0=py37_0
  - six=1.12.0=py37_0
  - sqlite=3.27.2=h7b6447c_0
  - statsmodels=0.9.0=py37h035aef0_0
  - tk=8.6.8=hbc83047_0
  - traitlets=4.3.2=py37_0
  - urllib3=1.24.1=py37_0
  - wcwidth=0.1.7=py37_0
  - wheel=0.33.1=py37_0
  - xz=5.2.4=h14c3975_4
  - zlib=1.2.11=h7b6447c_3
  - pip:
      - cycler==0.10.0
      - kiwisolver==1.1.0
      - matplotlib==3.0.3
      - pyarrow==0.12.0
      - pyparsing==2.4.0
      - seaborn==0.9.0
prefix: /databricks/conda/envs/databricks-standard

Databricks Minimal​

YAML
name: databricks-minimal
channels:
  - defaults
dependencies:
  - backcall=0.1.0=py37_0
  - blas=1.0=openblas
  - ca-certificates=2019.1.23=0
  - certifi=2019.3.9=py37_0
  - decorator=4.4.0=py37_1
  - ipython=7.4.0=py37h39e3cac_0
  - ipython_genutils=0.2.0=py37_0
  - jedi=0.13.3=py37_0
  - libedit=3.1.20181209=hc058e9b_0
  - libffi=3.2.1=hd88cf55_4
  - libgcc-ng=8.2.0=hdf63c60_1
  - libgfortran-ng=7.3.0=hdf63c60_0
  - libopenblas=0.3.6=h5a2b251_0
  - libstdcxx-ng=8.2.0=hdf63c60_1
  - ncurses=6.1=he6710b0_1
  - nomkl=3.0=0
  - numpy=1.16.2=py37h99e49ec_0
  - numpy-base=1.16.2=py37h2f8d375_0
  - openssl=1.1.1b=h7b6447c_1
  - pandas=0.24.2=py37he6710b0_0
  - parso=0.3.4=py37_0
  - pexpect=4.6.0=py37_0
  - pickleshare=0.7.5=py37_0
  - pip=19.0.3=py37_0
  - prompt_toolkit=2.0.9=py37_0
  - ptyprocess=0.6.0=py37_0
  - pygments=2.3.1=py37_0
  - python=3.7.3=h0371630_0
  - python-dateutil=2.8.0=py37_0
  - pytz=2018.9=py37_0
  - readline=7.0=h7b6447c_5
  - setuptools=40.8.0=py37_0
  - six=1.12.0=py37_0
  - sqlite=3.27.2=h7b6447c_0
  - tk=8.6.8=hbc83047_0
  - traitlets=4.3.2=py37_0
  - wcwidth=0.1.7=py37_0
  - wheel=0.33.1=py37_0
  - xz=5.2.4=h14c3975_4
  - zlib=1.2.11=h7b6447c_3
  - pip:
      - pyarrow==0.12.0
prefix: /databricks/conda/envs/databricks-minimal
に最終更新