Pular para o conteúdo principal

Databricks Runtime 6,0 para (EoS) ML

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

A Databricks lançou esta versão em outubro de 2019.

O Databricks Runtime 6.0 for Machine Learning oferece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 6.0 (EoS). Databricks Runtime ML Contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch, Keras, e XGBoost. Ele também oferece suporte ao treinamento de aprendizagem profunda distribuída usando o Horovod.

Para obter mais informações, incluindo instruções para criar um cluster Databricks Runtime ML , consulte AI e aprendizado de máquina em Databricks.

Novo recurso

O Databricks Runtime 6.0 ML foi desenvolvido com base no Databricks Runtime 6.0. Para obter informações sobre as novidades do Databricks Runtime 6.0, consulte as notas sobre a versão Databricks Runtime 6.0 (EoS).

Consultar os dados do experimento MLflow em escala usando a nova MLflow Spark fonte de dados

A Spark fonte de dados para experimentos MLflow agora fornece um padrão API para carregar dados de execução de experimentos MLflow. Isso permite a consulta em grande escala e a análise de MLflow experimento de uso de dados DataFrame APIs. Para um determinado experimento, o site DataFrame contém execução, métricas, params, tags, começar, end_time, status e o artifact_uri para artefatos. Veja o experimento MLflow.

Melhorias

  • Hyperopt GA

    O Hyperopt no Databricks já está disponível para todos. Entre os aprimoramentos notáveis desde a visualização pública estão o suporte para registro em MLflow no Spark worker, o tratamento correto das variáveis de transmissão do PySpark, bem como um novo guia sobre seleção de modelos usando o Hyperopt. Também corrigimos pequenos bugs nas mensagens do site log, no tratamento de erros, na interface do usuário e tornamos nossos documentos mais fáceis de ler. Para obter detalhes, consulte a documentação do Hyperopt.

    Atualizamos a forma como Databricks logs Hyperopt experimenta para que o senhor possa agora log uma métrica personalizada durante a Hyperopt execução, passando a métrica para a função mlflow.log_metric (consulte os logs). Isso é útil se o senhor quiser log métricas personalizadas além da perda, que é registrada por default quando a função hyperopt.fmin é chamada.

  • MLflow

    • Adição do cliente Java MLflow 1.2.0
    • O MLflow agora é promovido como uma biblioteca deprimeira linha
  • Biblioteca atualizada para aprendizado de máquina

    • O Horovod foi atualizado da versão 0.16.4 para a 0.18.1
    • MLflow atualizado de 1.0.0 para 1.2.0
  • Distribuição Anaconda atualizada de 5.2.0 para 2019.03

Remoção

  • O Databricks ML Model Export foi removido. Em vez disso, use o mLeap para importar e exportar modelos.

  • Na biblioteca Hyperopt, as seguintes propriedades do site hyperopt.SparkTrials foram removidas:

    • SparkTrials.successful_trials_count
    • SparkTrials.failed_trials_count
    • SparkTrials.cancelled_trials_count
    • SparkTrials.total_trials_count

    Eles são substituídos pelas seguintes funções:

    • SparkTrials.count_successful_trials()
    • SparkTrials.count_failed_trials()
    • SparkTrials.count_cancelled_trials()
    • SparkTrials.count_total_trials()

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 6.0 ML difere do Databricks Runtime 6.0 da seguinte forma:

biblioteca

As seções a seguir listam as bibliotecas incluídas em Databricks Runtime 6.0 ML que diferem daquelas incluídas em Databricks Runtime 6.0.

Biblioteca de primeira linha

Databricks Runtime 6.0 ML inclui as seguintes bibliotecas de primeira linha:

Python biblioteca

Databricks Runtime 6.0 ML usa Conda para o gerenciamento de pacotes Python e inclui muitos pacotes populares ML. A seção a seguir descreve o ambiente Conda para o Databricks Runtime 6.0 ML.

Python 3 em clustering de CPU

YAML
name: databricks-ml
channels:
- pytorch
- defaults
dependencies:
- _libgcc_mutex=0.1=main
- _py-xgboost-mutex=2.0=cpu_0
- _tflow_select=2.3.0=mkl
- absl-py=0.7.1=py37_0
- asn1crypto=0.24.0=py37_0
- astor=0.8.0=py37_0
- backcall=0.1.0=py37_0
- backports=1.0=py_2
- bcrypt=3.1.6=py37h7b6447c_0
- blas=1.0=mkl
- boto=2.49.0=py37_0
- boto3=1.9.162=py_0
- botocore=1.12.163=py_0
- c-ares=1.15.0=h7b6447c_1001
- ca-certificates=2019.1.23=0
- certifi=2019.3.9=py37_0
- cffi=1.12.2=py37h2e261b9_1
- chardet=3.0.4=py37_1003
- click=7.0=py37_0
- cloudpickle=0.8.0=py37_0
- colorama=0.4.1=py37_0
- configparser=3.7.4=py37_0
- cryptography=2.6.1=py37h1ba5d50_0
- cycler=0.10.0=py37_0
- cython=0.29.6=py37he6710b0_0
- decorator=4.4.0=py37_1
- docutils=0.14=py37_0
- entrypoints=0.3=py37_0
- et_xmlfile=1.0.1=py37_0
- flask=1.0.2=py37_1
- freetype=2.9.1=h8a8886c_1
- future=0.17.1=py37_0
- gast=0.2.2=py37_0
- gitdb2=2.0.5=py37_0
- gitpython=2.1.11=py37_0
- grpcio=1.16.1=py37hf8bcb03_1
- gunicorn=19.9.0=py37_0
- h5py=2.9.0=py37h7918eee_0
- hdf5=1.10.4=hb1b8bf9_0
- html5lib=1.0.1=py_0
- icu=58.2=h9c2bf20_1
- idna=2.8=py37_0
- intel-openmp=2019.3=199
- ipython=7.4.0=py37h39e3cac_0
- ipython_genutils=0.2.0=py37_0
- itsdangerous=1.1.0=py37_0
- jdcal=1.4=py37_0
- jedi=0.13.3=py37_0
- jinja2=2.10=py37_0
- jmespath=0.9.4=py_0
- jpeg=9b=h024ee3a_2
- keras=2.2.4=0
- keras-applications=1.0.8=py_0
- keras-base=2.2.4=py37_0
- keras-preprocessing=1.1.0=py_1
- kiwisolver=1.0.1=py37hf484d3e_0
- krb5=1.16.1=h173b8e3_7
- libedit=3.1.20181209=hc058e9b_0
- libffi=3.2.1=hd88cf55_4
- libgcc-ng=8.2.0=hdf63c60_1
- libgfortran-ng=7.3.0=hdf63c60_0
- libpng=1.6.36=hbc83047_0
- libpq=11.2=h20c2e04_0
- libprotobuf=3.8.0=hd408876_0
- libsodium=1.0.16=h1bed415_0
- libstdcxx-ng=8.2.0=hdf63c60_1
- libtiff=4.0.10=h2733197_2
- libxgboost=0.90=he6710b0_0
- libxml2=2.9.9=hea5a465_1
- libxslt=1.1.33=h7d1a2b0_0
- llvmlite=0.28.0=py37hd408876_0
- lxml=4.3.2=py37hefd8a0e_0
- mako=1.0.10=py_0
- markdown=3.1.1=py37_0
- markupsafe=1.1.1=py37h7b6447c_0
- mkl=2019.3=199
- mkl_fft=1.0.10=py37ha843d7b_0
- mkl_random=1.0.2=py37hd81dba3_0
- mock=3.0.5=py37_0
- ncurses=6.1=he6710b0_1
- networkx=2.2=py37_1
- ninja=1.9.0=py37hfd86e86_0
- nose=1.3.7=py37_2
- numba=0.43.1=py37h962f231_0
- numpy=1.16.2=py37h7e9f1db_0
- numpy-base=1.16.2=py37hde5b4d6_0
- olefile=0.46=py37_0
- openpyxl=2.6.1=py37_1
- openssl=1.1.1b=h7b6447c_1
- pandas=0.24.2=py37he6710b0_0
- paramiko=2.4.2=py37_0
- parso=0.3.4=py37_0
- pathlib2=2.3.3=py37_0
- patsy=0.5.1=py37_0
- pexpect=4.6.0=py37_0
- pickleshare=0.7.5=py37_0
- pillow=5.4.1=py37h34e0f95_0
- pip=19.0.3=py37_0
- ply=3.11=py37_0
- prompt_toolkit=2.0.9=py37_0
- protobuf=3.8.0=py37he6710b0_0
- psutil=5.6.1=py37h7b6447c_0
- psycopg2=2.7.6.1=py37h1ba5d50_0
- ptyprocess=0.6.0=py37_0
- py-xgboost=0.90=py37he6710b0_0
- py-xgboost-cpu=0.90=py37_0
- pyasn1=0.4.6=py_0
- pycparser=2.19=py37_0
- pygments=2.3.1=py37_0
- pymongo=3.8.0=py37he6710b0_1
- pynacl=1.3.0=py37h7b6447c_0
- pyopenssl=19.0.0=py37_0
- pyparsing=2.3.1=py37_0
- pysocks=1.6.8=py37_0
- python=3.7.3=h0371630_0
- python-dateutil=2.8.0=py37_0
- python-editor=1.0.4=py_0
- pytorch-cpu=1.1.0=py3.7_cpu_0
- pytz=2018.9=py37_0
- pyyaml=5.1=py37h7b6447c_0
- readline=7.0=h7b6447c_5
- requests=2.21.0=py37_0
- s3transfer=0.2.1=py37_0
- scikit-learn=0.20.3=py37hd81dba3_0
- scipy=1.2.1=py37h7c811a0_0
- setuptools=40.8.0=py37_0
- simplejson=3.16.0=py37h14c3975_0
- singledispatch=3.4.0.3=py37_0
- six=1.12.0=py37_0
- smmap2=2.0.5=py37_0
- sqlite=3.27.2=h7b6447c_0
- sqlparse=0.3.0=py_0
- statsmodels=0.9.0=py37h035aef0_0
- tabulate=0.8.3=py37_0
- tensorboard=1.13.1=py37hf484d3e_0
- tensorflow=1.13.1=mkl_py37h54b294f_0
- tensorflow-base=1.13.1=mkl_py37h7ce6ba3_0
- tensorflow-estimator=1.13.0=py_0
- tensorflow-mkl=1.13.1=h4fcabd2_0
- termcolor=1.1.0=py37_1
- tk=8.6.8=hbc83047_0
- torchvision-cpu=0.3.0=py37_cuNone_1
- tqdm=4.31.1=py37_1
- traitlets=4.3.2=py37_0
- urllib3=1.24.1=py37_0
- virtualenv=16.0.0=py37_0
- wcwidth=0.1.7=py37_0
- webencodings=0.5.1=py37_1
- websocket-client=0.56.0=py37_0
- werkzeug=0.14.1=py37_0
- wheel=0.33.1=py37_0
- wrapt=1.11.1=py37h7b6447c_0
- xz=5.2.4=h14c3975_4
- yaml=0.1.7=had09818_2
- zlib=1.2.11=h7b6447c_3
- zstd=1.3.7=h0b5b093_0
- pip:
- argparse==1.4.0
- databricks-cli==0.9.0
- docker==4.0.2
- fusepy==2.0.4
- gorilla==0.3.0
- horovod==0.18.1
- hyperopt==0.1.2.db8
- matplotlib==3.0.3
- mleap==0.8.1
- mlflow==1.2.0
- nose-exclude==0.5.0
- pyarrow==0.13.0
- querystring-parser==1.2.4
- seaborn==0.9.0
- tensorboardx==1.8
prefix: /databricks/conda/envs/databricks-ml

Spark pacote contendo os módulos Python

Spark pacote

Módulo Python

Versão

graphframes

graphframes

0.7.0-db1-spark2.4

aprendizagem profunda

cintilante

1.5.0-db5-spark2.4

tensorframes

tensorframes

0.7.0-s_2.11

R biblioteca

A biblioteca R é idêntica à biblioteca R em Databricks Runtime 6.0.

Java e biblioteca ( 2.11 clustering) Scala Scala

Além de Java e Scala biblioteca em Databricks Runtime 6.0, Databricks Runtime 6.0 ML contém os seguintes JARs:

ID do grupo

ID do artefato

Versão

com.databricks

aprendizagem profunda

1.5.0-db5-spark2.4

com.typesafe.akka

também conhecido como actor_2.11

2.3.11

ml.combust.mleap

mleap-databricks-runtime_2.11

0.14.0

ml.dmlc

xgboost4j

0,90

ml.dmlc

xgboost4j-Spark

0,90

org.graphframes

quadros de gráfico_2.11

0.7.0-db1-spark2.4

org.mlflow

cliente mlflow

1.2.0

org.tensorflow

libtensorflow

1.13.1

org.tensorflow

libtensorflow_jni

1.13.1

org.tensorflow

conector de fluxo tensor de faísca_2.11

1.13.1

org.tensorflow

TensorFlow

1.13.1

org.tensorframes

tensorframes

0.7.0-s_2.11