Databricks Runtime 5.0 (EoS) ML
O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.
A Databricks lançou esta versão em novembro de 2018.
O Databricks Runtime 5.0 ML oferece um ambiente pronto para uso para aprendizado de máquina e ciência de dados. Ele contém muitas bibliotecas populares, incluindo TensorFlow, Keras e XGBoost. Ele também oferece suporte ao treinamento distribuído do TensorFlow usando o Horovod.
Para obter mais informações, incluindo instruções para criar um cluster Databricks Runtime ML , consulte AI e aprendizado de máquina em Databricks.
Novo recurso
O Databricks Runtime 5.0 ML foi desenvolvido com base no Databricks Runtime 5.0. Para obter informações sobre as novidades do Databricks Runtime 5.0, consulte as notas sobre a versão Databricks Runtime 5.0 (EoS). Além do novo recurso em Databricks Runtime 5.0, Databricks Runtime 5.0 ML inclui o seguinte novo recurso:
- HorovodRunner para executar o trabalho de treinamento profundo de aprendizagem distribuída usando Horovod.
- Conda suporte para gerenciamento de pacotes.
- Integração mLeap.
- Integração do GraphFrames.
As versões do Databricks Runtime ML recebem todas as atualizações de manutenção da versão básica do Databricks Runtime. Para obter uma lista de todas as atualizações de manutenção, consulte Atualizações de manutenção para o Databricks Runtime (arquivado).
Ambiente do sistema
A diferença no ambiente do sistema no Databricks Runtime 5.0 e no Databricks Runtime 5.0 ML é a seguinte:
- Python O senhor pode usar os seguintes métodos: 2.7.15 para Python 2 clustering e 3.6.5 para Python 3 clustering.
- Para o clustering de GPU, a seguinte biblioteca de GPUs NVIDIA:
- Motorista Tesla 396.44
- CUDA 9.2
- CUDNN 7.2.1
biblioteca
As diferenças entre a biblioteca incluída em Databricks Runtime 5.0 e as incluídas em Databricks Runtime 5.0 ML estão listadas nesta seção.
Python biblioteca
Databricks Runtime 5.0 ML usa Conda para gerenciamento de pacotes Python. A seguir, a lista completa do pacote Python e as versões instaladas usando o gerenciador de pacotes Conda.
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
abl-py | 0.6.1 | argparse | 1.4.0 | criptomoeda asn1 | 0,24,0 |
pastor | 0.7.1 | backports-abc | 0.5 | backports.functools-lru-cache | 1.5 |
backports.weakref | 1.0. postagem 1 | bcriptar | 3.1.4 | cândida | 2.1.3 |
Boto | 2,48,0 | boto3 | 1,7,62 | botocore | 1,10,62 |
certifi | 2018,04.16 | caffi | 1,11.5 | chardet | 3.0.4 |
salmoura | 0.5.3 | colorama | 0.3.9 | analisador de configuração | 3.5.0 |
criptografia | 2.2.2 | ciclador | 0.10.0 | Cython | 0,28,2 |
decorador | 4.3.0 | docutils | 0,14 | pontos de entrada | 0.2.3 |
enum34 | 1.1.6 | arquivo et-xml | 1.0.1 | funçõs | 1.0.2 |
functools32 | 3.2.3-2 | fusepy | 2.0.4 | futuros | 3.2.0 |
ímpeto | 0.2.0 | grócio | 1.12.1 | h5py | 2.8.0 |
Horovod | 0,15.0 | html5lib | 1.0.1 | Índia | 2.6 |
endereço IP | 1,0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
jdcal | 1.4 | Jinja 2 | 2,10 | jmespath | 0.9.3 |
esquema json | 2.6.0 | cliente jupyter | 5.2.3 | núcleo jupyter | 4.4.0 |
Keras | 2.2.4 | Keras-Applications | 1.0.6 | Keras-Pré-processamento | 1.0.5 |
solucionador de kiwi | 1.0.1 | cache de linha 2 | 1.0.0 | llvmlite | 0.23,1 |
lxml | 4.2.1 | Markdown | 3.0.1 | MarkupSafe | 1,0 |
Matplotlib | 2.2.2 | confundir | 0,8.3 | pular | 0.8.1 |
zombam | 2.0.0 | pacote de mensagens | 0.5.6 | nbconvert | 5.3.1 |
formato nb | 4.4.0 | nariz | 1.3.7 | nariz-exclui | 0.5.0 |
numba | 0,38,0+0,g2a2b772fc.dirty | entorpecido | 1,14.3 | Arquivo de óleo | 0,45,1 |
openpyxl | 2.5.3 | Pandas | 0,23,0 | filtros pandóicos | 1.4.2 |
paramiko | 2.4.1 | pathlib2 | 2.3.2 | bode expiatório | 0.5.0 |
pbr | 5.1.0 | esperar | 4.5.0 | picles | 0.7.4 |
Travesseiro | 5.1.0 | pip | 10.0.1 | dobra | 3,11 |
kit de ferramentas de aviso | 1,0.15 | protobuf | 3.6.1 | psycopg2 | 2.7.5 |
processo pty | 0.5.2 | flecha | 0,8.0 | pyasn1 | 0.4.4 |
pycparser | 2,18 | Pigmentos | 2.2.0 | PyNaCL | 1.3.0 |
PyOpenSSL | 18,0.0 | análise de pipa | 2.2.0 | Meias PY | 1.6.8 |
Python | 2.7.15 | Python-dateutil | 2.7.3 | pytz | 2018,4 |
PyYAML | 3,12 | pizma | 17.0.0 | pedidos | 2.18.4 |
transferência s3 | 0.1.13 | mais escandalosa | 1.7 | scikit-learn | 0.19.1 |
pegajoso | 1.1.0 | marítimo | 0.8.1 | ferramentas de configuração | 39,10 |
genérico simples | 0.8.1 | despacho único | 3.4.0.3 | seis | 1.11.0 |
modelos de estatísticas | 0.9.0 | subprocesso32 | 3.5.3 | TensorBoard | 1.10.0 |
TensorFlow | 1.10.0 | cor do termo | 1.1.0 | caminho de teste | 0.3.1 |
tornado | 5.0.2 | rastreio 2 | 1.4.0 | almôndegas | 4.3.2 |
teste unitário 2 | 1.1.0 | urllib3 | 1,22 | ambiente virtual | 16,0.0 |
largura do wc | 0.1.7 | codificações da web | 0.5.1 | Utilitário | 0,14.1 |
Python wheel | 0,31,1 | embrulhar | 1.10.11 | wsgiref | 0.1.2 |
Além disso, os seguintes pacotes Spark incluem módulos Python:
Spark pacote | Módulo Python | Versão |
|---|---|---|
tensorframes | tensorframes | 0.5.0-s_2.11 |
graphframes | graphframes | 0.6.0-db3-spark2.4 |
aprendizagem profunda | cintilante | 1.3.0-db2-spark2.4 |
R biblioteca
A biblioteca R é idêntica à biblioteca R em Databricks Runtime 5.0.
Java e biblioteca ( 2.11 clustering) Scala Scala
Além de Java e Scala biblioteca em Databricks Runtime 5.0, Databricks Runtime 5.0 ML contém os seguintes JARs:
ID do grupo | ID do artefato | Versão |
|---|---|---|
com.databricks | aprendizagem profunda | 1.3.0-db2-spark2.4 |
org.tensorframes | tensorframes | 0.5.0-s_2.11 |
org.graphframes | quadros de gráfico_2.11 | 0.6.0-db3-spark2.4 |
org.tensorflow | libtensorflow | 1.10.0 |
org.tensorflow | libtensorflow_jni | 1.10.0 |
org.tensorflow | conector de fluxo tensor de faísca_2.11 | 1.10.0-spark2,4-001 |
org.tensorflow | TensorFlow | 1.10.0 |
ml.dmlc | xgboost4j | 0,80 |
ml.dmlc | xgboost4j-Spark | 0,80 |
ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0-Snapshot |