Databricks Runtime 11,2 para aprendizado de máquina (EoS)
O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.
O Databricks Runtime 11.2 for Machine Learning oferece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 11.2 (EoS). Databricks Runtime ML Contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch, e XGBoost. Databricks Runtime ML inclui AutoMLuma ferramenta para treinar automaticamente o pipeline de aprendizado de máquina. O Databricks Runtime ML também oferece suporte ao treinamento de aprendizagem profunda distribuída usando o Horovod.
Para obter mais informações, incluindo instruções para criar um cluster Databricks Runtime ML , consulte AI e aprendizado de máquina em Databricks.
Estas notas sobre a versão podem incluir referências a recursos que não estão disponíveis no Google Cloud a partir desta versão.
Novos recursos e melhorias
O Databricks Runtime 11.2 ML foi desenvolvido com base no Databricks Runtime 11.2. Para obter informações sobre as novidades do Databricks Runtime 11.2, incluindo Apache Spark MLlib e SparkR, consulte as notas sobre a versão Databricks Runtime 11.2 (EoS).
Aprimoramentos do AutoML
AutoML agora tem melhor suporte para conjuntos de dados desequilibrados para problemas de classificação. Para obter detalhes, consulte Suporte dataset desequilibrado para problemas de classificação.
Aprimoramentos no Databricks recurso Store
Os seguintes aprimoramentos foram feitos no Databricks recurso Store.
- Toda a documentação e a saída do cliente do recurso store agora se referem à versão do cliente (por exemplo, 0.6.1) em vez das versões do Databricks Runtime ML (como a 11.2).
Ambiente do sistema
O ambiente do sistema no Databricks Runtime 11.2 ML difere do Databricks Runtime 11.2 da seguinte forma:
- DBUtils : Databricks Runtime ML não inclui utilidades de biblioteca (dbutils.biblioteca) (legado). Em vez disso, use
%pipcomando. NotebookConsulte -scoped Pythonbiblioteca. - Para o clustering de GPU, o site Databricks Runtime ML inclui a seguinte biblioteca de GPUs NVIDIA:
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
biblioteca
As seções a seguir listam as bibliotecas incluídas em Databricks Runtime 11.2 ML que diferem daquelas incluídas em Databricks Runtime 11.2.
Nesta secção:
- Biblioteca de primeira linha
- Bibliotecas Python
- R biblioteca
- Java e Scala biblioteca (Scala 2.12 clustering)
Biblioteca de primeira linha
Databricks Runtime 11.2 O site ML inclui as seguintes bibliotecas de primeira linha:
- GraphFrames
- Horovod e HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- scikit-learn
Python biblioteca
Databricks Runtime 11.2 O ML usa o Virtualenv para o gerenciamento do pacote Python e inclui muitos pacotes populares do ML.
Além do pacote especificado nas seções a seguir, Databricks Runtime 11.2 ML também inclui o seguinte pacote:
- Hyperopt 0.2.7.db1
- sparkdl 2.2.0_db6
- recurso 0.6.0
- automl 1.12.3
Python biblioteca sobre clustering de CPU
Para reproduzir o ambiente Databricks Runtime ML Python em seu ambiente virtual local Python, download o arquivo requirements-11.2.txt e execute pip install -r requirements-11.2.txt. Esse comando instala todo o código aberto biblioteca que o Databricks Runtime ML usa, mas não instala o Databricks biblioteca desenvolvido, como databricks-automl, databricks-feature-store ou o fork Databricks do hyperopt.
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
abl-py | 1.0.0 | Antergos Linux | 2015.10 (versão ISO) | argônio-2-cffi | 20.1.0 |
pastor | 0.8.1 | atunparse | 1.6.3 | gerador assíncrono | 1,10 |
atrai | 21.2.0 | núcleo do azure | 1.22.1 | azure-cosmos | 4.2.0 |
chamada de volta | 0.2.0 | backports.pontos de entrada selecionáveis | 1.1.1 | bcriptar | 3.2.2 |
preto | 22,3,0 | cândida | 4.0.0 | blis | 0.7.8 |
boto3 | 1.21,18 | botocore | 1,24,18 | ferramentas de cache | 5.2.0 |
catálogo | 2.0.8 | certifi | 2021.10.8 | caffi | 1,14.6 |
chardet | 4.0.0 | normalizador de conjuntos de caracteres | 2.0.4 | clique | 8.0.3 |
salmoura | 2.0.0 | cmdstanpy | 0,9,68 | analisador de configuração | 5.2.0 |
data de conversão | 2.4.0 | criptografia | 3.4.8 | ciclador | 0.10.0 |
cimem | 2.0.6 | Cython | 0,29,24 | databricks-automl-runtime | 0.2.10 |
Databricks-CLI | 0,17.0 | dbl-tempo | 0.1.12 | dbus-Python | 1.2.16 |
depurar | 1.4.1 | decorador | 5.1.0 | xml desfundido | 0.7.1 |
endro | 0.3.4 | cache em disco | 5.4.0 | distlib | 0.3.5 |
informação da distribuição | 0,23 ubuntu 1 | pontos de entrada | 0,3 | efema | 4.1.3 |
visão geral das facetas | 1.0.0 | texto rápido | 0.9.2 | bloqueio de arquivo | 3.3.1 |
Frasco | 1.1.2 | tampões planos | 1,12 | fsspec | 2021,8.1 |
futuro | 0,18.2 | ímpeto | 0.4.0 | gitdb | 4.0.9 |
GitPython | 3.1.27 | autenticação do Google | 2.6.0 | google-auth-oauthlib | 0.4.6 |
google-pasta | 0.2.0 | grócio | 1,44,0 | unicórnio | 20.1.0 |
gviz-api | 1.10.0 | h5py | 3.3.0 | conversor híjri | 2.2.4 |
férias | 0,14.2 | Horovod | 0,25,0 | html/min | 0.1.12 |
abraçando o face-hub | 0.8.1 | Índia | 3.2 | Hash de imagem | 4.2.1 |
aprendizado desequilibrado | 0.8.1 | importlib-metadados | 4.8.1 | ipykernel | 6.12.1 |
ipython | 7,32,0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
isodato | 0.6.1 | é perigoso | 2.0.1 | jedi | 0,18.0 |
Jinja 2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
joblibspark | 0.5.0 | esquema json | 3.2.0 | cliente jupyter | 6.1.12 |
núcleo jupyter | 4.8.1 | pigmentos jupyterlab | 0.1.2 | widgets jupyterlab | 1.0.0 |
Keras | 2.9.0 | Keras-Pré-processamento | 1.1.2 | solucionador de kiwi | 1.3.1 |
calendário lunar coreano | 0.2.1 | códigos de idioma | 3.3.0 | libclang | 14,0,6 |
LightGBM | 3.3.2 | llvmlite | 0,37,0 | Calendário lunar | 0,0.9 |
Mako | 1.2.0 | Markdown | 3.3.6 | MarkupSafe | 2.0.1 |
Matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 | faltando não | 0.5.1 |
confundir | 0,8.4 | pular | 0,20,0 | malflow-skinny | 1,28.0 |
multimétodo | 1,8 | murmurar | 1,0.8 | extensões mypy | 0.4.3 |
cliente nb | 0.5.3 | nbconvert | 6.1.0 | formato nb | 5.1.3 |
nest-assíncio | 1.5.1 | redes | 2.6.3 | nltk | 3.6.5 |
notebook | 6.4.5 | numba | 0,54,1 | entorpecido | 1.20.3 |
oauthlib | 3.2.0 | opt-einsum | 3.3.0 | fazendo às malas | 21,0 |
Pandas | 1.3.4 | perfil de pandas | 3.1.0 | filtros pandóicos | 1.4.3 |
paramiko | 2.9.2 | parso | 0.8.2 | especificação do caminho | 0.9.0 |
patia | 0.6.2 | bode expiatório | 0.5.2 | petastorme | 0,11.4 |
esperar | 4.8.0 | phik | 0.12.2 | picles | 0.7.5 |
Travesseiro | 8.4.0 | pip | 21.2.4 | platformdirs | 2.5.2 |
Plotly | 5.9.0 | pmdarima | 1.8.5 | pressionado | 3.0.7 |
cliente prometheus | 0.11.0 | kit de ferramentas de aviso | 3,0.20 | Prophet | 1.0.1 |
protobuf | 3.19.4 | pistila | 5.8.0 | psycopg2 | 2.9.3 |
processo pty | 0.7.0 | flecha | 7.0.0 | pyasn1 | 0.4.8 |
módulos pyasn1 | 0.2.8 | pybind11 | 2.10.0 | pycparser | 2,20 |
pidântico | 1.9.2 | Pigmentos | 2.10.0 | Objeto PYG | 3,36,0 |
PyJWT | 2.4.0 | Pymeeus | 0.5.11 | PyNaCL | 1.5.0 |
pyodbc | 4,0.31 | análise de pipa | 3.0.4 | persistente | 0,18.0 |
pystan | 2.19.1.1 | Python-apt | 2.0.0+ubuntu0.20.4.7 | Python-dateutil | 2.8.2 |
Python-editor | 1.0.4 | pytz | 2021,3 | PY Wavelets | 1.1.1 |
PyYAML | 6,0 | pizma | 22.2.1 | regex | 2021,8.3 |
pedidos | 2.26.0 | solicitações-oauthlib | 1.3.1 | solicitações - soquete unix | 0.2.0 |
rsa | 4,9 | transferência s3 | 0.5.2 | scikit-learn | 0,24,2 |
pegajoso | 1.7.1 | marítimo | 0.11.2 | Enviar 2 lixeiras | 1.8.0 |
ferramentas de configuração | 58,0,4 | ferramentas de configuração - git | 1.2 | forma | 0,41,0 |
simplejson | 3.17.6 | seis | 1,16.0 | fatiador | 0.0.7 |
aberto de forma inteligente | 5.2.1 | tapa | 5.0.0 | espaçoso | 3.4.0 |
legado espacial | 3.0.9 | registradores espaciais | 1.0.3 | distribuidor de fluxo tensor de faísca | 1.0.0 |
sqlparse | 0.4.2 | sensatamente | 2.4.4 | ID de importação ssh | 5,10 |
modelos de estatísticas | 0.12.2 | tabular | 0,8.9 | emaranhado em unicode | 0.1.0 |
tenacidade | 8.0.1 | TensorBoard | 2.9.1 | TensorBoard-servidor de dados | 0.6.1 |
TensorBoard-perfil do plugin | 2.8.0 | TensorBoard-plugin-wit | 1.8.1 | tensorflow-cpu | 2.9.1 |
estimador de fluxo tensor | 2.9.0 | tensorflow-io-GCS-filesystem | 0.26.0 | cor do termo | 1.1.0 |
terminado | 0.9.4 | caminho de teste | 0.5.0 | uma coisa | 8.1.0 |
threadpool ctl | 2.2.0 | tokenizar-rt | 4.2.1 | tokenizadores | 0.12.1 |
tomli | 2.0.1 | lanterna | 1.11.0+cpu | visão de tocha | 0.12.0+cpu |
tornado | 6.1 | tqdm | 4,62,3 | almôndegas | 5.1.0 |
transformadores | 4.20.1 | digitar | 0.4.2 | extensões de digitação | 3.10.0.2 |
junhão | 4.0.2 | atualizações autônomas | 0,1 | urllib3 | 1.26.7 |
ambiente virtual | 20,8.0 | visões | 0.7.4 | wasabi | 0.10.1 |
largura do wc | 0.2.5 | codificações da web | 0.5.1 | cliente websocket | 1.3.1 |
Utilitário | 2.0.2 | Python wheel | 0,37,0 | extensão widgetsnb | 3.6.0 |
embrulhar | 1.12.1 | xgboost | 1.5.2 | zíper | 3.6.0 |
Python biblioteca sobre clustering de GPU
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
abl-py | 1.0.0 | Antergos Linux | 2015.10 (versão ISO) | argônio-2-cffi | 20.1.0 |
pastor | 0.8.1 | atunparse | 1.6.3 | gerador assíncrono | 1,10 |
atrai | 21.2.0 | núcleo do azure | 1.22.1 | azure-cosmos | 4.2.0 |
chamada de volta | 0.2.0 | backports.pontos de entrada selecionáveis | 1.1.1 | bcriptar | 3.2.2 |
preto | 22,3,0 | cândida | 4.0.0 | blis | 0.7.8 |
boto3 | 1.21,18 | botocore | 1,24,18 | ferramentas de cache | 5.2.0 |
catálogo | 2.0.8 | certifi | 2021.10.8 | caffi | 1,14.6 |
chardet | 4.0.0 | normalizador de conjuntos de caracteres | 2.0.4 | clique | 8.0.3 |
salmoura | 2.0.0 | cmdstanpy | 0,9,68 | analisador de configuração | 5.2.0 |
data de conversão | 2.4.0 | criptografia | 3.4.8 | ciclador | 0.10.0 |
cimem | 2.0.6 | Cython | 0,29,24 | databricks-automl-runtime | 0.2.10 |
Databricks-CLI | 0,17.0 | dbl-tempo | 0.1.12 | dbus-Python | 1.2.16 |
depurar | 1.4.1 | decorador | 5.1.0 | xml desfundido | 0.7.1 |
endro | 0.3.4 | cache em disco | 5.4.0 | distlib | 0.3.5 |
informação da distribuição | 0,23 ubuntu 1 | pontos de entrada | 0,3 | efema | 4.1.3 |
visão geral das facetas | 1.0.0 | texto rápido | 0.9.2 | bloqueio de arquivo | 3.3.1 |
Frasco | 1.1.2 | tampões planos | 1,12 | fsspec | 2021,8.1 |
futuro | 0,18.2 | ímpeto | 0.4.0 | gitdb | 4.0.9 |
GitPython | 3.1.27 | autenticação do Google | 2.6.0 | google-auth-oauthlib | 0.4.6 |
google-pasta | 0.2.0 | grócio | 1,44,0 | unicórnio | 20.1.0 |
gviz-api | 1.10.0 | h5py | 3.3.0 | conversor híjri | 2.2.4 |
férias | 0,14.2 | Horovod | 0,25,0 | html/min | 0.1.12 |
abraçando o face-hub | 0.8.1 | Índia | 3.2 | Hash de imagem | 4.2.1 |
aprendizado desequilibrado | 0.8.1 | importlib-metadados | 4.8.1 | ipykernel | 6.12.1 |
ipython | 7,32,0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
isodato | 0.6.1 | é perigoso | 2.0.1 | jedi | 0,18.0 |
Jinja 2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
joblibspark | 0.5.0 | esquema json | 3.2.0 | cliente jupyter | 6.1.12 |
núcleo jupyter | 4.8.1 | pigmentos jupyterlab | 0.1.2 | widgets jupyterlab | 1.0.0 |
Keras | 2.9.0 | Keras-Pré-processamento | 1.1.2 | solucionador de kiwi | 1.3.1 |
calendário lunar coreano | 0.2.1 | códigos de idioma | 3.3.0 | libclang | 14,0,6 |
LightGBM | 3.3.2 | llvmlite | 0,37,0 | Calendário lunar | 0,0.9 |
Mako | 1.2.0 | Markdown | 3.3.6 | MarkupSafe | 2.0.1 |
Matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 | faltando não | 0.5.1 |
confundir | 0,8.4 | pular | 0,20,0 | malflow-skinny | 1,28.0 |
multimétodo | 1,8 | murmurar | 1,0.8 | extensões mypy | 0.4.3 |
cliente nb | 0.5.3 | nbconvert | 6.1.0 | formato nb | 5.1.3 |
nest-assíncio | 1.5.1 | redes | 2.6.3 | nltk | 3.6.5 |
notebook | 6.4.5 | numba | 0,54,1 | entorpecido | 1.20.3 |
oauthlib | 3.2.0 | opt-einsum | 3.3.0 | fazendo às malas | 21,0 |
Pandas | 1.3.4 | perfil de pandas | 3.1.0 | filtros pandóicos | 1.4.3 |
paramiko | 2.9.2 | parso | 0.8.2 | especificação do caminho | 0.9.0 |
patia | 0.6.2 | bode expiatório | 0.5.2 | petastorme | 0,11.4 |
esperar | 4.8.0 | phik | 0.12.2 | picles | 0.7.5 |
Travesseiro | 8.4.0 | pip | 21.2.4 | platformdirs | 2.5.2 |
Plotly | 5.9.0 | pmdarima | 1.8.5 | pressionado | 3.0.7 |
kit de ferramentas de aviso | 3,0.20 | Prophet | 1.0.1 | protobuf | 3.19.4 |
pistila | 5.8.0 | psycopg2 | 2.9.3 | processo pty | 0.7.0 |
flecha | 7.0.0 | pyasn1 | 0.4.8 | módulos pyasn1 | 0.2.8 |
pybind11 | 2.10.0 | pycparser | 2,20 | pidântico | 1.9.2 |
Pigmentos | 2.10.0 | Objeto PYG | 3,36,0 | PyJWT | 2.4.0 |
Pymeeus | 0.5.11 | PyNaCL | 1.5.0 | pyodbc | 4,0.31 |
análise de pipa | 3.0.4 | persistente | 0,18.0 | pystan | 2.19.1.1 |
Python-apt | 2.0.0+ubuntu0.20.4.7 | Python-dateutil | 2.8.2 | Python-editor | 1.0.4 |
pytz | 2021,3 | PY Wavelets | 1.1.1 | PyYAML | 6,0 |
pizma | 22.2.1 | regex | 2021,8.3 | pedidos | 2.26.0 |
solicitações-oauthlib | 1.3.1 | solicitações - soquete unix | 0.2.0 | rsa | 4,9 |
transferência s3 | 0.5.2 | scikit-learn | 0,24,2 | pegajoso | 1.7.1 |
marítimo | 0.11.2 | Enviar 2 lixeiras | 1.8.0 | ferramentas de configuração | 58,0,4 |
ferramentas de configuração - git | 1.2 | forma | 0,41,0 | simplejson | 3.17.6 |
seis | 1,16.0 | fatiador | 0.0.7 | aberto de forma inteligente | 5.2.1 |
tapa | 5.0.0 | espaçoso | 3.4.0 | legado espacial | 3.0.9 |
registradores espaciais | 1.0.3 | distribuidor de fluxo tensor de faísca | 1.0.0 | sqlparse | 0.4.2 |
sensatamente | 2.4.4 | ID de importação ssh | 5,10 | modelos de estatísticas | 0.12.2 |
tabular | 0,8.9 | emaranhado em unicode | 0.1.0 | tenacidade | 8.0.1 |
TensorBoard | 2.9.1 | TensorBoard-servidor de dados | 0.6.1 | TensorBoard-perfil do plugin | 2.8.0 |
TensorBoard-plugin-wit | 1.8.1 | TensorFlow | 2.9.1 | estimador de fluxo tensor | 2.9.0 |
tensorflow-io-GCS-filesystem | 0.26.0 | cor do termo | 1.1.0 | terminado | 0.9.4 |
caminho de teste | 0.5.0 | uma coisa | 8.1.0 | threadpool ctl | 2.2.0 |
tokenizar-rt | 4.2.1 | tokenizadores | 0.12.1 | tomli | 2.0.1 |
lanterna | 1,11,0+cu113 | visão de tocha | 0,12,0+cu113 | tornado | 6.1 |
tqdm | 4,62,3 | almôndegas | 5.1.0 | transformadores | 4.20.1 |
digitar | 0.4.2 | extensões de digitação | 3.10.0.2 | junhão | 4.0.2 |
atualizações autônomas | 0,1 | urllib3 | 1.26.7 | ambiente virtual | 20,8.0 |
visões | 0.7.4 | wasabi | 0.10.1 | largura do wc | 0.2.5 |
codificações da web | 0.5.1 | cliente websocket | 1.3.1 | Utilitário | 2.0.2 |
Python wheel | 0,37,0 | extensão widgetsnb | 3.6.0 | embrulhar | 1.12.1 |
xgboost | 1.5.2 | zíper | 3.6.0 |
R biblioteca
A biblioteca R é idêntica à biblioteca R em Databricks Runtime 11.2.
Java e biblioteca ( 2.12 clustering) Scala Scala
Além de Java e Scala biblioteca em Databricks Runtime 11.2, Databricks Runtime 11.2 ML contém os seguintes JARs:
Agrupamento de CPU
ID do grupo | ID do artefato | Versão |
|---|---|---|
com.typesafe.akka | também conhecido como actor_2.12 | 2.5.23 |
ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
ml.dmlc | xgboost4j_2,12 | 1.5.2 |
org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3,2 |
org.mlflow | cliente mlflow | 1,28.0 |
org.Scala-lang.modules | Scala-java8-compat_2.12 | 0,8.0 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1,15.0 |
Agrupamento de GPU
ID do grupo | ID do artefato | Versão |
|---|---|---|
com.typesafe.akka | também conhecido como actor_2.12 | 2.5.23 |
ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
ml.dmlc | xgboost4j-gpu_2,12 | 1.5.2 |
ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.5.2 |
org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3,2 |
org.mlflow | cliente mlflow | 1,28.0 |
org.Scala-lang.modules | Scala-java8-compat_2.12 | 0,8.0 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1,15.0 |