Pular para o conteúdo principal

Databricks Runtime 12.0 para aprendizado de máquina (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

O Databricks Runtime 12.0 for Machine Learning oferece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 12.0 (EoS). Databricks Runtime ML Contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch, e XGBoost. Databricks Runtime ML inclui AutoMLuma ferramenta para treinar automaticamente o pipeline de aprendizado de máquina. O Databricks Runtime ML também oferece suporte ao treinamento de aprendizagem profunda distribuída usando o Horovod.

Para obter mais informações, incluindo instruções para criar um cluster Databricks Runtime ML , consulte AI e aprendizado de máquina em Databricks.

nota

Estas notas sobre a versão podem incluir referências a recursos que não estão disponíveis no Google Cloud a partir desta versão.

Novos recursos e melhorias

O Databricks Runtime 12.0 ML foi desenvolvido com base no Databricks Runtime 12.0. Para obter informações sobre as novidades do Databricks Runtime 12.0, incluindo Apache Spark MLlib e SparkR, consulte as notas sobre a versão Databricks Runtime 12.0 (EoS).

Aprimoramentos do AutoML

  • Os modelos de previsão agora podem incluir feriados nacionais.
  • A previsão agora funciona com frequências mensais, trimestrais e anuais.
  • AutoML agora pode usar um conjunto de dados maior para treinamento. AutoML aloca automaticamente mais núcleos de CPU para grandes conjuntos de dados.

Para obter mais informações sobre AutoML, consulte O que é AutoML?

MLflow 2.0

O Databricks Runtime 12.0 ML inclui o MLflow 2.0. MLflow O 2.0 se baseia na sólida plataforma do MLflowe incorpora um amplo feedback dos usuários para simplificar a ciência de dados fluxo de trabalho e oferecer ferramentas inovadoras e de primeira classe para o MLOps. Os recursos e melhorias incluem extensões para MLflow Recipes (anteriormente MLflow pipeline), como AutoML, ajuste de hiperparâmetros e suporte à classificação, bem como integrações modernizadas com o ecossistema ML, uma interface de usuário de acompanhamento MLflow simplificada, um refresh do núcleo APIs nos componentes da plataforma MLflowe muito mais. Para obter mais informações, consulte a documentação doMLflow 2.0 ou confira a postagem no blog.

scikit-learn 1,0

O Databricks Runtime ML 12.0 inclui o site scikit-learn versão 1.0. Visite a documentação do site scikit-learn para saber mais sobre as alterações feitas nesta versão do scikit-learn.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 12.0 ML difere do Databricks Runtime 12.0 da seguinte forma:

O Databricks Runtime 12.0 ML inclui o XGBoost 1.6.2, que não oferece suporte a clustering de GPU com compute capability 5.2 e abaixo.

biblioteca

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 12.0 ML que diferem daquelas incluídas no Databricks Runtime 12.0.

Nesta secção:

Biblioteca de primeira linha

Databricks Runtime 12.0 ML inclui as seguintes bibliotecas de primeira linha:

Python biblioteca

Databricks Runtime 12.0 O ML usa o Virtualenv para o gerenciamento do pacote Python e inclui muitos pacotes populares do ML.

Além do pacote especificado nas seções a seguir, o Databricks Runtime 12.0 ML também inclui o seguinte pacote:

  • Hyperopt 0.2.7.db1
  • sparkdl 2.3.0-db3
  • automl 1.14.1

Para reproduzir o ambiente Databricks Runtime ML Python em seu ambiente virtual local Python, download o arquivo requirements-12.0.txt e execute pip install -r requirements-12.0.txt. Esse comando instala toda a biblioteca de código aberto que o site Databricks Runtime ML usa, mas não instala a biblioteca desenvolvida pelo site Databricks, como databricks-automl, databricks-feature-store ou o fork Databricks de hyperopt.

Python biblioteca sobre clustering de CPU

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

abl-py

1.0.0

argônio-2-cffi

21,3,0

ligações argônio-2-cffi

21.2.0

pastor

0.8.1

asttokens

2.0.5

atunparse

1.6.3

atrai

21,4,0

núcleo do azure

1.26.1

azure-cosmos

4.2.0

chamada de volta

0.2.0

backports.pontos de entrada selecionáveis

1.2.0

bcriptar

3.2.0

linda sopa 4

4.11.1

preto

22,3,0

cândida

4.1.0

blis

0.7.9

boto3

1,21,32

botocore

1,24,32

ferramentas de cache

4.2.2

catálogo

2.0.8

codificadores de categoria

2.5.1. Postagem 0

certifi

2021.10.8

caffi

1,15.0

chardet

4.0.0

normalizador de conjuntos de caracteres

2.0.4

clique

8.0.4

salmoura

2.0.0

cmdstanpy

1,0.8

confecção

0,0.3

analisador de configuração

5.2.0

data de conversão

2.4.0

criptografia

3.4.8

ciclador

0.11.0

cimem

2.0.7

Cython

0,29,28

databricks-automl-runtime

0.2,13

Databricks-CLI

0,17.3

databricks-recurso-store

0,8.0

dbl-tempo

0.1.12

dbus-Python

1.2.16

depurar

1.5.1

decorador

5.1.1

xml desfundido

0.7.1

endro

0.3.4

cache em disco

5.4.0

distlib

0.3.6

pontos de entrada

0,4

efema

4.1.3

execução

0,8.3

visão geral das facetas

1.0.0

esquema fastjson

2.16.2

texto rápido

0.9.2

bloqueio de arquivo

3.6.0

Frasco

1.1.2

tampões planos

22.10.26

ferramentas de fonte

4,25.0

fsspec

2022.2.0

futuro

0,18.2

ímpeto

0.4.0

gitdb

4.0.9

GitPython

3.1.27

autenticação do Google

1,33,0

google-auth-oauthlib

0.4.6

google-pasta

0.2.0

grócio

1,42,0

unicórnio

20.1.0

gviz-api

1.10.0

h5py

3.6.0

conversor híjri

2.2.4

férias

0,16

Horovod

0,25,0

html/min

0.1.12

abraçando o face-hub

0.11.0

Índia

3.3

Hash de imagem

4.3.1

aprendizado desequilibrado

0.8.1

importlib-metadados

4.11.3

ipykernel

6.15.3

ipython

8.5.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

isodato

0.6.1

é perigoso

2.0.1

jedi

0,18.1

Jinja 2

2.11.3

jmespath

0.10.0

joblib

1.1.0

joblibspark

0.5.0

esquema json

4.4.0

cliente jupyter

6.1.12

jupyter_core

4.11.2

pigmentos jupyterlab

0.1.2

widgets jupyterlab

1.0.0

Keras

2.10.0

Keras-Pré-processamento

1.1.2

solucionador de kiwi

1.3.2

calendário lunar coreano

0.3.1

códigos de idioma

3.3.0

libclang

14,0,6

LightGBM

3.3.3

llvmlite

0,38,0

Calendário lunar

0,0.9

Mako

1.2.0

Markdown

3.3.4

MarkupSafe

2.0.1

Matplotlib

3.5.1

matplotlib-inline

0.1.2

faltando não

0.5.1

confundir

0,8.4

pular

0,20,0

malflow-skinny

2.0.1

multimétodo

1,8

murmurar

1.0.9

extensões mypy

0.4.3

cliente nb

0,5.13

nbconvert

6.4.4

formato nb

5.3.0

nest-assíncio

1.5.5

redes

2.7.1

nltk

3.7

notebook

6.4.8

numba

0,55,1

entorpecido

1,21,5

oauthlib

3.2.0

opt-einsum

3.3.0

fazendo às malas

21,3

Pandas

1.4.2

perfil de pandas

3.3.0

filtros pandóicos

1.5.0

paramiko

2.9.2

parso

0,8.3

especificação do caminho

0.9.0

patia

0.6.1

bode expiatório

0.5.2

petastorme

0,11.4

esperar

4.8.0

phik

0.12.2

picles

0.7.5

Travesseiro

9.0.1

pip

21.2.4

platformdirs

2.5.4

Plotly

5.6.0

pmdarima

2.0.1

pressionado

3.0.8

cliente prometheus

0.13.1

kit de ferramentas de aviso

3,0.20

Prophet

1.1.1

protobuf

3.19.4

pistila

5.8.0

psycopg2

2.9.3

processo pty

0.7.0

avaliação pura

0.2.2

flecha

7.0.0

pyasn1

0.4.8

módulos pyasn1

0.2.8

pybind11

2.10.1

pycparser

2,21

pidântico

1.9.2

Pigmentos

2.11.2

Objeto PYG

3,36,0

PyJWT

2.6.0

Pymeeus

0.5.11

PyNaCL

1.5.0

pyodbc

4,0,32

análise de pipa

3.0.4

persistente

0,18.0

Python-dateutil

2.8.2

Python-editor

1.0.4

pytz

2021,3

PY Wavelets

1.3.0

PyYAML

6,0

pizma

22,3,0

regex

2022.3,15

pedidos

2.27.1

solicitações-oauthlib

1.3.1

solicitações - soquete unix

0.2.0

rsa

4.7.2

transferência s3

0.5.0

scikit-learn

1.0.2

pegajoso

1.7.3

marítimo

0.11.2

Enviar 2 lixeiras

1.8.0

ferramentas de configuração

61,2,0

ferramentas de configuração - git

1.2

forma

0,41,0

simplejson

3.17.6

seis

1,16.0

fatiador

0.0.7

aberto de forma inteligente

5.1.0

tapa

5.0.0

peneira

2.3.1

espaçoso

3.4.1

legado espacial

3.0.10

registradores espaciais

1.0.3

distribuidor de fluxo tensor de faísca

1.0.0

sqlparse

0.4.2

sensatamente

2.4.5

ID de importação ssh

5,10

dados de pilha

0.2.0

modelos de estatísticas

0,13.2

tabular

0,8.9

emaranhado em unicode

0.2.0

tenacidade

8.0.1

TensorBoard

2.10.0

TensorBoard-servidor de dados

0.6.1

TensorBoard-perfil do plugin

2.8.0

TensorBoard-plugin-wit

1.8.1

tensorflow-cpu

2.10.0

estimador de fluxo tensor

2.10.0

tensorflow-io-GCS-filesystem

0,28,0

cor do termo

2.1.1

terminado

0.13.1

caminho de teste

0.5.0

uma coisa

8.1.5

threadpool ctl

2.2.0

tokenizar-rt

4.2.1

tokenizadores

0,13.2

tomli

1.2.2

lanterna

1.12.1+cpu

visão de tocha

0,13,1+cpu

tornado

6.1

tqdm

4,64,0

almôndegas

5.1.1

transformadores

4.23.1

digitar

0.4.2

extensões_de digitação

4.1.1

atualizações autônomas

0,1

urllib3

1.26.9

ambiente virtual

20,8.0

visões

0.7.5

wasabi

0.10.1

largura do wc

0.2.5

codificações da web

0.5.1

cliente websocket

0,58,0

Utilitário

2.0.3

Python wheel

0,37,1

extensão widgetsnb

3.6.1

embrulhar

1.12.1

zíper

3.7.0

Python biblioteca sobre clustering de GPU

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

abl-py

1.0.0

argônio-2-cffi

21,3,0

ligações argônio-2-cffi

21.2.0

pastor

0.8.1

asttokens

2.0.5

atunparse

1.6.3

atrai

21,4,0

núcleo do azure

1.26.1

azure-cosmos

4.2.0

chamada de volta

0.2.0

backports.pontos de entrada selecionáveis

1.2.0

bcriptar

3.2.0

linda sopa 4

4.11.1

preto

22,3,0

cândida

4.1.0

blis

0.7.9

boto3

1,21,32

botocore

1,24,32

ferramentas de cache

4.2.2

catálogo

2.0.8

codificadores de categoria

2.5.1. Postagem 0

certifi

2021.10.8

caffi

1,15.0

chardet

4.0.0

normalizador de conjuntos de caracteres

2.0.4

clique

8.0.4

salmoura

2.0.0

cmdstanpy

1,0.8

confecção

0,0.3

analisador de configuração

5.2.0

data de conversão

2.4.0

criptografia

3.4.8

ciclador

0.11.0

cimem

2.0.7

Cython

0,29,28

databricks-automl-runtime

0.2,13

Databricks-CLI

0,17.3

databricks-recurso-store

0,8.0

dbl-tempo

0.1.12

dbus-Python

1.2.16

depurar

1.5.1

decorador

5.1.1

xml desfundido

0.7.1

endro

0.3.4

cache em disco

5.4.0

distlib

0.3.6

pontos de entrada

0,4

efema

4.1.3

execução

0,8.3

visão geral das facetas

1.0.0

esquema fastjson

2.16.2

texto rápido

0.9.2

bloqueio de arquivo

3.6.0

Frasco

1.1.2

tampões planos

22.10.26

ferramentas de fonte

4,25.0

fsspec

2022.2.0

futuro

0,18.2

ímpeto

0.4.0

gitdb

4.0.9

GitPython

3.1.27

autenticação do Google

1,33,0

google-auth-oauthlib

0.4.6

google-pasta

0.2.0

grócio

1,42,0

unicórnio

20.1.0

gviz-api

1.10.0

h5py

3.6.0

conversor híjri

2.2.4

férias

0,16

Horovod

0,25,0

html/min

0.1.12

abraçando o face-hub

0.11.0

Índia

3.3

Hash de imagem

4.3.1

aprendizado desequilibrado

0.8.1

importlib-metadados

4.11.3

ipykernel

6.15.3

ipython

8.5.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

isodato

0.6.1

é perigoso

2.0.1

jedi

0,18.1

Jinja 2

2.11.3

jmespath

0.10.0

joblib

1.1.0

joblibspark

0.5.0

esquema json

4.4.0

cliente jupyter

6.1.12

jupyter_core

4.11.2

pigmentos jupyterlab

0.1.2

widgets jupyterlab

1.0.0

Keras

2.10.0

Keras-Pré-processamento

1.1.2

solucionador de kiwi

1.3.2

calendário lunar coreano

0.3.1

códigos de idioma

3.3.0

libclang

14,0,6

LightGBM

3.3.3

llvmlite

0,38,0

Calendário lunar

0,0.9

Mako

1.2.0

Markdown

3.3.4

MarkupSafe

2.0.1

Matplotlib

3.5.1

matplotlib-inline

0.1.2

faltando não

0.5.1

confundir

0,8.4

pular

0,20,0

malflow-skinny

2.0.1

multimétodo

1,8

murmurar

1.0.9

extensões mypy

0.4.3

cliente nb

0,5.13

nbconvert

6.4.4

formato nb

5.3.0

nest-assíncio

1.5.5

redes

2.7.1

nltk

3.7

notebook

6.4.8

numba

0,55,1

entorpecido

1,21,5

oauthlib

3.2.0

opt-einsum

3.3.0

fazendo às malas

21,3

Pandas

1.4.2

perfil de pandas

3.3.0

filtros pandóicos

1.5.0

paramiko

2.9.2

parso

0,8.3

especificação do caminho

0.9.0

patia

0.6.1

bode expiatório

0.5.2

petastorme

0,11.4

esperar

4.8.0

phik

0.12.2

picles

0.7.5

Travesseiro

9.0.1

pip

21.2.4

platformdirs

2.5.4

Plotly

5.6.0

pmdarima

2.0.1

pressionado

3.0.8

kit de ferramentas de aviso

3,0.20

Prophet

1.1.1

protobuf

3.19.4

pistila

5.8.0

psycopg2

2.9.3

processo pty

0.7.0

avaliação pura

0.2.2

flecha

7.0.0

pyasn1

0.4.8

módulos pyasn1

0.2.8

pybind11

2.10.1

pycparser

2,21

pidântico

1.9.2

Pigmentos

2.11.2

Objeto PYG

3,36,0

PyJWT

2.6.0

Pymeeus

0.5.11

PyNaCL

1.5.0

pyodbc

4,0,32

análise de pipa

3.0.4

persistente

0,18.0

Python-dateutil

2.8.2

Python-editor

1.0.4

pytz

2021,3

PY Wavelets

1.3.0

PyYAML

6,0

pizma

22,3,0

regex

2022.3,15

pedidos

2.27.1

solicitações-oauthlib

1.3.1

solicitações - soquete unix

0.2.0

rsa

4.7.2

transferência s3

0.5.0

scikit-learn

1.0.2

pegajoso

1.7.3

marítimo

0.11.2

Enviar 2 lixeiras

1.8.0

ferramentas de configuração

61,2,0

ferramentas de configuração - git

1.2

forma

0,41,0

simplejson

3.17.6

seis

1,16.0

fatiador

0.0.7

aberto de forma inteligente

5.1.0

tapa

5.0.0

peneira

2.3.1

espaçoso

3.4.1

legado espacial

3.0.10

registradores espaciais

1.0.3

distribuidor de fluxo tensor de faísca

1.0.0

sqlparse

0.4.2

sensatamente

2.4.5

ID de importação ssh

5,10

dados de pilha

0.2.0

modelos de estatísticas

0,13.2

tabular

0,8.9

emaranhado em unicode

0.2.0

tenacidade

8.0.1

TensorBoard

2.10.0

TensorBoard-servidor de dados

0.6.1

TensorBoard-perfil do plugin

2.8.0

TensorBoard-plugin-wit

1.8.1

TensorFlow

2.10.0

estimador de fluxo tensor

2.10.0

tensorflow-io-GCS-filesystem

0,28,0

cor do termo

2.1.1

terminado

0.13.1

caminho de teste

0.5.0

uma coisa

8.1.5

threadpool ctl

2.2.0

tokenizar-rt

4.2.1

tokenizadores

0,13.2

tomli

1.2.2

lanterna

1,12.1+cu113

visão de tocha

0,13,1+cu113

tornado

6.1

tqdm

4,64,0

almôndegas

5.1.1

transformadores

4.23.1

digitar

0.4.2

extensões_de digitação

4.1.1

atualizações autônomas

0,1

urllib3

1.26.9

ambiente virtual

20,8.0

visões

0.7.5

wasabi

0.10.1

largura do wc

0.2.5

codificações da web

0.5.1

cliente websocket

0,58,0

Utilitário

2.0.3

Python wheel

0,37,1

extensão widgetsnb

3.6.1

embrulhar

1.12.1

zíper

3.7.0

R biblioteca

A biblioteca R é idêntica à biblioteca R em Databricks Runtime 12.0.

Java e biblioteca ( 2.12 clustering) Scala Scala

Além de Java e Scala biblioteca em Databricks Runtime 12.0, Databricks Runtime 12.0 ML contém os seguintes JARs:

Agrupamento de CPU

ID do grupo

ID do artefato

Versão

com.typesafe.akka

também conhecido como actor_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

v0.20.0-db1

ml.dmlc

xgboost4j-spark_2.12

1.6.2

ml.dmlc

xgboost4j_2,12

1.6.2

org.graphframes

graphframes_2.12

0.8.2-db1-spark3,2

org.mlflow

cliente mlflow

2.0.1

org.Scala-lang.modules

Scala-java8-compat_2.12

0,8.0

org.tensorflow

spark-tensorflow-connector_2.12

1,15.0

Agrupamento de GPU

ID do grupo

ID do artefato

Versão

com.typesafe.akka

também conhecido como actor_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

v0.20.0-db1

ml.dmlc

xgboost4j-gpu_2,12

1.6.2

ml.dmlc

xgboost4j-spark-gpu_2.12

1.6.2

org.graphframes

graphframes_2.12

0.8.2-db1-spark3,2

org.mlflow

cliente mlflow

2.0.1

org.Scala-lang.modules

Scala-java8-compat_2.12

0,8.0

org.tensorflow

spark-tensorflow-connector_2.12

1,15.0