Pular para o conteúdo principal

Databricks Runtime 14.0 para aprendizado de máquina (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

O Databricks Runtime 14.0 for Machine Learning oferece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 14.0 (EoS). Databricks Runtime ML Contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch, e XGBoost. Databricks Runtime ML inclui AutoMLuma ferramenta para treinar automaticamente o pipeline de aprendizado de máquina. O Databricks Runtime ML também oferece suporte ao treinamento de aprendizagem profunda distribuída usando o Horovod.

Para obter mais informações, incluindo instruções para criar um cluster Databricks Runtime ML , consulte AI e aprendizado de máquina em Databricks.

nota

Estas notas sobre a versão podem incluir referências a recursos que não estão disponíveis no Google Cloud a partir desta versão.

Novos recursos e melhorias

O Databricks Runtime 14.0 ML foi desenvolvido com base no Databricks Runtime 14.0. Para obter informações sobre as novidades do Databricks Runtime 14.0, incluindo Apache Spark MLlib e SparkR, consulte as notas sobre a versão Databricks Runtime 14.0 (EoS).

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 14.0 ML difere do Databricks Runtime 14.0 da seguinte forma:

Databricks Runtime 14.0 ML inclui o XGBoost 1.7.6, que não oferece suporte ao agrupamento de GPU com o compute recurso 5.2 do e o abaixo.

Os pacotes a seguir, que estavam incluídos nas versões anteriores do Databricks Runtime ML , foram removidos no Databricks Runtime 14.0 ML:

  • miniconda
  • mLeap

biblioteca

As seções a seguir listam as bibliotecas incluídas em Databricks Runtime 14.0 ML que diferem daquelas incluídas em Databricks Runtime 14.0.

Nesta secção:

Biblioteca de primeira linha

Databricks Runtime 14.0 ML inclui as seguintes bibliotecas de primeira linha:

Python biblioteca

Databricks Runtime 14.0 O ML usa o Virtualenv para o gerenciamento do pacote Python e inclui muitos pacotes populares do ML.

Além do pacote especificado nas seções a seguir, o Databricks Runtime 14.0 ML também inclui o seguinte pacote:

  • Hyperopt 0.2.7+db4
  • sparkdl 3.0.0_db1
  • automl 1.21.1

Para reproduzir o ambiente Databricks Runtime ML Python em seu ambiente virtual local Python, download o arquivo requirements-14.0.txt e execute pip install -r requirements-14.0.txt. Esse comando instala toda a biblioteca de código aberto que o site Databricks Runtime ML usa, mas não instala a biblioteca desenvolvida pelo site Databricks, como databricks-automl, databricks-feature-store ou o fork Databricks de hyperopt.

Python biblioteca sobre clustering de CPU

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

abl-py

1.0.0

acelerar

0,21,0

aiohttp

3.8.5

sinal de áudio

1.3.1

anyio

3.5.0

apronta

1.4.4

argônio-2-cffi

21,3,0

ligações argônio-2-cffi

21.2.0

pastor

0.8.1

asttokens

2.0.5

atunparse

1.6.3

tempo limite assíncrono

4.0.3

atrai

22.1.0

leitura de áudio

3.0.0

núcleo do azure

1.29.1

azure-cosmos

4.3.1

azure-storage-blob

12,17.0

azure-storage-file-datalake

12.12.0

chamada de volta

0.2.0

bcriptar

3.2.0

linda sopa 4

4.11.1

preto

22.6.0

cândida

4.1.0

pisca-pisca

1.4

blis

0.7.10

boto3

1,24,28

botocore

1,27,96

ferramentas de cache

5.3.1

catálogo

2.0.9

codificadores de categoria

2.6.1

certifi

2022.12.7

caffi

1.15.1

chardet

4.0.0

normalizador de conjuntos de caracteres

2.0.4

clique

8.0.4

salmoura

2.0.0

cmdstanpy

1.1.0

comunicações

0.1.2

confecção

0.1.1

analisador de configuração

5.2.0

contornar

1.0.5

data de conversão

2.4.0

criptografia

39,0,1

ciclador

0.11.0

cimem

2.0.7

Cython

0,29,32

dacite

1.8.1

databricks-automl-runtime

0,2,18

Databricks-CLI

0,17.7

databricks-recurso-store

0,14.1

databricks-sdk

0.1.6

classes de dados-JSON

0,5.14

conjunto de dados

2.14.1

dbl-tempo

0,1,23

dbus-Python

1.2.18

depurar

1.6.7

decorador

5.1.1

velocidade profunda

0.10.0

xml desfundido

0.7.1

endro

0.3.6

cache em disco

5.6.1

distlib

0.3.7

docstring-to-markdown

0,11

pontos de entrada

0,4

efema

4.1.4

avalie

0.4.0

execução

0,8.3

visão geral das facetas

1.1.1

API rápida

0,98,0

esquema fastjson

2.18.0

texto rápido

0.9.2

bloqueio de arquivo

3.9.0

Frasco

2.2.5

tampões planos

23,5,26

ferramentas de fonte

4,25.0

lista congelada

1.4.0

fsspec

2022.11.0

futuro

0,18.3

ímpeto

0.4.0

Biblioteca de tempo de execução do GCC

1.10.0

gitdb

4.0.10

GitPython

3.1.27

google-api-core

2.11.1

autenticação do Google

2.21,0

google-auth-oauthlib

1.0.0

google-cloud-core

2.3.3

Google Cloud Storage

2.10.0

google-crc32c

1.5.0

google-pasta

0.2.0

mídia retomável do Google

2.5.0

googleapis-common-protos

1,60,0

verdinha

2.0.1

grócio

1.48,2

status de grpcio

1.48,1

unicórnio

20.1.0

gviz-api

1.10.0

h11

0.14.0

h5py

3.7.0

hijson

3.1.0

férias

0,28

Horovod

0,28,1

html/min

0.1.12

httplib2

0,20.2

ferramentas http

0.6.0

abraçando o face-hub

0,14.1

Índia

3.4

Hash de imagem

4.3.1

aprendizado desequilibrado

0.10.1

importlib-metadados

4.11.3

importlib-recurso

6.0.1

ipykernel

6,25,0

ipython

8.14.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

isodato

0.6.1

é perigoso

2.0.1

jedi

0,18.1

jeepney

0.7.1

Jinja 2

3.1.2

jmespath

0.10.0

joblib

1.2.0

joblibspark

0.5.1

esquema json

4.17.3

cliente jupyter

7.3.4

servidor jupyter

1.23,4

jupyter_core

5.2.0

pigmentos jupyterlab

0.1.2

widgets jupyterlab

1.0.0

Keras

2.13.1

chaveiro

23,5,0

solucionador de kiwi

1.4.4

cadeia de linguagens

0,0,225

langchainplus-sdk

0,0,20

códigos de idioma

3.3.0

launchpadlib

1,10,16

lazr.restfulclient

0,14.4

lazr.uri

1.0.6

lazy_loader

0,3

libclang

15.0.6.1

librosa

0.10.0

LightGBM

3.3.5

llvmlite

0,39,1

Calendário lunar

0,0.9

lxml

4.9.1

Mako

1.2.0

Markdown

3.4.1

MarkupSafe

2.1.1

marshmallow

3.20.1

Matplotlib

3.7.0

matplotlib-inline

0.1.6

mccabe

0.7.0

confundir

0,8.4

malflow-skinny

2.5.0

mais ferramentas de iteração

8.10.0

mpmath

1.2.1

pacote de mensagens

1.0.5

multídito

6.0.4

multimétodo

1.9.1

multiprocesso

0,70,14

murmurar

1.0.9

extensões mypy

0.4.3

nbclassic

0.5.2

cliente nb

0,5.13

nbconvert

6.5.4

formato nb

5.7.0

nest-assíncio

1.5.6

redes

2.8.4

ninja

1.11.1

nltk

3.7

nodeenv

1.8.0

notebook

6.5.2

Caderno de anotações

0.2.2

numba

0,56,4

numexpr

2.8.4

entorpecido

1,23,5

oauthlib

3.2.0

openai

0,27,8

openapi-schema-pydantic

1.2.4

opt-einsum

3.3.0

fazendo às malas

22,0

Pandas

1.5.3

filtros pandóicos

1.5.0

paramiko

2.9.2

parso

0,8.3

especificação do caminho

0.10.3

patia

0.10.2

bode expiatório

0.5.3

petastorme

0.12.1

esperar

4.8.0

phik

0.12.3

picles

0.7.5

Travesseiro

9.4.0

pip

22.3.1

platformdirs

2.5.2

Plotly

5.9.0

plugado

1.0.0

pmdarima

2.0.3

vira-lata

1.4.0

pressionado

3.0.8

cliente prometheus

0,14.1

kit de ferramentas de aviso

3,0,36

Prophet

1.1.4

protobuf

4,24.0

pistila

5.9.0

psycopg2

2.9.3

processo pty

0.7.0

avaliação pura

0.2.2

py-cpuinfo

9.0.0

flecha

8.0.0

pyasn1

0.4.8

módulos pyasn1

0.2.8

pybind11

2.11.1

pycparser

2,21

pidântico

1.10.6

flocos

3.0.1

Pigmentos

2.11.2

Objeto PYG

3,42,1

PyJWT

2.3.0

Pymeeus

0,5.12

PyNaCL

1.5.0

pyodbc

4,0,32

análise de pipa

3.0.9

direito autoral

1,1,294

persistente

0,18.0

pytesseract

0.3.10

Python-dateutil

2.8.2

Python-dotenv

1.0.0

Python-editor

1.0.4

Python-lsp-jsonrpc

1.0.0

Python-lsp-server

1.7.1

pytoolconfig

1.2.5

pytz

2022,7

PY Wavelets

1.4.1

PyYAML

6,0

pizma

23.2,0

regex

2022,7,9

pedidos

2.28,1

solicitações-oauthlib

1.3.1

respostas

0,18.0

corda

1.7.0

rsa

4,9

transferência s3

0.6.2

sensores de segurança

0.3.2

scikit-learn

1.1.1

marítimo

0.12.2

Armazenamento secreto

3.3.1

Enviar 2 lixeiras

1.8.0

transformadores de frases

2.2.2

peça de frase

0,1,99

ferramentas de configuração

65,6,3

forma

0,41,0

simplejson

3.17.6

seis

1,16.0

fatiador

0.0.7

aberto de forma inteligente

5.2.1

tapa

5.0.0

cheirar

1.2.0

arquivo de som

0.12.1

peneira

2.3.2. Postagem 1

soxr

0.3.6

espaçoso

3.5.4

legado espacial

3.0.12

registradores espaciais

1.0.4

distribuidor de fluxo tensor de faísca

1.0.0

Alquimia SQL

1,4,39

sqlparse

0.4.2

sensatamente

2.4.7

ID de importação ssh

5,11

dados de pilha

0.2.0

estrelinha

0,27.0

modelos de estatísticas

0,13.5

simpatia

1.11.1

tabular

0,8.10

emaranhado em unicode

0.2.0

tenacidade

8.1.0

TensorBoard

2.13.0

TensorBoard-servidor de dados

0.7.1

TensorBoard-perfil do plugin

2.13.0

tensorflow-cpu

2.13.0

estimador de fluxo tensor

2.13.0

tensorflow-io-GCS-filesystem

0,33,0

cor do termo

2.3.0

terminado

0,17.1

uma coisa

8.1.12

threadpool ctl

2.2.0

tiktoken

0.4.0

minúsculo css2

1.2.1

tokenizar-rt

4.2.1

tokenizadores

0,13.3

tomli

2.0.1

lanterna

2.0.1+CPU

visão de tocha

0,15.2+cpu

tornado

6.1

tqdm

4,64,1

almôndegas

5.7.1

transformadores

4,31,0

tipografia

2.13.3

digitar

0.9.0

inspeção de digitação

0.9.0

extensões_de digitação

4.4.0

junhão

5.4.0

atualizações autônomas

0,1

urllib3

1,26,14

uvicórnio

0,23,2

uvloop

0,17.0

ambiente virtual

20,16.7

visões

0.7.5

wadlib

1.3.6

wasabi

1.1.2

arquivos de vigilância

0.19.0

largura do wc

0.2.5

codificações da web

0.5.1

cliente websocket

0,58,0

websoquetes

11.0.3

Utilitário

2.2.2

qual é o patch

1.0.2

Python wheel

0,38,4

extensão widgetsnb

3.6.1

nuvem de palavras

1.9.2

embrulhar

1.14.1

xgboost

1.7.6

xxhash

3.3.0

yapf

0,31,0

fio

1.9.2

criação de perfil de dados

4.2.0

zíper

3.11.0

Python biblioteca sobre clustering de GPU

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

abl-py

1.0.0

acelerar

0,21,0

aiohttp

3.8.5

sinal de áudio

1.3.1

anyio

3.5.0

apronta

1.4.4

argônio-2-cffi

21,3,0

ligações argônio-2-cffi

21.2.0

pastor

0.8.1

asttokens

2.0.5

atunparse

1.6.3

tempo limite assíncrono

4.0.3

atrai

22.1.0

leitura de áudio

3.0.0

núcleo do azure

1.29.1

azure-cosmos

4.3.1

azure-storage-blob

12,17.0

azure-storage-file-datalake

12.12.0

chamada de volta

0.2.0

bcriptar

3.2.0

linda sopa 4

4.11.1

preto

22.6.0

cândida

4.1.0

pisca-pisca

1.4

blis

0.7.10

boto3

1,24,28

botocore

1,27,96

ferramentas de cache

5.3.1

catálogo

2.0.9

codificadores de categoria

2.6.1

certifi

2022.12.7

caffi

1.15.1

chardet

4.0.0

normalizador de conjuntos de caracteres

2.0.4

clique

8.0.4

salmoura

2.0.0

cmake

3.27.2

cmdstanpy

1.1.0

comunicações

0.1.2

confecção

0.1.1

analisador de configuração

5.2.0

contornar

1.0.5

data de conversão

2.4.0

criptografia

39,0,1

ciclador

0.11.0

cimem

2.0.7

Cython

0,29,32

dacite

1.8.1

databricks-automl-runtime

0,2,18

Databricks-CLI

0,17.7

databricks-recurso-store

0,14.1

databricks-sdk

0.1.6

classes de dados-JSON

0,5.14

conjunto de dados

2.14.1

dbl-tempo

0,1,23

dbus-Python

1.2.18

depurar

1.6.7

decorador

5.1.1

velocidade profunda

0.10.0

xml desfundido

0.7.1

endro

0.3.6

cache em disco

5.6.1

distlib

0.3.7

docstring-to-markdown

0,11

einops

0.6.1

pontos de entrada

0,4

efema

4.1.4

avalie

0.4.0

execução

0,8.3

visão geral das facetas

1.1.1

API rápida

0,98,0

esquema fastjson

2.18.0

texto rápido

0.9.2

bloqueio de arquivo

3.9.0

flash-attn

2.0.1

Frasco

2.2.5

tampões planos

23,5,26

ferramentas de fonte

4,25.0

lista congelada

1.4.0

fsspec

2022.11.0

futuro

0,18.3

ímpeto

0.4.0

Biblioteca de tempo de execução do GCC

1.10.0

gitdb

4.0.10

GitPython

3.1.27

google-api-core

2.11.1

autenticação do Google

2.21,0

google-auth-oauthlib

1.0.0

google-cloud-core

2.3.3

Google Cloud Storage

2.10.0

google-crc32c

1.5.0

google-pasta

0.2.0

mídia retomável do Google

2.5.0

googleapis-common-protos

1,60,0

verdinha

2.0.1

grócio

1.48,2

status de grpcio

1.48,1

unicórnio

20.1.0

gviz-api

1.10.0

h11

0.14.0

h5py

3.7.0

hijson

3.1.0

férias

0,28

Horovod

0,28,1

html/min

0.1.12

httplib2

0,20.2

ferramentas http

0.6.0

abraçando o face-hub

0,14.1

Índia

3.4

Hash de imagem

4.3.1

aprendizado desequilibrado

0.10.1

importlib-metadados

4.11.3

importlib-recurso

6.0.1

ipykernel

6,25,0

ipython

8.14.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

isodato

0.6.1

é perigoso

2.0.1

jedi

0,18.1

jeepney

0.7.1

Jinja 2

3.1.2

jmespath

0.10.0

joblib

1.2.0

joblibspark

0.5.1

esquema json

4.17.3

cliente jupyter

7.3.4

servidor jupyter

1.23,4

jupyter_core

5.2.0

pigmentos jupyterlab

0.1.2

widgets jupyterlab

1.0.0

Keras

2.13.1

chaveiro

23,5,0

solucionador de kiwi

1.4.4

cadeia de linguagens

0,0,225

langchainplus-sdk

0,0,20

códigos de idioma

3.3.0

launchpadlib

1,10,16

lazr.restfulclient

0,14.4

lazr.uri

1.0.6

lazy_loader

0,3

libclang

15.0.6.1

librosa

0.10.0

LightGBM

3.3.5

iluminado

16,0.6

llvmlite

0,39,1

Calendário lunar

0,0.9

lxml

4.9.1

Mako

1.2.0

Markdown

3.4.1

MarkupSafe

2.1.1

marshmallow

3.20.1

Matplotlib

3.7.0

matplotlib-inline

0.1.6

mccabe

0.7.0

confundir

0,8.4

malflow-skinny

2.5.0

mais ferramentas de iteração

8.10.0

mpmath

1.2.1

pacote de mensagens

1.0.5

multídito

6.0.4

multimétodo

1.9.1

multiprocesso

0,70,14

murmurar

1.0.9

extensões mypy

0.4.3

nbclassic

0.5.2

cliente nb

0,5.13

nbconvert

6.5.4

formato nb

5.7.0

nest-assíncio

1.5.6

redes

2.8.4

ninja

1.11.1

nltk

3.7

nodeenv

1.8.0

notebook

6.5.2

Caderno de anotações

0.2.2

numba

0,56,4

numexpr

2.8.4

entorpecido

1,23,5

oauthlib

3.2.0

openai

0,27,8

openapi-schema-pydantic

1.2.4

opt-einsum

3.3.0

fazendo às malas

22,0

Pandas

1.5.3

filtros pandóicos

1.5.0

paramiko

2.9.2

parso

0,8.3

especificação do caminho

0.10.3

patia

0.10.2

bode expiatório

0.5.3

petastorme

0.12.1

esperar

4.8.0

phik

0.12.3

picles

0.7.5

Travesseiro

9.4.0

pip

22.3.1

platformdirs

2.5.2

Plotly

5.9.0

plugado

1.0.0

pmdarima

2.0.3

vira-lata

1.4.0

pressionado

3.0.8

kit de ferramentas de aviso

3,0,36

Prophet

1.1.4

protobuf

4,24.0

pistila

5.9.0

psycopg2

2.9.3

processo pty

0.7.0

avaliação pura

0.2.2

py-cpuinfo

9.0.0

flecha

8.0.0

pyasn1

0.4.8

módulos pyasn1

0.2.8

pybind11

2.11.1

pycparser

2,21

pidântico

1.10.6

flocos

3.0.1

Pigmentos

2.11.2

Objeto PYG

3,42,1

PyJWT

2.3.0

Pymeeus

0,5.12

PyNaCL

1.5.0

pyodbc

4,0,32

análise de pipa

3.0.9

direito autoral

1,1,294

persistente

0,18.0

pytesseract

0.3.10

Python-dateutil

2.8.2

Python-dotenv

1.0.0

Python-editor

1.0.4

Python-lsp-jsonrpc

1.0.0

Python-lsp-server

1.7.1

pytoolconfig

1.2.5

pytz

2022,7

PY Wavelets

1.4.1

PyYAML

6,0

pizma

23.2,0

regex

2022,7,9

pedidos

2.28,1

solicitações-oauthlib

1.3.1

respostas

0,18.0

corda

1.7.0

rsa

4,9

transferência s3

0.6.2

sensores de segurança

0.3.2

scikit-learn

1.1.1

marítimo

0.12.2

Armazenamento secreto

3.3.1

Enviar 2 lixeiras

1.8.0

transformadores de frases

2.2.2

peça de frase

0,1,99

ferramentas de configuração

65,6,3

forma

0,41,0

simplejson

3.17.6

seis

1,16.0

fatiador

0.0.7

aberto de forma inteligente

5.2.1

tapa

5.0.0

cheirar

1.2.0

arquivo de som

0.12.1

peneira

2.3.2. Postagem 1

soxr

0.3.6

espaçoso

3.5.4

legado espacial

3.0.12

registradores espaciais

1.0.4

distribuidor de fluxo tensor de faísca

1.0.0

Alquimia SQL

1,4,39

sqlparse

0.4.2

sensatamente

2.4.7

ID de importação ssh

5,11

dados de pilha

0.2.0

estrelinha

0,27.0

modelos de estatísticas

0,13.5

simpatia

1.11.1

tabular

0,8.10

emaranhado em unicode

0.2.0

tenacidade

8.1.0

TensorBoard

2.13.0

TensorBoard-servidor de dados

0.7.1

TensorBoard-perfil do plugin

2.13.0

TensorFlow

2.13.0

estimador de fluxo tensor

2.13.0

tensorflow-io-GCS-filesystem

0,33,0

cor do termo

2.3.0

terminado

0,17.1

uma coisa

8.1.12

threadpool ctl

2.2.0

tiktoken

0.4.0

minúsculo css2

1.2.1

tokenizar-rt

4.2.1

tokenizadores

0,13.3

tomli

2.0.1

lanterna

2.0.1+cu118

visão de tocha

0,15,2+cu118

tornado

6.1

tqdm

4,64,1

almôndegas

5.7.1

transformadores

4,31,0

tritão

2.0.0

tipografia

2.13.3

digitar

0.9.0

inspeção de digitação

0.9.0

extensões_de digitação

4.4.0

junhão

5.4.0

atualizações autônomas

0,1

urllib3

1,26,14

uvicórnio

0,23,2

uvloop

0,17.0

ambiente virtual

20,16.7

visões

0.7.5

wadlib

1.3.6

wasabi

1.1.2

arquivos de vigilância

0.19.0

largura do wc

0.2.5

codificações da web

0.5.1

cliente websocket

0,58,0

websoquetes

11.0.3

Utilitário

2.2.2

qual é o patch

1.0.2

Python wheel

0,38,4

extensão widgetsnb

3.6.1

nuvem de palavras

1.9.2

embrulhar

1.14.1

xgboost

1.7.6

xxhash

3.3.0

yapf

0,31,0

fio

1.9.2

criação de perfil de dados

4.2.0

zíper

3.11.0

R biblioteca

A biblioteca R é idêntica à biblioteca R em Databricks Runtime 14.0.

Java e biblioteca ( 2.12 clustering) Scala Scala

Além de Java e Scala biblioteca em Databricks Runtime 14.0, Databricks Runtime 14.0 ML contém os seguintes JARs:

Agrupamento de CPU

ID do grupo

ID do artefato

Versão

com.typesafe.akka

também conhecido como actor_2.12

2.5.23

ml.dmlc

xgboost4j-spark_2.12

1.7.3

ml.dmlc

xgboost4j_2,12

1.7.3

org.graphframes

graphframes_2.12

0.8.2-db2-spark3.4

org.mlflow

cliente mlflow

2.5.0

org.Scala-lang.modules

Scala-java8-compat_2.12

0,8.0

org.tensorflow

spark-tensorflow-connector_2.12

1,15.0

Agrupamento de GPU

ID do grupo

ID do artefato

Versão

com.typesafe.akka

também conhecido como actor_2.12

2.5.23

ml.dmlc

xgboost4j-gpu_2,12

1.7.3

ml.dmlc

xgboost4j-spark-gpu_2.12

1.7.3

org.graphframes

graphframes_2.12

0.8.2-db2-spark3.4

org.mlflow

cliente mlflow

2.5.0

org.Scala-lang.modules

Scala-java8-compat_2.12

0,8.0

org.tensorflow

spark-tensorflow-connector_2.12

1,15.0