Databricks Runtime 17.0 para Machine Learning (Fim de Suporte)
O suporte para esta versão do Databricks Runtime foi encerrado. Para a data de fim do suporte, consulte o Histórico de fim de suporte. Para todas as versões suportadas Databricks Runtime , consulte as notas sobre versões e compatibilidadeDatabricks Runtime.
Databricks Runtime 17.0 para Machine Learning fornece um ambiente pronto para uso para machine learning e ciência de dados baseado no Databricks Runtime 17.0 (EoS). Databricks Runtime ML contém muitas bibliotecas populares de machine learning, incluindo TensorFlow, PyTorch e XGBoost. Databricks Runtime ML inclui AutoML, uma ferramenta para ensinar automaticamente um pipeline machine learning . Databricks Runtime ML também oferece suporte a treinamento distribuído usando TorchDistributor, DeepSpeed e Ray.
Novos recursos e melhorias
O Databricks Runtime 17.0 ML é construído sobre o Databricks Runtime 17.0. Para obter informações sobre as novidades do Databricks Runtime 17.0, incluindo Apache Spark MLlib e SparkR, consulte as notas sobre a versão Databricks Runtime 17.0 (EoS) .
O SparkML agora é compatível com clusters padrão.
O Databricks Runtime 17.0 ML oferece suporte ao SparkML em clusters padrão (anteriormente conhecidos como clusters compartilhados). Para obter informações sobre clusters padrão, consulte Modos de acesso.
As seguintes limitações se aplicam ao executar o SparkML em clusters padrão:
- O tamanho máximo do modelo é de 1 GB.
- O tamanho máximo do cache do modelo por sessão é de 10 GB.
- O treinamento do modelo de árvore é interrompido prematuramente se o tamanho do modelo estiver prestes a exceder 1 GB.
- Os seguintes modelos SparkML não são suportados:
- Modelo LDA distribuído
- Modelo de crescimento FPG
Outras alterações
XGBoost4J-Spark removido
O XGBoost4J-Spark, que estava incluído em versões anteriores do Databricks Runtime ML, não está incluído no Databricks Runtime 17.0 ML. A Databricks recomenda o uso da API Python para xgboost.spark. Veja Treinamento distribuído de modelos XGBoost usando xgboost.spark.
Ambiente do sistema
O ambiente de sistema no Databricks Runtime 17.0 ML difere do Databricks Runtime 17.0 da seguinte forma.
- Para clusters de GPUs, Databricks Runtime ML inclui a seguinte biblioteca de GPUs NVIDIA:
- CUDA 12.6
- cublas 12.6.4.1-1
- cusolver 11.7.1.2-1
- cupti 12.6.80-1
- cusparse 12.5.4.2-1
- cuDNN 9.5.1.17-1
- NCCL 2.26.2
- TensorRT 10.2.0.19-1
biblioteca
As seções a seguir listam a biblioteca incluída no Databricks Runtime 17.0 ML que difere daquela incluída no Databricks Runtime 17.0.
Nesta secção:
- Biblioteca de primeira linha
- Bibliotecas Python
- Biblioteca R
- Biblioteca Java e Scala ( cluster Scala 2.12)
Biblioteca de primeira linha
Databricks Runtime 17.0 ML inclui a seguinte biblioteca de nível superior:
- conjunto de dados
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- scikit-learn
- transmissão
- TensorFlow
- TensorBoard
- transformadores
BibliotecaPython
Databricks Runtime 17.0 ML usa virtualenv para gerenciamento de pacotes Python e inclui muitos pacotes populares ML .
Além do pacote especificado nas seções a seguir, Databricks Runtime 17.0 ML também inclui o seguinte pacote:
- automl 1.30.0
Para reproduzir o ambiente Python Databricks Runtime ML em seu ambiente virtual Python local, download o arquivo requirements-17.0.txt e execute pip install -r requirements-17.0.txt. Este comando instala toda a biblioteca de código aberto que Databricks Runtime ML usa, mas não instala a biblioteca desenvolvida pelo Databricks, como databricks-automl ou o fork Databricks de hyperopt.
BibliotecaPython em clustersde CPU
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
absl-py | 1.0.0 | acelerar | 1.5.2 | aiohappyeyeballs | 2.4.4 |
aiohttp | 3.11.10 | aiohttp-cors | 0.8.1 | sinal de aio | 1.2.0 |
alambique | 1.15.2 | tipos de anotar | 0.7.0 | anyio | 4.6.2 |
argcomplete | 3.6.2 | argônio2-cffi | 21.3.0 | ligações argon2-cffi | 21.2.0 |
seta | 1.3.0 | Astor | 0.8.1 | tokens de astto | 2.0.5 |
astunparse | 1.6.3 | async-lru | 2.0.4 | atributos | 24.3.0 |
audioread | 3.0.1 | autocomando | 2.2.2 | azure-comum | 1.1.28 |
azure-core | 1.33.0 | azure-cosmos | 4.3.1 | identidade-azure | 1.20.0 |
azure-mgmt-core | 1.5.0 | azure-mgmt-web | 8.0.0 | azure-storage-blob | 12.23.0 |
azure-storage-file-datalake | 12.17.0 | Babel | 2.16.0 | recuar | 2.2.1 |
backports.tarfile | 1.2.0 | bcrypt | 3.2.0 | sopa bonita4 | 4.12.3 |
preto | 24.10.0 | água sanitária | 6.2.0 | pisca-pisca | 1.7.0 |
felicidade | 0.7.11 | boto3 | 1.36.2 | botocore | 1.36.3 |
Brotli | 1.1.0 | ferramentas de cache | 5.5.1 | catálogo | 2.0.10 |
codificadores de categoria | 2.6.3 | certificar | 2025.1.31 | cffi | 1.17.1 |
chardet | 4.0.0 | normalizador de conjunto de caracteres | 3.3.2 | disjuntor | 2.1.3 |
clique | 8.1.7 | cloudpathlib | 0.21.0 | picles de nuvem | 3.0.0 |
cmdstanpy | 1.2.5 | colorido | 0.5.6 | registro de cores | 6.9.0 |
comunicação | 0.2.1 | compositor | 0.29.0 | confecção | 0.1.5 |
analisador de configuração | 5.2.0 | contornado | 1.3.1 | nome legal | 2.2.0 |
cramjam | 2.10.0 | criptografia | 43.0.3 | ciclista | 0.11.0 |
cymem | 2.0.11 | Cython | 3.0.12 | dacito | 1.9.2 |
databricks-automl-runtime | 0.2.21 | databricks-sdk | 0.49.0 | conjunto de dados | 2.20.0 |
tempo duplo | 0.1.26 | dbus-Python | 1.3.2 | debugpy | 1.8.11 |
decorador | 5.1.1 | velocidade profunda | 0.14.4 | defusedxml | 0.7.1 |
Descontinuado | 1.2.13 | aneto | 0.3.8 | biblioteca dist | 0.3.9 |
árvore dm | 0.1.9 | docstring-to-markdown | 0,11 | pontos de entrada | 0,4 |
avaliar | 0.4.2 | executando | 0.8.3 | visão geral das facetas | 1.1.1 |
Farama-Notificações | 0.0.4 | fastapi | 0.115.12 | fastjsonschema | 2.21.1 |
roda de texto rápido | 0.9.2 | bloqueio de arquivo | 3.13.1 | Frasco | 2.2.5 |
buffers planos | 25.2.10 | ferramentas de fonte | 4.55.3 | fqdn | 1.5.1 |
lista congelada | 1.5.0 | especificação de fs | 2023.5.0 | futuro | 0.18.3 |
gast | 0.4.0 | gitdb | 4.0.11 | GitPython | 3.1.43 |
núcleo da API do Google | 2.20.0 | autenticação do Google | 2.38.0 | google-auth-oauthlib | 1.0.0 |
google-cloud-core | 2.4.3 | Google Cloud Storage | 2.10.0 | google-crc32c | 1.7.1 |
google-pasta | 0.2.0 | mídia resumível do Google | 2.7.2 | googleapis-common-protos | 1.65.0 |
gql | 3.5.2 | graphql-core | 3.2.4 | verdinha | 3.1.1 |
grpcio | 1.67.0 | status-grupo | 1.67.0 | gunicorn | 20.1.0 |
ginásio | 0.28.1 | h11 | 0.14.0 | h5py | 3.12.1 |
hjson | 3.1.0 | feriados | 0,54 | htmlmin | 0.1.12 |
httpcore | 1.0.2 | httplib2 | 0.20.4 | httpx | 0.27.0 |
hub de rostos abraçados | 0.30.2 | idna | 3.7 | Hash da imagem | 4.3.1 |
imagemio | 2.37.0 | aprendizado desequilibrado | 0.13.0 | importlib-metadata | 6.0.0 |
importlib_resources | 6.5.2 | flexionar | 7.3.1 | iniconfig | 1.1.1 |
ipyflow-core | 0.0.209 | ipykernel | 6.29.5 | ipython | 8.30.0 |
ipython-genutils | 0.2.0 | ipywidgets | 7.8.1 | isodato | 0.6.1 |
isoduração | 20.11.0 | é perigoso | 2.2.0 | jaraco.context | 5.3.0 |
jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 |
jedi | 0.19.2 | Jinja2 | 3.1.5 | tremor | 0.9.0 |
jmespath | 1.0.1 | joblib | 1.4.2 | joblibspark | 0.5.1 |
json5 | 0.9.25 | jsonpatch | 1,33 | ponteiro json | 3.0.0 |
esquema JSON | 4.23.0 | especificações-jsonschema | 2023.7.1 | eventos jupyter | 0.10.0 |
jupyter-lsp | 2.2.0 | cliente jupyter | 8.6.3 | jupyter_core | 5.7.2 |
servidor jupyter | 2.14.1 | jupyter_server_terminais | 0.4.4 | JupyterLab | 4.3.4 |
jupyterlab-pygments | 0.1.2 | widgets do JupyterLab | 1.0.0 | servidor jupyterlab | 2.27.3 |
Keras | 3.5.0 | kiwisolver | 1.4.8 | langchain | 0.3.21 |
núcleo da cadeia de lang | 0.3.55 | langchain-text-splitters | 0.3.8 | códigos de idioma | 3.5.0 |
langsmith | 0.1.133 | dados_de_idioma | 1.3.0 | launchpadlib | 1.11.0 |
lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | carregador preguiçoso | 0,4 |
libclang | 15.0.6.1 | Librosa | 0.10.2 | LightGBM | 4.5.0 |
utilidades de relâmpago | 0.14.3 | linkify-it-py | 2.0.0 | llvmlite | 0.44.0 |
lz4 | 4.3.2 | Mako | 1.2.0 | marisa-trie | 1.2.0 |
Markdown | 3.4.1 | markdown-it-py | 2.2.0 | MarkupSafe | 3.0.2 |
Matplotlib | 3.10.0 | matplotlib-inline | 0.1.7 | McCabe | 0.7.0 |
mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 | memória | 1.17.1 |
desafinação | 2.0.4 | ml_dtypes | 0.5.1 | mlflow-magro | 2.21.3 |
mmh3 | 5.1.0 | mais-itertools | 10.3.0 | mosaicml-CLI | 0.6.41 |
mosaicml-transmissão | 0.8.0 | mpmath | 1.3.0 | msal | 1.32.0 |
extensões msal | 1.3.1 | pacote de mensagens | 1.1.0 | multidict | 6.1.0 |
multimétodo | 1.12 | multiprocess | 0.70.16 | murmurhash | 1.0.12 |
mypy-extensões | 1.0.0 | nomex | 0.0.8 | nbclient | 0.8.0 |
nbconvert | 7.16.4 | nbformato | 5.10.4 | ninho-asyncio | 1.6.0 |
rede x | 3.4.2 | ninja | 1.11.1.1 | nltk | 3.9.1 |
ambiente nodeenv | 1.9.1 | notebook | 7.3.2 | notebook_shim | 0.2.3 |
número | 0.61.0 | numpy | 2.1.3 | nvidia-ml-py | 12.570.86 |
oauthlib | 3.2.0 | oci | 2.150.2 | openai | 1.40.2 |
censo aberto | 0.11.4 | contexto do censo aberto | 0.1.3 | API de telemetria aberta | 1.32.1 |
opentelemetry-sdk | 1.32.1 | convenções-semânticas-de-telemetria-abertas | 0,53b1 | opt_einsum | 3.4.0 |
optree | 0.15.0 | optuna | 3.6.1 | integração optuna | 3.6.0 |
orjson | 3.10.16 | substituições | 7.4.0 | embalagem | 24.1 |
Pandas | 2.2.3 | pandocfilters | 1.5.0 | paramiko | 3.4.0 |
parso | 0.8.4 | especificação de caminho | 0.10.3 | Patsy | 1.0.1 |
pexpect | 4.8.0 | phik | 0.12.4 | travesseiro | 11.1.0 |
pip | 25,0 | diretórios de plataforma | 3.10.0 | Plotly | 5.24.1 |
pluggy | 1.5.0 | pmdarima | 2.0.4 | cãozinho | 1.8.2 |
pré-apresentado | 3.0.9 | cliente prometheus | 0.21.0 | kit de ferramentas de prompt | 3.0.43 |
propcache | 0.2.0 | Prophet | 1.1.6 | proto-plus | 1.26.1 |
protobuf | 5.29.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
ptyprocess | 0.7.0 | avaliação pura | 0.2.2 | pura magia | 1,28 |
py-cpuinfo | 9.0.0 | py-spy | 0.4.0 | pyarrow | 19.0.1 |
pyarrow-hotfix | 0,6 | pyasn1 | 0.4.8 | módulos pyasn1 | 0.2.8 |
pybind11 | 2.13.6 | Pyccolo | 0,0,71 | pycparser | 2.21 |
pydântico | 2.10.6 | núcleo_pydantic | 2.27.2 | pyflakes | 3.2.0 |
Pigmentos | 2.15.1 | PyGObject | 3.48.2 | pyiceberg | 0.9.0 |
PyJWT | 2.10.1 | PyNaCl | 1.5.0 | pyodbc | 5.2.0 |
pyOpenSSL | 24.2.1 | pyparsing | 3.2.0 | pyright | 1.1.394 |
pytesseract | 0.3.10 | pytest | 8.3.5 | Python-dateutil | 2.9.0.post0 |
Editor Python | 1.0.4 | Python-JSON- logger | 3.2.1 | Python-lsp-jsonrpc | 1.1.2 |
Python- servidor lsp | 1.12.0 | Python-snappy | 0.7.3 | pytoolconfig | 1.2.6 |
PyTorch-ranger | 0.1.1 | pytz | 2024.1 | PyWavelets | 1.8.0 |
PyYAML | 6.0.2 | pyzmq | 26.2.0 | questionário | 2.1.0 |
raio | 2.37.0 | referenciando | 0.30.2 | regex | 2024.11.6 |
solicitações | 2.32.3 | requests-oauthlib | 1.3.1 | ferramentas-solicitações | 1.0.0 |
validador rfc3339 | 0.1.4 | validador rfc3986 | 0.1.1 | rico | 13.9.4 |
corda | 1.12.0 | rpds-py | 0.22.3 | rsa | 4.9.1 |
ruamel.yaml | 0.18.10 | ruamel.yaml.clib | 0.2.12 | s3transfer | 0.11.3 |
tensores de segurança | 0.5.3 | scikit-image | 0.25.0 | scikit-learn | 1.6.1 |
scipy | 1.15.1 | nascido no mar | 0.13.2 | Enviar para o lixo | 1.8.2 |
transformadores de frases | 3.0.1 | frase | 0.2.0 | ferramentas de configuração | 74.0.0 |
forma | 0.46.0 | Shellingham | 1.5.4 | JSON simples | 3.17.6 |
seis | 1.16.0 | sklearn-compat | 0.1.3 | fatiador | 0.0.8 |
aberto inteligente | 7.1.0 | mapa de memória | 5.0.0 | sniffio | 1.3.0 |
contêineres classificados | 2.4.0 | arquivo de som | 0.12.1 | peneira de sopa | 2,5 |
soxr | 0.5.0.post1 | espacial | 3.7.5 | legado espacial | 3.0.12 |
registradores spacy | 1.0.5 | SQLAlchemy | 2.0.37 | sqlparse | 0.4.2 |
sério | 2.5.1 | ssh-import-id | 5.11 | dados de pilha | 0.2.0 |
estanio | 0.5.1 | estrelinha | 0.46.2 | modelos estatísticos | 0.14.4 |
strictyaml | 1.7.3 | sympy | 1.13.3 | tabular | 0.9.0 |
tenacidade | 9.0.0 | TensorBoard | 2.19.0 | Servidor de dados TensorBoard | 0.7.2 |
tensorboardX | 2.6.2.2 | TensorFlow | 2.19.0 | estimador tensorflow | 2.15.0 |
termcolor | 3.0.1 | terminado | 0.17.1 | textual | 3.1.1 |
tf_keras | 2.19.0 | fino | 8.2.4 | threadpoolctl | 3.5.0 |
arquivo tiff | 12/12/2024 | token do tiktoken | 0.7.0 | tinycss2 | 1.4.0 |
tokenize_rt | 6.1.0 | tokenizadores | 0.21.1 | tomli | 2.0.1 |
tocha | 2.4.0+cpu | otimizador de tocha | 0.3.0 | torpedeiro | 0.0.7 |
torchmetrics | 1.4.0.post0 | visão de tocha | 0.19.0+cpu | tornado | 6.4.2 |
tqdm | 4.67.1 | traços | 5.14.3 | transformadores | 4.49.0 |
guarda tipográfica | 4.4.2 | digitador | 0.15.2 | tipos-Python-dateutil | 2.9.0.20241206 |
extensões_de_digitação | 4.12.2 | tzdata | 2024.1 | uc-micro-py | 1.0.1 |
ujson | 5.10.0 | atualizações não assistidas | 0,1 | uri-padrão | 1.3.0 |
urllib3 | 2.3.0 | uvicórnio | 0.34.2 | validadores | 0.34.0 |
ambiente virtual | 20.29.3 | visões | 0.8.1 | wadllib | 1.3.6 |
wasabi | 1.1.3 | largura do wc | 0.2.5 | doninha | 0.4.1 |
cores da web | 24.11.1 | codificações web | 0.5.1 | cliente websocket | 1.8.0 |
websockets | 11.0.3 | Ferramentas | 3.1.3 | whatthepatch | 1.0.2 |
Python wheel | 0.45.1 | widgetsnbextension | 3.6.6 | nuvem de palavras | 1.9.4 |
embrulhado | 1.17.0 | xgboost | 2.0.3 | xgboust-ray | 0.1.19 |
xxhash | 3.5.0 | yapf | 0.33.0 | yard | 1.18.0 |
ydata-profiling | 4.16.1 | zíper | 3.21.0 | zstd | 1.5.5.1 |
BibliotecaPython em clustersde GPUs
O PyTorch utiliza as dependências CUDA do PyPI para fornecer suporte a CUDA, em vez das versões da biblioteca CUDA que estão integradas ao Databricks Runtime 17.0 ML.
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
absl-py | 1.0.0 | acelerar | 1.5.2 | aiohappyeyeballs | 2.4.4 |
aiohttp | 3.11.10 | aiohttp-cors | 0.8.1 | sinal de aio | 1.2.0 |
alambique | 1.15.2 | tipos de anotar | 0.7.0 | anyio | 4.6.2 |
argcomplete | 3.6.2 | argônio2-cffi | 21.3.0 | ligações argon2-cffi | 21.2.0 |
seta | 1.3.0 | Astor | 0.8.1 | tokens de astto | 2.0.5 |
astunparse | 1.6.3 | async-lru | 2.0.4 | atributos | 24.3.0 |
audioread | 3.0.1 | autocomando | 2.2.2 | azure-comum | 1.1.28 |
azure-core | 1.33.0 | azure-cosmos | 4.3.1 | identidade-azure | 1.20.0 |
azure-mgmt-core | 1.5.0 | azure-mgmt-web | 8.0.0 | azure-storage-blob | 12.23.0 |
azure-storage-file-datalake | 12.17.0 | Babel | 2.16.0 | recuar | 2.2.1 |
backports.tarfile | 1.2.0 | bcrypt | 3.2.0 | sopa bonita4 | 4.12.3 |
preto | 24.10.0 | água sanitária | 6.2.0 | pisca-pisca | 1.7.0 |
felicidade | 0.7.11 | boto3 | 1.36.2 | botocore | 1.36.3 |
Brotli | 1.1.0 | ferramentas de cache | 5.5.1 | catálogo | 2.0.10 |
codificadores de categoria | 2.6.3 | certificar | 2025.1.31 | cffi | 1.17.1 |
chardet | 4.0.0 | normalizador de conjunto de caracteres | 3.3.2 | disjuntor | 2.1.3 |
clique | 8.1.7 | cloudpathlib | 0.21.0 | picles de nuvem | 3.0.0 |
cmdstanpy | 1.2.5 | colorido | 0.5.6 | registro de cores | 6.9.0 |
comunicação | 0.2.1 | compositor | 0.29.0 | confecção | 0.1.5 |
analisador de configuração | 5.2.0 | contornado | 1.3.1 | nome legal | 2.2.0 |
cramjam | 2.10.0 | criptografia | 43.0.3 | ciclista | 0.11.0 |
cymem | 2.0.11 | Cython | 3.0.12 | dacito | 1.9.2 |
databricks-automl-runtime | 0.2.21 | databricks-sdk | 0.49.0 | conjunto de dados | 2.20.0 |
tempo duplo | 0.1.26 | dbus-Python | 1.3.2 | debugpy | 1.8.11 |
decorador | 5.1.1 | velocidade profunda | 0.14.4 | defusedxml | 0.7.1 |
Descontinuado | 1.2.13 | aneto | 0.3.8 | biblioteca dist | 0.3.9 |
árvore dm | 0.1.9 | docstring-to-markdown | 0,11 | pontos de entrada | 0,4 |
avaliar | 0.4.2 | executando | 0.8.3 | visão geral das facetas | 1.1.1 |
Farama-Notificações | 0.0.4 | fastapi | 0.115.12 | fastjsonschema | 2.21.1 |
roda de texto rápido | 0.9.2 | bloqueio de arquivo | 3.13.1 | Frasco | 2.2.5 |
buffers planos | 25.2.10 | ferramentas de fonte | 4.55.3 | fqdn | 1.5.1 |
lista congelada | 1.5.0 | especificação de fs | 2023.5.0 | futuro | 0.18.3 |
gast | 0.4.0 | gitdb | 4.0.11 | GitPython | 3.1.43 |
núcleo da API do Google | 2.20.0 | autenticação do Google | 2.38.0 | google-auth-oauthlib | 1.0.0 |
google-cloud-core | 2.4.3 | Google Cloud Storage | 2.10.0 | google-crc32c | 1.7.1 |
google-pasta | 0.2.0 | mídia resumível do Google | 2.7.2 | googleapis-common-protos | 1.65.0 |
gql | 3.5.2 | graphql-core | 3.2.4 | verdinha | 3.1.1 |
grpcio | 1.67.0 | status-grupo | 1.67.0 | gunicorn | 20.1.0 |
ginásio | 0.28.1 | h11 | 0.14.0 | h5py | 3.12.1 |
hjson | 3.1.0 | feriados | 0,54 | htmlmin | 0.1.12 |
httpcore | 1.0.2 | httplib2 | 0.20.4 | httpx | 0.27.0 |
hub de rostos abraçados | 0.30.2 | idna | 3.7 | Hash da imagem | 4.3.1 |
imagemio | 2.37.0 | aprendizado desequilibrado | 0.13.0 | importlib-metadata | 6.0.0 |
importlib_resources | 6.5.2 | flexionar | 7.3.1 | iniconfig | 1.1.1 |
ipyflow-core | 0.0.209 | ipykernel | 6.29.5 | ipython | 8.30.0 |
ipython-genutils | 0.2.0 | ipywidgets | 7.8.1 | isodato | 0.6.1 |
isoduração | 20.11.0 | é perigoso | 2.2.0 | jaraco.context | 5.3.0 |
jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 |
jedi | 0.19.2 | Jinja2 | 3.1.5 | tremor | 0.9.0 |
jmespath | 1.0.1 | joblib | 1.4.2 | joblibspark | 0.5.1 |
json5 | 0.9.25 | jsonpatch | 1,33 | ponteiro json | 3.0.0 |
esquema JSON | 4.23.0 | especificações-jsonschema | 2023.7.1 | eventos jupyter | 0.10.0 |
jupyter-lsp | 2.2.0 | cliente jupyter | 8.6.3 | jupyter_core | 5.7.2 |
servidor jupyter | 2.14.1 | jupyter_server_terminais | 0.4.4 | JupyterLab | 4.3.4 |
jupyterlab-pygments | 0.1.2 | widgets do JupyterLab | 1.0.0 | servidor jupyterlab | 2.27.3 |
Keras | 3.5.0 | kiwisolver | 1.4.8 | langchain | 0.3.21 |
núcleo da cadeia de lang | 0.3.55 | langchain-text-splitters | 0.3.8 | códigos de idioma | 3.5.0 |
langsmith | 0.1.133 | dados_de_idioma | 1.3.0 | launchpadlib | 1.11.0 |
lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | carregador preguiçoso | 0,4 |
libclang | 15.0.6.1 | Librosa | 0.10.2 | LightGBM | 4.5.0 |
utilidades de relâmpago | 0.14.3 | linkify-it-py | 2.0.0 | llvmlite | 0.44.0 |
lz4 | 4.3.2 | Mako | 1.2.0 | marisa-trie | 1.2.0 |
Markdown | 3.4.1 | markdown-it-py | 2.2.0 | MarkupSafe | 3.0.2 |
Matplotlib | 3.10.0 | matplotlib-inline | 0.1.7 | McCabe | 0.7.0 |
mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 | memória | 1.17.1 |
desafinação | 2.0.4 | ml_dtypes | 0.5.1 | mlflow-magro | 2.21.3 |
mmh3 | 5.1.0 | mais-itertools | 10.3.0 | mosaicml-CLI | 0.6.41 |
mosaicml-transmissão | 0.8.0 | mpmath | 1.3.0 | msal | 1.32.0 |
extensões msal | 1.3.1 | pacote de mensagens | 1.1.0 | multidict | 6.1.0 |
multimétodo | 1.12 | multiprocess | 0.70.16 | murmurhash | 1.0.12 |
mypy-extensões | 1.0.0 | nomex | 0.0.8 | nbclient | 0.8.0 |
nbconvert | 7.16.4 | nbformato | 5.10.4 | ninho-asyncio | 1.6.0 |
rede x | 3.4.2 | ninja | 1.11.1.1 | nltk | 3.9.1 |
ambiente nodeenv | 1.9.1 | notebook | 7.3.2 | notebook_shim | 0.2.3 |
número | 0.61.0 | numpy | 2.1.3 | nvidia-ml-py | 12.570.86 |
oauthlib | 3.2.0 | oci | 2.150.2 | openai | 1.40.2 |
censo aberto | 0.11.4 | contexto do censo aberto | 0.1.3 | API de telemetria aberta | 1.32.1 |
opentelemetry-sdk | 1.32.1 | convenções-semânticas-de-telemetria-abertas | 0,53b1 | opt_einsum | 3.4.0 |
optree | 0.15.0 | optuna | 3.6.1 | integração optuna | 3.6.0 |
orjson | 3.10.16 | substituições | 7.4.0 | embalagem | 24.1 |
Pandas | 2.2.3 | pandocfilters | 1.5.0 | paramiko | 3.4.0 |
parso | 0.8.4 | especificação de caminho | 0.10.3 | Patsy | 1.0.1 |
pexpect | 4.8.0 | phik | 0.12.4 | travesseiro | 11.1.0 |
pip | 25,0 | diretórios de plataforma | 3.10.0 | Plotly | 5.24.1 |
pluggy | 1.5.0 | pmdarima | 2.0.4 | cãozinho | 1.8.2 |
pré-apresentado | 3.0.9 | cliente prometheus | 0.21.0 | kit de ferramentas de prompt | 3.0.43 |
propcache | 0.2.0 | Prophet | 1.1.6 | proto-plus | 1.26.1 |
protobuf | 5.29.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
ptyprocess | 0.7.0 | avaliação pura | 0.2.2 | pura magia | 1,28 |
py-cpuinfo | 9.0.0 | py-spy | 0.4.0 | pyarrow | 19.0.1 |
pyarrow-hotfix | 0,6 | pyasn1 | 0.4.8 | módulos pyasn1 | 0.2.8 |
pybind11 | 2.13.6 | Pyccolo | 0,0,71 | pycparser | 2.21 |
pydântico | 2.10.6 | núcleo_pydantic | 2.27.2 | pyflakes | 3.2.0 |
Pigmentos | 2.15.1 | PyGObject | 3.48.2 | pyiceberg | 0.9.0 |
PyJWT | 2.10.1 | PyNaCl | 1.5.0 | pyodbc | 5.2.0 |
pyOpenSSL | 24.2.1 | pyparsing | 3.2.0 | pyright | 1.1.394 |
pytesseract | 0.3.10 | pytest | 8.3.5 | Python-dateutil | 2.9.0.post0 |
Editor Python | 1.0.4 | Python-JSON- logger | 3.2.1 | Python-lsp-jsonrpc | 1.1.2 |
Python- servidor lsp | 1.12.0 | Python-snappy | 0.7.3 | pytoolconfig | 1.2.6 |
PyTorch-ranger | 0.1.1 | pytz | 2024.1 | PyWavelets | 1.8.0 |
PyYAML | 6.0.2 | pyzmq | 26.2.0 | questionário | 2.1.0 |
raio | 2.37.0 | referenciando | 0.30.2 | regex | 2024.11.6 |
solicitações | 2.32.3 | requests-oauthlib | 1.3.1 | ferramentas-solicitações | 1.0.0 |
validador rfc3339 | 0.1.4 | validador rfc3986 | 0.1.1 | rico | 13.9.4 |
corda | 1.12.0 | rpds-py | 0.22.3 | rsa | 4.9.1 |
ruamel.yaml | 0.18.10 | ruamel.yaml.clib | 0.2.12 | s3transfer | 0.11.3 |
tensores de segurança | 0.5.3 | scikit-image | 0.25.0 | scikit-learn | 1.6.1 |
scipy | 1.15.1 | nascido no mar | 0.13.2 | Enviar para o lixo | 1.8.2 |
transformadores de frases | 3.0.1 | frase | 0.2.0 | ferramentas de configuração | 74.0.0 |
forma | 0.46.0 | Shellingham | 1.5.4 | JSON simples | 3.17.6 |
seis | 1.16.0 | sklearn-compat | 0.1.3 | fatiador | 0.0.8 |
aberto inteligente | 7.1.0 | mapa de memória | 5.0.0 | sniffio | 1.3.0 |
contêineres classificados | 2.4.0 | arquivo de som | 0.12.1 | peneira de sopa | 2,5 |
soxr | 0.5.0.post1 | espacial | 3.7.5 | legado espacial | 3.0.12 |
registradores spacy | 1.0.5 | SQLAlchemy | 2.0.37 | sqlparse | 0.4.2 |
sério | 2.5.1 | ssh-import-id | 5.11 | dados de pilha | 0.2.0 |
estanio | 0.5.1 | estrelinha | 0.46.2 | modelos estatísticos | 0.14.4 |
strictyaml | 1.7.3 | sympy | 1.13.3 | tabular | 0.9.0 |
tenacidade | 9.0.0 | TensorBoard | 2.19.0 | Servidor de dados TensorBoard | 0.7.2 |
tensorboardX | 2.6.2.2 | TensorFlow | 2.19.0 | estimador tensorflow | 2.15.0 |
termcolor | 3.0.1 | terminado | 0.17.1 | textual | 3.1.1 |
tf_keras | 2.19.0 | fino | 8.2.4 | threadpoolctl | 3.5.0 |
arquivo tiff | 12/12/2024 | token do tiktoken | 0.7.0 | tinycss2 | 1.4.0 |
tokenize_rt | 6.1.0 | tokenizadores | 0.21.1 | tomli | 2.0.1 |
tocha | 2.4.0+cpu | otimizador de tocha | 0.3.0 | torpedeiro | 0.0.7 |
torchmetrics | 1.4.0.post0 | visão de tocha | 0.19.0+cpu | tornado | 6.4.2 |
tqdm | 4.67.1 | traços | 5.14.3 | transformadores | 4.49.0 |
guarda tipográfica | 4.4.2 | digitador | 0.15.2 | tipos-Python-dateutil | 2.9.0.20241206 |
extensões_de_digitação | 4.12.2 | tzdata | 2024.1 | uc-micro-py | 1.0.1 |
ujson | 5.10.0 | atualizações não assistidas | 0,1 | uri-padrão | 1.3.0 |
urllib3 | 2.3.0 | uvicórnio | 0.34.2 | validadores | 0.34.0 |
ambiente virtual | 20.29.3 | visões | 0.8.1 | wadllib | 1.3.6 |
wasabi | 1.1.3 | largura do wc | 0.2.5 | doninha | 0.4.1 |
cores da web | 24.11.1 | codificações web | 0.5.1 | cliente websocket | 1.8.0 |
websockets | 11.0.3 | Ferramentas | 3.1.3 | whatthepatch | 1.0.2 |
Python wheel | 0.45.1 | widgetsnbextension | 3.6.6 | nuvem de palavras | 1.9.4 |
embrulhado | 1.17.0 | xgboost | 2.0.3 | xgboust-ray | 0.1.19 |
xxhash | 3.5.0 | yapf | 0.33.0 | yard | 1.18.0 |
ydata-profiling | 4.16.1 | zíper | 3.21.0 | zstd | 1.5.5.1 |
Biblioteca R
A biblioteca R é idêntica à biblioteca R do Databricks Runtime 17.0.
BibliotecaJava e Scala ( cluster Scala 2.12)
Além das bibliotecas Java e Scala presentes no Databricks Runtime 17.0, Databricks Runtime 17.0 ML contém os seguintes arquivos JAR:
clusters de CPU
ID do grupo | ID do artefato | Versão |
|---|---|---|
com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
ml.dmlc | xgboost4j_2.12 | 1.7.3 |
org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
org.mlflow | cliente mlflow | 2.15.1 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
clusters de GPUs
ID do grupo | ID do artefato | Versão |
|---|---|---|
com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
org.mlflow | cliente mlflow | 2.15.1 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |