Databricks Runtime 15,0 (EoS)
O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.
As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 15.0, alimentado por Apache Spark 3.5.0.
A Databricks lançou essa versão em março de 2024.
Estas notas sobre a versão podem incluir referências a recursos que não estão disponíveis no Google Cloud a partir desta versão.
Alterações importantes
A função PySpark spark.sql()
agora falha para tipos de argumentos inválidos
No Databricks Runtime 15.0 e posteriores, o parâmetro args
para parâmetros nomeados ou posicionais passados para a função spark.sql()
deve ser um dicionário ou uma lista. Se qualquer outro tipo de objeto for passado, o seguinte erro será gerado: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>
.
O armazenamento de biblioteca em DBFS root é obsoleto e desativado pelo default
Para aumentar a segurança da biblioteca em um Databricks workspace, o armazenamento de arquivos da biblioteca no DBFS root está obsoleto e desativado pelo default a partir do Databricks Runtime 15.0. Databricks recomenda fazer upload de toda a biblioteca, o que inclui Python biblioteca, JAR arquivos e Spark conectores, para workspace arquivos, Unity Catalog volumes ou usando um repositório pacote. Consulte Recomendações para upload de biblioteca.
Para reativar o armazenamento da biblioteca no site DBFS root, defina o seguinte parâmetro de configuração do site Spark: spark.databricks.driver.dbfsLibraryInstallationAllowed true
.
A versão do site default Python foi atualizada de 3.10 para 3.11.
Com o Databricks Runtime 15.0, a versão do default Python é 3.11.0. Para obter a lista de atualizações da Python biblioteca, consulte atualizações de biblioteca.
O JDK 11 foi removido
Conforme anunciado anteriormente, o JDK 11 foi removido do Databricks Runtime 15.0 e posterior. A Databricks recomenda a atualização para o JDK 17 ao atualizar para o Databricks Runtime 15.0 e posterior. Consulte Databricks SDK para Java.
O REPL do Python agora é encerrado de forma graciosa
Com o Databricks Runtime 15.0, o processo Python REPL do Notebook agora é encerrado graciosamente ao sair. Isso faz com que qualquer gancho de saída seja respeitado. Por exemplo, em um fluxo de trabalho com várias tarefas do Python Notebook, os ganchos de ajuste registrados na primeira tarefa são executados antes da execução da segunda tarefa do Python Notebook.
Novos recursos e melhorias
- A cláusula * (star) agora é suportada na cláusula WHERE
- A configuração
spark.sql.json.enablePartialResults
agora está habilitada pelo default - A biblioteca de clustering agora suporta arquivos requirements.txt
- Databricks CLI agora disponível no terminal da Web
- Adicionar repositórios default Python às configurações de clustering
A cláusula * (star) agora é suportada na cláusula WHERE
Agora você pode usar a cláusula star (*
) na cláusula WHERE
para referenciar todas as colunas da lista SELECT
.
Por exemplo, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)
.
A configuração spark.sql.json.enablePartialResults
agora está habilitada pelo default
A configuração Spark spark.sql.json.enablePartialResults
agora é ativada por default, permitindo que o analisador JSON trate corretamente os erros de análise de tipos complexos, como struct, map e array, sem descartar os campos restantes. Essa alteração corrige um problema de consistência para JSON fonte de dados com poda de coluna.
A biblioteca de clustering agora suporta arquivos requirements.txt
Agora, o senhor pode instalar a biblioteca de clustering usando um arquivo requirements.txt
armazenado em um arquivo workspace ou volume Unity Catalog. No clustering de modo de acesso Dedicado e Padrão , o arquivo requirements.txt
pode fazer referência a outros arquivos. No clustering de modo de acesso compartilhado sem isolamento , somente o pacote PyPI é suportado. Ver biblioteca de agrupamento.
Databricks CLI agora disponível no terminal da Web
Agora o senhor pode usar o Databricks CLI a partir do terminal da Web no Notebook. O notebook deve ser conectado a um cluster no modo de acesso compartilhado Dedicado ou Sem isolamento. Para obter detalhes, consulte Usar o terminal da Web e a CLI do Databricks.
Adicionar repositórios default Python às configurações de clustering
Em Databricks Runtime 15.0 e posteriores, o senhor pode configurar parâmetros globais pip index-url
e extra-index-url
para instalação de biblioteca em cluster e com escopo de Notebook ao configurar um cluster ou definir uma política de cluster. Para isso, defina a variável de ambiente DATABRICKS_PIP_INDEX_URL
e DATABRICKS_PIP_EXTRA_INDEX_URL
.
Atualizações da biblioteca
-
Atualizado Python biblioteca:
- preto de 22.6.0 a 23.3.0
- boto3 de 1.24.28 a 1.34.39
- botocore de 1.27.96 a 1.34.39
- certificado de 2022.12.7 a 2023.7.22
- criptografia de 39.0.1 a 41.0.3
- databricks-sdk de 0.1.6 para 0.20.0
- distlib de 0.3.7 a 0.3.8
- googleapis-common-protos de 1.62.0 a 1.63.0
- grpcio de 1.48.2 a 1.60.0
- grpcio-status de 1.48.1 a 1.60.0
- importlib-metadata de 4.6.4 a 6.0.0
- ipykernel de 6.25.0 a 6.25.1
- ipython de 8.14.0 a 8.15.0
- ipywidgets de 7.7.2 a 8.0.4
- jupyter_core de 5.2.0 a 5.3.0
- jupyterlab-widgets de 1.0.0 a 3.0.5
- matplotlib de 3.7.0 a 3.7.2
- Pandas De 1.5.3 para 2.0.3
- pip de 22.3.1 a 23.2.1
- platformdirs de 2.5.2 a 3.10.0
- protobuf de 4.24.0 a 4.24.1
- pyarrow de 8.0.0 a 14.0.1
- Pigmentos de 2.11.2 a 2.15.1
- pyodbc de 4.0.32 para 4.0.38
- solicitações de 2.28.1 a 2.31.0
- s3transfer de 0.6.2 para 0.10.0
- scikit-learn de 1.1.1 para 1.3.0
- scipy de 1.10.0 a 1.11.1
- ferramentas de configuração de 65.6.3 a 68.0.0
- modelos estatísticos de 0.13.5 a 0.14.0
- tenacidade a partir de 8.1.0 para 8.2.2
- tornado de 6.1 para 6.3.2
- typing_extensions de 4.4.0 a 4.7.1
- urllib3 de 1.26.14 a 1.26.16
- virtualenv de 20.16.7 a 20.24.2
- extensão widgetsnb de 3.6.1 para 4.0.5
- zipp de 1.0.0 a 3.11.0
-
Biblioteca R atualizada:
- seta de 12.0.1 a 14.0.0.2
- askpass de 1.1 a 1.2.0
- base de 4.3.1 a 4.3.2
- fermentar de 1,0-8 a 1,0-10
- brio a partir de 1.1.3 para 1.1.4
- bslib de 0.5.0 a 0.6.1
- CLI De 3.6.1 para 3.6.2
- marca comum de 1.9.0 a 1.9.1
- compilador de 4.3.1 a 4.3.2
- configuração de 0.3.1 a 0.3.2
- cpp11 de 0.4.4 a 0.4.7
- credenciais de 1.3.2 a 2.0.1
- curl de 5.0.1 a 5.2.0
- data.table de 1.14.8 a 1.15.0
- conjunto de dados de 4.3.1 para 4.3.2
- DBI de 1.1.3 para 1.2.1
- dbplyr de 2.3.3 a 2.4.0
- desc de 1.4.2 a 1.4.3
- resumo de 0.6.33 a 0.6.34
- dplyr a partir de 1.1.2 para 1.1.4
- e1071 de 1,7-13 a 1,7-14
- avaliar de 0,21 a 0,23
- fansi de 1.0.4 a 1.0.6
- fontawesome de 0.5.1 a 0.5.2
- fs de 1.6.2 a 1.6.3
- futuro de 1.33.0 a 1.33.1
- future.apply de 1.11.0 a 1.11.1
- gargareje de 1.5.1 a 1.5.2
- vá de 1.9.2 para 2.0.1
- ggplot2 de 3.4.2 a 3.4.4
- glmnet de 4.1-7 a 4.1-8
- cola de 1.6.2 a 1.7.0
- gráficos de 4.3.1 a 4.3.2
- GRDevices de 4.3.1 a 4.3.2
- grade de 4.3.1 a 4.3.2
- tabela de 0.3.3 a 0.3.4
- hardhat de 1.3.0 a 1.3.1
- refúgio de 2.5.3 a 2.5.4
- htmltools de 0.5.5 a 0.5.7
- htmlwidgets de 1.6.2 a 1.6.4
- httpuv de 1.6.11 a 1.6.14
- httr de 1.4.6 a 1.4.7
- httr2 de 0.2.3 a 1.0.0
- jsonlite de 1.8.7 a 1.8.8
- knitr de 1,43 a 1,45
- rótulo de 0.4.2 para 0.4.3
- mais tarde de 1.3.1 para 1.3.2
- lava de 1.7.2.1 a 1.7.3
- ciclo de vida de 1.0.3 a 1.0.4
- ouvindo de 0.9.0 a 0.9.1
- lubrificar de 1.9.2 a 1.9.3
- markdown de 1,7 a 1,12
- métodos de 4.3.1 a 4.3.2
- openssl de 2.0.6 a 2.1.1
- paralelo de 4.3.1 a 4.3.2
- pkgbuild de 1.4.2 a 1.4.3
- pkgload de 1.3.2.1 a 1.3.4
- plyr de 1.8.8 para 1.8.9
- unidades bonitas de 1.1.1 a 1.2.0
- ProC de 1.18.4 a 1.18.5
- processos de 3.8.2 a 3.8.3
- prodlim de 2023.03.31 a 2023.08.28
- progresso de 1.2.2 para 1.2.3
- progressor de 0.13.0 para 0.14.0
- promessas de 1.2.0.1 a 1.2.1
- ps de 1.7.5 a 1.7.6
- purrr de 1.0.1 a 1.0.2
- ragg de 1.2.5 a 1.2.7
- Rcpp de 1.0.11 a 1.0.12
- RCPPeigen de 0.3.3.9.3 a 0.3.3.9.4
- leitor a partir de 2.1.4 para 2.1.5
- receitas de 1.0.6 a 1.0.9
- revanche de 1.0.1 para 2.0.0
- remotos de 2.4.2 a 2.4.2.1
- reprex de 2.0.2 a 2.1.0
- rlang de 1.1.1 a 1.1.3
- rmarkdown de 2.23 para 2.25
- RODBC de 1,3-20 a 1,3-23
- roxygen2 de 7.2.3 a 7.3.1
- rprojroot de 2.0.3 a 2.0.4
- Reserve de 1,8-11 a 1,8-13
- RSQLite de 2.3.1 a 2.3.5
- sass de 0.4.6 a 0.4.8
- escala de 1.2.1 para 1.3.0
- brilhante de 1.7.4.1 a 1.8.0
- Sparklyr da versão 1.8.1 para a 1.8.4
- splines de 4.3.1 a 4.3.2
- estatísticas de 4.3.1 a 4.3.2
- stats4 de 4.3.1 a 4.3.2
- stringi de 1.7.12 a 1.8.3
- stringr de 1.5.0 a 1.5.1
- systemfonts de 1.0.4 a 1.0.5
- tcltk de 4.3.1 a 4.3.2
- testthat a partir de 3.1.10 para 3.2.1
- modelagem de texto de 0.3.6 a 0.3.7
- tidyr de 1.3.0 a 1.3.1
- mudança de horário de 0.2.0 para 0.3.0
- Horário/Data de 4022.108 a 4032.109
- tinytex de 0,45 a 0,49
- ferramentas de 4.3.1 a 4.3.2
- utf8 de 1.2.3 a 1.2.4
- utilitários de 4.3.1 a 4.3.2
- uuid de 1,1-0 a 1,2-0
- vctrs de 0.6.3 a 0.6.5
- vroom de 1.6.3 a 1.6.5
- waldo de 0.5.1 a 0.5.2
- com de 2.5.0 a 3.0.0
- xfun de 0,39 a 0,41
- xml2 de 1.3.5 a 1.3.6
- yaml de 2.3.7 a 2.3.8
- zip de 2.3.0 a 2.3.1
-
Atualizado Java biblioteca:
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.15.1 a 2.16.0
- com.google.flatbuffers.flatbuffers-java de 1.12.0 a 23.5.26
- com.typesafe.config de 1.2.1 a 1.4.3
- org.apache.ant.ant de 1.9.16 a 1.10.11
- org.apache.ant.ant-jsch de 1.9.16 a 1.10.11
- org.apache.ant.ant-launcher de 1.9.16 a 1.10.11
- org.apache.arrow.arrow-format de 12.0.1 a 15.0.0
- org.apache.arrow.arrow-memory-core de 12.0.1 a 15.0.0
- org.apache.arrow.arrow-memory-netty de 12.0.1 a 15.0.0
- org.apache.arrow.arrow-vector de 12.0.1 a 15.0.0
- org.apache.avro.avro de 1.11.2 a 1.11.3
- org.apache.avro.avro-ipc de 1.11.2 a 1.11.3
- org.apache.avro.avro-mapred de 1.11.2 a 1.11.3
- org.apache.logging.log4j.log4j-1.2-api de 2.20.0 a 2.22.1
- org.apache.logging.log4j.log4j-api de 2.20.0 a 2.22.1
- org.apache.logging.log4j.log4j-core de 2.20.0 a 2.22.1
- org.apache.logging.log4j.log4j-slf4j2-impl de 2.20.0 a 2.22.1
- org.postgresql.postgresql de 42.6.0 a 42.6.1
Apache Spark
O Databricks Runtime 15.0 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.3 LTS, bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:
- [SPARK-45527] [DBRRM-805][es-1073714] Reverter "[SC-151626][core] Use fraction to do the recurso calculation"
- [SPARK-47102] [DBRRM-803][sc-158253][SQL] Adicionar o sinalizador de configuração
COLLATION_ENABLED
- [SPARK-46973] [SC-158140][dbrrm-777][SQL] Ignorar pesquisa de tabela V2 quando uma tabela estiver no cache de tabela V1
- [SPARK-46808] [SC-154113][Python] Refine as classes de erro em Python com a função de classificação automática
- [SPARK-47251] [SC-158291][Python] Bloquear tipos inválidos do argumento
args
para o comandosql
- [SPARK-47251] [SC-158121][Python] Bloquear tipos inválidos do argumento
args
para o comandosql
- [SPARK-47108] [SC-157204] [core] Defina
derby.connection.requireAuthentication
comofalse
explicitamente em CLIs - [SPARK-45599] [SC-157537] [core] Use igualdade de objetos no OpenHashset
- [SPARK-47099] [SC-157352] [sql] Use
ordinalNumber
para definir uniformemente o valor deparamIndex
para a classe de erroUNEXPECTED_INPUT_TYPE
- [SPARK-46558] [SC-151363] [connect] Extraia uma função auxiliar para eliminar o código duplicado que recupera
MessageParameters
deErrorParams
emGrpcExceptionConverter
- [SPARK-43117] [SC-156177] [conectar] Faça com que
ProtoUtils.abbreviate
suporte campos repetidos - [SPARK-46342] [SC-150283] [sql] Substitua
IllegalStateException
porSparkException.internalError
em sql - [SPARK-47123] [SC-157412] [core] O JDBCRDD não trata corretamente os erros em getQueryOutputSchema
- [SPARK-47189] [SC-157667] [sql] Ajuste os nomes e o texto dos erros das colunas
- [SPARK-45789] [SC-157101][sql] Suporte DESCRIBE TABLE para colunas clustering
- [SPARK-43256] [SC-157699] [sql] Remover classe de erro _LEGACY_ERROR_TEMP_2021
- [SPARK-47201] [SC-157782][Python][CONNECT]
sameSemantics
verifica os tipos de entrada - [SPARK-47183] [SC-157660][Python] Corrigir a classe de erro para
sameSemantics
- [SPARK-47179] [SC-157663] [sql] Melhore a mensagem de erro do SparkThrowableSuite para melhorar a depuração
- [SPARK-46965] [SC-155791] [core] Marque
logType
emUtils.getLog
- [SPARK-46832] [SC-156774] [sql] Apresentando expressões de agrupamento e agrupamento
- [SPARK-46946] [SC-155721][sql] Suporte à transmissão de várias chaves de filtragem no DynamicPruning
- [SPARK-47079] [VARIANT-22][sc-157598][Python][sql][CONNECT] Adicionar informações sobre o tipo de variante ao PySpark
- [SPARK-47101] [SC-157360] [sql] Permita que vírgula seja usada em nomes de colunas de nível superior e remova a verificação da definição de tipo aninhado em
HiveExternalCatalog.verifyDataSchema
- [SPARK-47173] [SC-157571][ss][UI] Corrigir um erro de digitação na explicação da UI de transmissão
- [SPARK-47113] [SC-157348][core] Reverter a lógica de correção do S3A endpoint do SPARK-35878
- [SPARK-47130] [SC-157462][core] Use listStatus para ignorar as informações de localização do bloco ao limpar o driver logs
- [SPARK-43259] [SC-157368] [sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_2024
- [SPARK-47104] [SC-157355] [sql]
TakeOrderedAndProjectExec
deve inicializar a projeção insegura - [SPARK-47137] [SC-157463][Python][CONNECT] Adicionar getAll ao spark.conf para paridade de recurso com Scala
- [SPARK-46924] [SC-154905][core] Corrigir o botão
Load New
na interface de registroMaster/HistoryServer
- [SPARK-47069] [SC-157370][Python][CONNECT] Introduzir
spark.profile.show/dump
para criação de perfis com base em SparkSession - [SPARK-46812] [SC-157075][sql][Python] Fazer com que o mapInPandas / mapInArrow suporte o ResourceProfile
- [SPARK-46833] [SC-155866] [sql] Agrupamentos - Apresentando o CollationFactory, que fornece regras de comparação e hash para agrupamentos suportados
- [SPARK-47057] [SC-157036][Python] Teste de dados do MyPy reestruturável
- [SPARK-46934] [SC-157084][sql] Roundtrip de leitura/gravação para o tipo struct com caracteres especiais com HMS
- [SPARK-46727] [SC-153472][sql] Porta
classifyException()
em dialetos JDBC em classes de erro - [SPARK-46964] [SC-155740] [sql] Altere a assinatura do erro de execução da consulta HllInvalidLgk para usar um inteiro como quarto argumento
- [SPARK-46949] [SC-155719] [sql] Suporte CHAR/VARCHAR por meio de resolveDefaultColumns
- [SPARK-46972] [SC-155888] [sql] Corrige a substituição assimétrica de char/varchar em v2SessionCatalog.createTable
- [SPARK-47014] [SC-156778][Python][CONNECT] Implementar os métodos dumpPerfProfiles e dumpMemoryProfiles do SparkSession
- [SPARK-46689] [SC-156221][spark-46690][Python][connect] Suporte à criação de perfil v2 em grupo/cogrupo applyInPandas/applyInArrow
- [SPARK-47040] [SC-156773][connect] Permitir que o script do servidor Spark Connect aguarde
- [SPARK-46688] [SC-156113][spark-46691][Python][connect] Suporte à criação de perfil v2 no agregado Pandas UDFs
- [SPARK-47004] [SC-156499][connect] Adicionados mais testes ao ClientStreamingQuerySuite para aumentar a cobertura de testes do cliente Scala
- [SPARK-46994] [SC-156169][Python] Refatore o PythonWrite para se preparar para suportar Python fonte de dados transmissão write
- [SPARK-46979] [SC-156587][ss] Adicionar suporte para especificar key e codificador de valor separadamente e também para cada família de cores em RocksDB armazenamento do estado provider
- [SPARK-46960] [SC-155940][ss] Testando a transmissão de várias entradas com o operador TransformWithState
- [SPARK-46966] [SC-156112][Python] Adicionar UDTF API para o método 'analyze' para indicar o subconjunto de colunas da tabela de entrada a ser selecionado
- [SPARK-46895] [SC-155950][core] Substituir o Timer por um executor agendado de thread único
- [SPARK-46967] [SC-155815][core][UI] Ocultar
Thread Dump
eHeap Histogram
do executorDead
na UIExecutors
- [SPARK-46512] [SC-155826] [core] Otimize a leitura aleatória quando a classificação e a combinação são usadas.
- [SPARK-46958] [SC-155942][sql] Adicionar o fuso horário ausente para coagir os valores de default
- [SPARK-46754] [SC-153830][sql][AVRO] Corrigir a resolução do código de compressão na definição da tabela avro e nas opções de gravação
- [SPARK-46728] [SC-154207][Python] Verifique se a instalação do Pandas está correta
- [SPARK-43403] [SC-154216] [ui] Certifique-se de que o antigo SparkUI no HistoryServer tenha sido desanexado antes de carregar um novo
- [SPARK-39910] [SC-156203] [sql] Delegar a qualificação do caminho ao sistema de arquivos durante a globalização do caminho do arquivo DataSource
- [SPARK-47000] [SC-156123] Reverter “[SC-156123] [core] Use
getTotalMemorySize
... - [SPARK-46819] [SC-154560][core] Mover categorias e estados de erro para JSON
- [SPARK-46997] [SC-156175][core] Habilitar
spark.worker.cleanup.enabled
por default - [SPARK-46865] [SC-156168][ss] Adicionar suporte a lotes para o operador TransformWithState
- [SPARK-46987] [SC-156040][connect]
ProtoUtils.abbreviate
evite operaçõessetField
desnecessárias - [SPARK-46970] [SC-155816] [core] Reescreva
OpenHashSet#hasher
compattern matching
- [SPARK-46984] [SC-156024][Python] Remover PySpark.copy_func
- [SPARK-47000] [SC-156123] [core] Use
getTotalMemorySize
emWorkerArguments
- [SPARK-46980] [SC-155914][sql][MINOR] Evite usar APIs internas em testes de ponta a ponta de dataframe
- [SPARK-46931] Reverter “[SC-155661] [ps] Implementar
{Frame, Series}.to_hdf
” - [SPARK-46618] [SC-153828] [sql] Melhore as mensagens de erro para o erro DATA_SOURCE_NOT_FOUND
- [SPARK-46849] [SC-154586][sql] otimizador de execução em CREATE TABLE coluna padrão
- [SPARK-46911] [SC-155724] [ss] Adicionando o operador deleteIfExists ao StatefulProcessorHandleImpl
- [SPARK-43273] [SQL] Suporte ao codec de compressão
lz4raw
para Parquet - [SPARK-47002] [SC-156223][Python] Retornar uma mensagem de erro melhor se o campo 'orderBy' do método 'analyze' do UDTF retornar acidentalmente uma lista de strings
- [SPARK-46890] [SC-155802][sql] Corrigir o bug de análise CSV com a existência de valores default e poda de coluna
- [SPARK-46977] [SC-155892][core] Uma solicitação com falha para obter tokens de um NameNode não deve ignorar as solicitações de tokens subsequentes
- [SPARK-46608] [SC-151806] [sql] Restaure a compatibilidade com versões anteriores do
JdbcDialect.classifyException
- [SPARK-46908] [SC-155702] [sql] Suporta a cláusula star na cláusula WHERE
- [SPARK-46908] [SC-155702] [sql] Suporta a cláusula star na cláusula WHERE
- [SPARK-46852] [SC-155665][ss] Remover o uso do codificador key explícito e passá-lo implicitamente ao operador para o operador transformWithState
- [SPARK-46864] [SC-155669] [ss] Integre o Arbitrary StateV2 à nova estrutura de classes de erro
- [SPARK-45807] [SC-155706][sql] Retorna a visualização após chamar replaceView(..)
- [SPARK-46899] [SC-154651][core] Remova as APIs
POST
deMasterWebUI
quandospark.ui.killEnabled
forfalse
- [SPARK-46868] [SC-154539][core] Suporte a Spark log UI do trabalhador
- [SPARK-46931] [SC-155661] [ps] Implementar
{Frame, Series}.to_hdf
- [SPARK-46940] [SC-155667] [core] Remova
updateSparkConfigFromProperties
eisAbsoluteURI
não utilizados emo.a.s.u.Utils
- [SPARK-46929] [SC-155659][core][CONNECT][ss] Use ThreadUtils.shutdown para fechar o pool de threads
- [SPARK-46400] [SC-155658][core][SQL] Quando houver arquivos corrompidos no repositório local Maven, ignore esse cache e tente novamente
- [SPARK-46932] [SC-155655] Limpar as importações em
pyspark.pandas.test_*
- [SPARK-46683] [SC-154120] Escreva um gerador de subconsultas que gere permutações de subconsultas para aumentar a cobertura do teste
- [SPARK-46914] [SC-154776][ui] Reduzir o nome do aplicativo na tabela de resumo da página de história
- [SPARK-46831] [SC-154699] [sql] Agrupamentos - Estendendo StringType e PhysicalStringType com o campo collationID
- [SPARK-46816] [SC-154415] [ss] Adicione suporte básico para novo operador de gerenciamento de estado arbitrário, tipo único ValueState, várias variáveis de estado e suporte subjacente para famílias de colunas para RocksDBStateStoreProvider com/sem checkpoint do changelog
- [SPARK-46925] [SC-154890][Python][CONNECT] Adicionar um aviso que instrui a instalação do memory_profiler para a criação de perfis de memória
- [SPARK-46927] [SC-154904][Python] Fazer
assertDataFrameEqual
funcionar corretamente sem o PyArrow - [SPARK-46021] [SC-148987][core] Suporte ao cancelamento de trabalhos futuros pertencentes a um grupo de trabalhos
- [SPARK-46747] [SC-154789][sql] Evite a varredura em getTableExistsQuery para dialetos JDBC
- [SPARK-46904] [SC-154704][ui] Corrigir o problema de exibição do resumo da IU da história
- [SPARK-46870] [SC-154541][core] Suporte Spark Master log UI
- [SPARK-46893] [SC-154780] [ui] Remover scripts embutidos das descrições da interface
- [SPARK-46910] [SC-154760][Python] Eliminar o requisito de JDK na instalação do PySpark
- [SPARK-46907] [SC-154736][core] Mostrar localização do driver log em Spark história Server
- [SPARK-46902] [SC-154661][ui] Corrigir Spark história Server UI por usar setAppLimit não exportado
- [SPARK-46687] [SC-154725][Python][CONNECT] Suporte básico do criador de perfil de memória baseado em SparkSession
- [SPARK-46623] [SC-153831][core][MLlib][sql] Substituir SimpleDateFormat por DateTimeFormatter
- [SPARK-46875] [SC-154627] [sql] Quando o
mode
é nulo, umNullPointException
deve ser lançadonot
- [SPARK-46872] [SC-154543] [core] Recupere
log-view.js
para não ser um módulo - [SPARK-46883] [SC-154629][core] Suporte à API
/json/clusterutilization
- [SPARK-46886] [SC-154630][core] Habilitar
spark.ui.prometheus.enabled
por default - [SPARK-46873] [SC-154638][ss] Não recriar um novo StreamingQueryManager para a mesma sessão do Spark
- [SPARK-46829] [SC-154419] [core] Remova CreateExecutorEnv do SparkEnv
- [SPARK-46827] [SC-154280] [core] Faça
RocksDBPersistenceEngine
para suportar um link simbólico - [SPARK-46903] [SC-154662][core] Suporte Spark história Server log UI
- [SPARK-46874] [SC-154646][Python] Remover a dependência
pyspark.pandas
doassertDataFrameEqual
- [SPARK-46889] [SC-154639] [core] Validar a configuração
spark.master.ui.decommission.allow.mode
- [SPARK-46850] [SC-154443] [sql] Converter
_LEGACY_ERROR_TEMP_2102
emUNSUPPORTED_DATATYPE
- [SPARK-46704] [SC-153323] [core] [UI] Corrija
MasterPage
para classificar a tabelaRunning Drivers
pela colunaDuration
corretamente - [SPARK-46796] [SC-154279] [ss] Verifique se os arquivos remotos estão corretos (mencionados em metadata.zip) são usados no carregamento da versão do RocksDB
- [SPARK-46888] [SC-154636] [core] Corrija
Master
para rejeitar solicitações/workers/kill/
se a desativação estiver desativada - [SPARK-46818] [SC-154422] [sql] Melhore as mensagens de erro para Range com entradas não dobráveis
- [SPARK-46898] [SC-154649][connect] Simplifique as transformações da função protobuf no Planner
- [SPARK-46828] [SC-154413][sql] Remover a afirmação inválida do modo remoto para o shell spark sql
- [SPARK-46733] [SC-154274][core] Simplifique o BlockManager para que as operações de saída dependam apenas da thread de interrupção.
- [SPARK-46777] [SC-154016][ss] Refatorar a estrutura do catalisador
StreamingDataSourceV2Relation
para ficar mais parecida com a versão lotes - [SPARK-46515] [SC-151716] Adicionar função MONTHNAME
- [SPARK-46823] [SC-154276][connect][Python]
LocalDataToArrowConversion
deve verificar a anulabilidade - A função [SPARK-46787] [SC-154404] [connect]
bloomFilter
deve lançarAnalysisException
para entrada inválida - [SPARK-46779] [SC-154045] [sql]
InMemoryRelation
instâncias do mesmo plano em cache devem ser semanticamente equivalentes - [SPARK-45827] [SC-153973] Proibir particionamento na coluna Variant
- [SPARK-46797] [SC-154085] [core] Renomeie
spark.deploy.spreadOut
paraspark.deploy.spreadOutApps
- [SPARK-46094] [SC-153421] Suporte ao perfil de JVM do executor
- [SPARK-46746] [SC-153557][sql][AVRO] Anexar extensão de codec aos arquivos de fonte de dados avro
- [SPARK-46698] [SC-153288][core] Substituir o Timer por um executor agendado de thread único para ConsoleProgressBar.
- [SPARK-46629] [SC-153835] Correção para que o DDL do tipo STRUCT não detectasse nulidade e comentário
- [SPARK-46750] [SC-153772][connect][Python] DataFrame APIs code clean up
- [SPARK-46769] [SC-153979] [sql] Refine a inferência de esquema relacionada ao timestamp
- [SPARK-46765] [SC-153904][Python][CONNECT] Make
shuffle
specify the datatype ofseed
- [SPARK-46579] [SC-151481][sql] Reduzir JDBC url em erros e logs
- [SPARK-46686] [SC-153875][Python][CONNECT] Suporte básico do perfil SparkSession baseado em Python UDF
- [SPARK-46748] Reverter “[SC-153800] [core] Remova o script
*sla***.sh
... - [SPARK-46707] [SC-153833] [sql] Adicionado campo lançável às expressões para melhorar a redução de predicados
- [SPARK-46519] [SC-151278] [sql] Limpar classes de erro não utilizadas do arquivo
error-classes.json
- [SPARK-46677] [SC-153426] [sql] [CONNECT] Corrige a resolução
dataframe["*"]
- [SPARK-46317] [SC-150184][Python][CONNECT] Corresponder a um comportamento menor em SparkSession com cobertura de teste completa
- [SPARK-46748] [SC-153800] [núcleo] Remover scripts
*sla***.sh
- [SPARK-46663] [SC-153490][Python] Desativar o profiler de memória para Pandas UDFs com iteradores
- [SPARK-46410] [SC-150776] [sql] Atribuir classes/subclasses de erro a jdbcutils.ClassifyException
- [SPARK-46277] [SC-150126][Python] Validar urls startup com a configuração definida
- [SPARK-46612] [SC-153536][sql] Não converter strings do tipo array recuperadas do driver JDBC
- [SPARK-46254] [SC-149788][Python] Remover verificação de versão obsoleta do Python 3.8/3.7
- [SPARK-46490] [SC-151335] [sql] Exigir classes de erro nas subclasses
SparkThrowable
- [SPARK-46383] [SC-153274] [sc-147443] [WARMFIX] Reduza o uso da pilha de drivers reduzindo a vida útil de
TaskInfo.accumulables()
- [SPARK-46541] [SC-153109][sql][CONNECT] Corrigir a referência de coluna ambígua em self join
- [SPARK-46381] [SC-150495] [sql] Migrar subclasses de
AnalysisException
para classes de erro - [SPARK-46351] [SC-150335] [sql] Exigir uma classe de erro em
AnalysisException
- [SPARK-46220] [SC-149689] [sql] Restringir conjuntos de caracteres em
decode()
- [SPARK-46369] [SC-150340] [core] Remova o link
kill
dos driversRELAUNCHING
emMasterPage
- [SPARK-46052] [SC-153284] [core] Remover a função TaskScheduler.killAllTaskAttempts
- [SPARK-46536] [SC-153164] [sql] GRUPO DE SUPORTE POR CALENDAR_INTERVAL_TYPE
- [SPARK-46675] [SC-153209] [sql] Remova o InferTimestampNTZ não utilizado no ParquetReadSupport
- [SPARK-46717] [SC-153423][core] Simplifique o site
ReloadingX509TrustManager
para que as operações de saída dependam apenas da thread de interrupção. - [SPARK-46722] [SC-153438][connect] Adicionar um teste referente à verificação de compatibilidade com versões anteriores do StreamingQueryListener no Spark Connect (Scala/PySpark)
- [SPARK-46187] [SC-149580] [sql] Alinhe a implementação codegen e não codegen de
StringDecode
- [SPARK-46258] [SC-149799] [core] Adicionar
RocksDBPersistenceEngine
- [SPARK-46216] [SC-149676] [core] Melhore o
FileSystemPersistenceEngine
para suportar compressões - [SPARK-46189] [SC-149567][ps][SQL] Realizar comparações e aritmética entre os mesmos tipos em várias funções agregadas do Pandas para evitar erros de modo interpretado
- [SPARK-46184] [SC-149563][core][SQL][connect][MLlib] Reduzir a profundidade da pilha ao substituir Option.isDefined por Option.isEmpty
- [SPARK-46700] [SC-153329][core] Contar o último derramamento para o disco aleatório derramando bytes métricas
- [SPARK-45642] [SC-150286][core][SQL] Correção
FileSystem.isFile & FileSystem.isDirectory is deprecated
- [SPARK-46640] [SC-153272] [sql] Corrija RemoveRedundantAlias excluindo atributos de subconsulta
- [SPARK-46681] [SC-153287] [core] Refatore
ExecutorFailureTracker#maxNumExecutorFailures
para evitar o cálculo dedefaultMaxNumExecutorFailures
quandoMAX_EXECUTOR_FAILURES
está configurado - [SPARK-46695] [SC-153289] [sql] [HIVE] Sempre definindo hive.execution.engine para mr
- [SPARK-46325] [SC-150228] [connect] Remova funções de substituição desnecessárias ao construir
WrappedCloseableIterator
emResponseValidator#wrapIterator
- [SPARK-46232] [SC-149699][Python] Migrar todos os ValueError restantes para a estrutura de erros PySpark.
- [SPARK-46547] [SC-153174][ss] Engolir exceção não fatal na tarefa de manutenção para evitar deadlock entre o thread de manutenção e o operador de agregação de transmissão
- [SPARK-46169] [SC-149373][ps] Atribuir números JIRA apropriados para parâmetros ausentes da API
DataFrame
. - [SPARK-45857] [SC-148096] [sql] Aplique as classes de erro nas subclasses de
AnalysisException
Suporte ao driver ODBC/JDBC da Databricks
A Databricks é compatível com drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e da atualização do site (download ODBC, download JDBC).
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 15.0.
Ambiente do sistema
- Sistema operacional : Ubuntu 22.04.4 LTS
- Java : Zulu 8.74.0.17-CA-linux64
- Scala : 2.12.15
- Python : 3.11.0
- R : 4.3.2
- Delta Lake : 3.1.0
Instalado Python biblioteca
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
asttokens | 2.0.5 | atunparse | 1.6.3 | núcleo do azure | 1.30,1 |
azure-storage-blob | 12.19.1 | azure-storage-file-datalake | 12,14.0 | chamada de volta | 0.2.0 |
preto | 23,3,0 | pisca-pisca | 1.4 | boto3 | 1,34,39 |
botocore | 1,34,39 | ferramentas de cache | 5.3.3 | certifi | 2023,7,22 |
caffi | 1.15.1 | chardet | 4.0.0 | normalizador de conjuntos de caracteres | 2.0.4 |
clique | 8.0.4 | salmoura | 2.2.1 | comunicações | 0.1.2 |
contornar | 1.0.5 | criptografia | 41,0.3 | ciclador | 0.11.0 |
Cython | 0,29,32 | databricks-sdk | 0,20,0 | dbus-Python | 1.2.18 |
depurar | 1.6.7 | decorador | 5.1.1 | distlib | 0.3.8 |
pontos de entrada | 0,4 | execução | 0,8.3 | visão geral das facetas | 1.1.1 |
bloqueio de arquivo | 3.13.1 | ferramentas de fonte | 4,25.0 | gitdb | 4.0.11 |
GitPython | 3,1,42 | google-api-core | 2.17.1 | autenticação do Google | 2.28.2 |
google-cloud-core | 2.4.1 | Google Cloud Storage | 2.15.0 | google-crc32c | 1.5.0 |
mídia retomável do Google | 2.7.0 | googleapis-common-protos | 1,63,0 | grócio | 1,60,0 |
status de grpcio | 1,60,0 | httplib2 | 0,20.2 | Índia | 3.4 |
importlib-metadados | 6.0.0 | núcleo ipyflow | 0,0.198 | ipykernel | 6.25.1 |
ipython | 8.15.0 | ipywidgets | 8.0.4 | isodato | 0.6.1 |
jedi | 0,18.1 | jeepney | 0.7.1 | jmespath | 0.10.0 |
joblib | 1.2.0 | jupyter_client | 7.4.9 | jupyter_core | 5.3.0 |
widgets jupyterlab | 3.0.5 | chaveiro | 23,5,0 | solucionador de kiwi | 1.4.4 |
launchpadlib | 1,10,16 | lazr.restfulclient | 0,14.4 | lazr.uri | 1.0.6 |
Matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | malflow-skinny | 2.11.1 |
mais ferramentas de iteração | 8.10.0 | extensões mypy | 0.4.3 | nest-assíncio | 1.5.6 |
entorpecido | 1,23,5 | oauthlib | 3.2.0 | fazendo às malas | 23,2 |
Pandas | 2.0.3 | parso | 0,8.3 | especificação do caminho | 0.10.3 |
bode expiatório | 0.5.3 | esperar | 4.8.0 | picles | 0.7.5 |
Travesseiro | 9.4.0 | pip | 23.2.1 | platformdirs | 3.10.0 |
Plotly | 5.9.0 | kit de ferramentas de aviso | 3,0,36 | protobuf | 4.24.1 |
pistila | 5.9.0 | psycopg2 | 2.9.3 | processo pty | 0.7.0 |
avaliação pura | 0.2.2 | flecha | 14,0.1 | pyasn1 | 0.4.8 |
módulos pyasn1 | 0.2.8 | piccolo | 0,0,52 | pycparser | 2,21 |
pidântico | 1.10.6 | Pigmentos | 2.15.1 | Objeto PYG | 3,42,1 |
PyJWT | 2.3.0 | pyodbc | 4,0,38 | análise de pipa | 3.0.9 |
Python-dateutil | 2.8.2 | Python-lsp-jsonrpc | 1.1.1 | pytz | 2022,7 |
PyYAML | 6,0 | pizma | 23.2,0 | pedidos | 2,31,0 |
rsa | 4,9 | transferência s3 | 0.10.0 | scikit-learn | 1.3.0 |
pegajoso | 1.11.1 | marítimo | 0.12.2 | Armazenamento secreto | 3.3.1 |
ferramentas de configuração | 68,0,0 | seis | 1,16.0 | tapa | 5.0.1 |
sqlparse | 0.4.4 | ID de importação ssh | 5,11 | dados de pilha | 0.2.0 |
modelos de estatísticas | 0.14.0 | tenacidade | 8.2.2 | threadpool ctl | 2.2.0 |
tokenizar-rt | 4.2.1 | tornado | 6.3.2 | almôndegas | 5.7.1 |
extensões_de digitação | 4.7.1 | tzdata | 2022,1 | junhão | 5.4.0 |
atualizações autônomas | 0,1 | urllib3 | 1,26,16 | ambiente virtual | 20.24.2 |
wadlib | 1.3.6 | largura do wc | 0.2.5 | Python wheel | 0,38,4 |
extensão widgetsnb | 4.0.5 | zíper | 3.11.0 |
Instalou a R biblioteca
As bibliotecas R são instaladas a partir do pacote Posit Manager CRAN Snapshot em 2023-02-10.
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
flecha | 14.0.0.2 | askpass | 1.2.0 | afirme que | 0.2.1 |
portas traseiras | 1.4.1 | base | 4.3.2 | base64enc | 0,1-3 |
Grande D | 0.2.0 | pouco | 4.0.5 | bit64 | 4.0.5 |
bitops | 1,0-7 | bolha | 1.2.4 | inicialização | 1,3-28 |
fermentar | 1,0-10 | brio | 1.1.4 | vassoura | 1.0.5 |
babião | 0.6.1 | cachem | 1,0.8 | chamador | 3.7.3 |
cursor | 6,0-94 | guarda de celas | 1.1.0 | crono | 2,3-61 |
Aula | 7,3-22 | CLIPE | 3.6.2 | clipe | 0,8.0 |
relógio | 0.7.0 | Cluster | 2.1.4 | ferramentas de código | 0,2-19 |
espaço de cores | 2,1-0 | marca comum | 1.9.1 | compilador | 4.3.2 |
configuração | 0.3.2 | em conflito | 1.2.0 | cpp11 | 0.4.7 |
giz de cera | 1.5.2 | Credenciais | 2.0.1 | cacho | 5.2.0 |
data.tabela | 1,15.0 | conjunto de dados | 4.3.2 | DBI | 1.2.1 |
dbplyr | 2.4.0 | desc | 1.4.3 | ferramentas de desenvolvimento | 2.4.5 |
diagrama | 1.6.5 | diff | 0.3.5 | digerir | 0,6,34 |
iluminado | 0.4.3 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
e1071 | 1,7-14 | reticências | 0.3.2 | avalie | 0,23 |
fansi | 1.0.6 | colorista | 2.1.1 | mapa rápido | 1.1.1 |
fontawesome | 0.5.2 | para gatos | 1.0.0 | para cada um | 1.5.2 |
estrangeira | 0,8-85 | forjar | 0.2.0 | fs | 1.6.3 |
futuro | 1.33.1 | futuro.aplique | 1.11.1 | gargarejar | 1.5.2 |
genéricas | 0.1.3 | obter | 2.0.1 | ggplot2 | 3.4.4 |
gh | 1.4.0 | git2r | 0,33,0 | gitcreds | 0.1.2 |
glmnet | 4,1-8 | globais | 0,16.2 | cola | 1.7.0 |
google drive | 2.1.1 | planilhas do Google 4 | 1.1.1 | goleiro | 1.0.1 |
gráficos | 4.3.2 | Dispositivos GR | 4.3.2 | grade | 4.3.2 |
Grid Extra | 2.3 | gsubfn | 0,7 | gt | 0.10.1 |
mesa | 0.3.4 | capacete | 1.3.1 | refúgio | 2.5.4 |
mais alto | 0,10 | HMS | 1.1.3 | ferramentas html | 0.5.7 |
widgets html | 1.6.4 | http.uv | 1.6.14 | httr | 1.4.7 |
httr2 | 1.0.0 | IDs | 1.0.1 | mini | 0.3.1 |
ipred | 0,9-14 | isóbanda | 0.2.7 | iteradores | 1,0.14 |
jquerylib | 0.1.4 | jsonlite | 1.8.8 | suco suculento | 0.1.0 |
Kern Smooth | 2,23-21 | tricotar | 1,45 | rótulo | 0.4.3 |
posteriormente | 1.3.2 | treliça | 0,21-8 | lava | 1.7.3 |
ciclo de vida | 1.0.4 | ouvindo | 0.9.1 | lubrificar | 1.9.3 |
magritter | 2.0.3 | Markdown | 1,12 | MASSA | 7,3-60 |
Matriz | 1,5-4,1 | memoise | 2.0.1 | métodos | 4.3.2 |
mgcv | 1,8-42 | mímica | 0,12 | Mini UI | 0.1.1.1 |
MLflow | 2.10.0 | Métricas do modelo | 1.2.2.2 | modelar | 0.1.11 |
munsell | 0.5.0 | nome | 3,1-163 | net | 7,3-19 |
Número Deriv | 2016,8-1,1 | openssl | 2.1.1 | paralelo | 4.3.2 |
paralelamente | 1,36,0 | pilar | 1.9.0 | pkgbuild | 1.4.3 |
pkgconfig | 2.0.3 | pkgdown | 2.0.7 | carregamento de pacotes | 1.3.4 |
plogr | 0.2.0 | plyr | 1.8.9 | elogio | 1.0.0 |
unidades bonitas | 1.2.0 | ProC | 1,18.5 | processa | 3.8.3 |
prodlim | 2023,08,28 | profvis | 0.3.8 | progresso | 1.2.3 |
progressista | 0.14.0 | promessas | 1.2.1 | proto | 1.0.0 |
proxy | 0,4-27 | ps | 1.7.6 | ronronar | 1.0.2 |
R6 | 2.5.1 | trapo | 1.2.7 | Floresta aleatória | 4,7-1,1 |
corredeiras | 0.3.3 | rcmdcheck | 1.4.0 | Cervejaria RColor | 1,1-3 |
Rcpp | 1.0.12 | RCP Pegen | 0.3.3.9.4 | reagível | 0.4.4 |
Reator R | 0.5.0 | leitor | 2.1.5 | readxl | 1.4.3 |
receitas | 1.0.9 | revanche | 2.0.0 | revanche 2 | 2.1.2 |
controles remotos | 2.4.2.1 | reprex | 2.1.0 | remodelar 2 | 1.4.4 |
rlang | 1.1.3 | rmarkdown | 2,25 | RODBC | 1,3-23 |
roxigênio2 | 7.3.1 | rpartem | 4.1.21 | rprojroot | 2.0.4 |
Reservar | 1,8-13 | RSQLite | 2.3.5 | API do estúdio | 0,15.0 |
reversões | 2.1.2 | colete | 1.0.3 | atrevimento | 0.4.8 |
escala | 1.3.0 | seletor | 0,4-2 | informações da sessão | 1.2.2 |
forma | 1.4.6 | brilhante | 1.8.0 | ferramentas de origem | 0,1,7-1 |
Sparklyr | 1.8.4 | espacial | 7,3-15 | splines | 4.3.2 |
sqldf | 0,4-11 | QUADRADO | 2021,1 | estatísticas | 4.3.2 |
estatísticas4 | 4.3.2 | stringi | 1.8.3 | longarina | 1.5.1 |
sobrevivência | 3,5-5 | arrogância | 3.33.1 | diz | 3.4.2 |
fontes do sistema | 1.0.5 | tcltk | 4.3.2 | teste isso | 3.2.1 |
modelagem de texto | 0.3.7 | petiscar | 3.2.1 | arrumado | 1.3.1 |
seleção arrumada | 1.2.0 | tidyverso | 2.0.0 | mudança de horário | 0.3.0 |
Hora/Data | 4032,109 | tinytex | 0,49 | Ferramentas | 4.3.2 |
tzdb | 0.4.0 | verificador de URL | 1.0.1 | use isso | 2.2.2 |
utf 8 | 1.2.4 | utilidades | 4.3.2 | uuid | 1,2-0 |
V8 | 4.4.1 | vctrs | 0.6.5 | Viridis Lite | 0.4.2 |
vadouro | 1.6.5 | waldo | 0.5.2 | bigode | 0.4.1 |
murchar | 3.0.0 | diversão | 0,41 | xml2 | 1.3.6 |
xopen | 1.0.0 | x estável | 1,8-4 | yaml | 2.3.8 |
fanático | 0.1.0 | compactar | 2.3.1 |
Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)
ID do grupo | ID do artefato | Versão |
---|---|---|
chifre | chifre | 2.7.7 |
com.amazonaws | Amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscale | 1,12.390 |
com.amazonaws | formação de nuvem aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-cloudfront | 1,12.390 |
com.amazonaws | aws-java-sdk-cloudhsm | 1,12.390 |
com.amazonaws | aws-java-sdk-cloudsearch | 1,12.390 |
com.amazonaws | aws-java-sdk-cloudtrail | 1,12.390 |
com.amazonaws | aws-java-sdk-cloudwatch | 1,12.390 |
com.amazonaws | métricas aws-java-sdk-cloudwatch | 1,12.390 |
com.amazonaws | aws-java-sdk-codedeploy | 1,12.390 |
com.amazonaws | identidade cognitiva aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-cognitosync | 1,12.390 |
com.amazonaws | aws-java-sdk-config | 1,12.390 |
com.amazonaws | aws-java-sdk-core | 1,12.390 |
com.amazonaws | pipeline de dados aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-conexão direta | 1,12.390 |
com.amazonaws | diretório aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-dynamodb | 1,12.390 |
com.amazonaws | aws-java-sdk-ec2 | 1,12.390 |
com.amazonaws | aws-java-sdk-ecs | 1,12.390 |
com.amazonaws | aws-java-sdk-efs | 1,12.390 |
com.amazonaws | aws-java-sdk-elasticache | 1,12.390 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1,12.390 |
com.amazonaws | balanceamento de carga elástico aws-java-sdk | 1,12.390 |
com.amazonaws | transcodificador elástico aws-java-sdk- | 1,12.390 |
com.amazonaws | aws-java-sdk-emr | 1,12.390 |
com.amazonaws | aws-java-sdk-glacier | 1,12.390 |
com.amazonaws | aws-java-sdk-glue | 1,12.390 |
com.amazonaws | aws-java-sdk-iam | 1,12.390 |
com.amazonaws | aws-java-sdk-importação/exportação | 1,12.390 |
com.amazonaws | aws-java-sdk-kinesis | 1,12.390 |
com.amazonaws | aws-java-sdk-kms | 1,12.390 |
com.amazonaws | aws-java-sdk-lambda | 1,12.390 |
com.amazonaws | aws-java-sdk-logs | 1,12.390 |
com.amazonaws | aws-java-sdk - aprendizado de máquina | 1,12.390 |
com.amazonaws | aws-java-sdk-opsworks | 1,12.390 |
com.amazonaws | aws-java-sdk-rds | 1,12.390 |
com.amazonaws | aws-java-sdk-redshift | 1,12.390 |
com.amazonaws | aws-java-sdk-route53 | 1,12.390 |
com.amazonaws | aws-java-sdk-s3 | 1,12.390 |
com.amazonaws | aws-java-sdk-ses | 1,12.390 |
com.amazonaws | aws-java-sdk-simpledb | 1,12.390 |
com.amazonaws | aws-java-sdk - fluxo de trabalho simples | 1,12.390 |
com.amazonaws | aws-java-sdk-sns | 1,12.390 |
com.amazonaws | aws-java-sdk-sqs | 1,12.390 |
com.amazonaws | aws-java-sdk-ssm | 1,12.390 |
com.amazonaws | gateway de armazenamento aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-sts | 1,12.390 |
com.amazonaws | suporte aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-swf-biblioteca | 1.11.22 |
com.amazonaws | aws-java-sdk-workspace | 1,12.390 |
com.amazonaws | jmespath-java | 1,12.390 |
com.clearspring.analítica | transmissão | 2.9.6 |
com.databricks | Reservar | 1,8-3 |
com.databricks | databricks-sdk-java | 0,17.1 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | plugin_2.12 do compilador | 0,4,15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0,4,15-10 |
com.esotérico software | crio-sombreado | 4.0.2 |
com.esotérico software | minlog | 1.3.0 |
com.fasterxml | colega de classe | 1.3.4 |
com.fasterxml.jackson.core | jackson-anotação | 2.15.2 |
com.fasterxml.jackson.core | jackson-core | 2.15.2 |
com.fasterxml.jackson.core | vinculação de dados jackson | 2.15.2 |
formato de dados com.fasterxml.jackson. | formato de dados jackson-cbor | 2.15.2 |
formato de dados com.fasterxml.jackson. | formato de dados jackson-yaml | 2.15.2 |
com.fasterxml.jackson.tipo de dados | jackson-datatype-joda | 2.15.2 |
com.fasterxml.jackson.tipo de dados | jackson-datatype-jsr310 | 2.16.0 |
com.fasterxml.jackson.module | parâmetro do módulo jackson | 2.15.2 |
com.fasterxml.jackson.module | jackson-module-Scala.12 | 2.15.2 |
com.github.ben-manes.cafeína | cafeína | 2.9.3 |
com.github.fommil | descarregador | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 - nativos |
com.github.fommil.netlib | sistema_nativo-java | 1.1 |
com.github.fommil.netlib | sistema_nativo-java | 1.1 - nativos |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1 - nativos |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1 - nativos |
com.github.luben | zstd-jni | 1,5,5-4 |
com.github.wendykierp | JTransforma | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.10.1 |
com.google.crypto.tink | eu acho | 1.9.0 |
com.google.propenso a erros | anotações propensas a erros | 2.10.0 |
com.google.flatbuffers | tampões planos-java | 23,5,26 |
com.google.goiaba | goiaba | 15,0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.helger | perfilador | 1.1.1 |
com.jcraft | jsch | 0,1,55 |
com.jolbox | bonecp | VERSÃO 0.8.0. |
com.lihaoyi | código-fonte_2.12 | 0.1.9 |
com.microsoft.azure | azure-data lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-JDBC | 11.2.2. jre8 |
comendo | comprimir-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.bind | jaxb-core | 2.2.11 |
com.sun.xml.bind | jaxb-impl | 2.2.11 |
com.trunning | JSON | 1,8 |
com.thoughtworks.paranamer | paranâmero | 2.8 |
com.trueaccord.lenses | lentes_2.12 | 0.4.12 |
com.Twitter | chill-java | 0.10.0 |
com.Twitter | chill_2.12 | 0.10.0 |
com.Twitter | util-app_2.12 | 7.1.0 |
com.Twitter | util-core_2.12 | 7.1.0 |
com.Twitter | função-útil_2.12 | 7.1.0 |
com.Twitter | util-jvm_2.12 | 7.1.0 |
com.Twitter | util-lint_2.12 | 7.1.0 |
com.Twitter | util-registry_2.12 | 7.1.0 |
com.Twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | configuração | 1.4.3 |
com.typesafe.Scala-logging | Scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.3 |
com.univocidade | analisadores de univocidade | 2.9.1 |
com.zaxxer | HikaricP | 4.0.3 |
comum-CLI | comum-CLI | 1.5.0 |
codec comum | codec comum | 1,16.0 |
coleções comuns | coleções comuns | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
upload de arquivo commons | upload de arquivo commons | 1.5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.13.0 |
linguagem comum | linguagem comum | 2.6 |
registro de bens comuns | registro de bens comuns | 1.1.3 |
comum-pool | comum-pool | 1.5.4 |
dev.ludovic.netlib | mochila | 3.0.3 |
dev.ludovic.netlib | blás | 3.0.3 |
dev.ludovic.netlib | lapack | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io. airlift | compressor de ar | 0,25 |
io.delta | delta-compartilhamento-client_2.12 | 1.0.4 |
io.dropwizard.métricas | anotação de métricas | 4.2.19 |
io.dropwizard.métricas | núcleo de métricas | 4.2.19 |
io.dropwizard.métricas | métricas-grafite | 4.2.19 |
io.dropwizard.métricas | métricas-healthchecks | 4.2.19 |
io.dropwizard.métricas | métricas-jetty9 | 4.2.19 |
io.dropwizard.métricas | métricas-jmx | 4.2.19 |
io.dropwizard.métricas | métricas-JSON | 4.2.19 |
io.dropwizard.métricas | métricas-JVM | 4.2.19 |
io.dropwizard.métricas | métricas-servlets | 4.2.19 |
io.netty | tudo | 4.1.96. Final |
io.netty | netty-buffer | 4.1.96. Final |
io.netty | codec netty | 4.1.96. Final |
io.netty | netty-codec-http | 4.1.96. Final |
io.netty | netty-codec-http2 | 4.1.96. Final |
io.netty | netty-codec-socks | 4.1.96. Final |
io.netty | netty-common | 4.1.96. Final |
io.netty | manipulador de limpeza | 4.1.96. Final |
io.netty | proxy netty-handler | 4.1.96. Final |
io.netty | resolvedor de rede | 4.1.96. Final |
io.netty | netty-tcnative-boringssl-static | 2.0.61. final-linux-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61. Final-Linux-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61. Final-OSX-AARCH_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61. Final-OSX-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
io.netty | classes netty-tcnative | 2.0.61. Final |
io.netty | transporte de urtigas | 4.1.96. Final |
io.netty | netty-transport-classes-epoll | 4.1.96. Final |
io.netty | netty-transport-classes-kqueue | 4.1.96. Final |
io.netty | netty-transport-native-epoll | 4.1.96. Final |
io.netty | netty-transport-native-epoll | 4.1.96. Final-Linux-AARCH_64 |
io.netty | netty-transport-native-epoll | 4.1.96. Final-Linux-x86_64 |
io.netty | netty-transport-native-kqueue | 4.1.96. Final-OSX-AARCH_64 |
io.netty | netty-transport-native-kqueue | 4.1.96. Final-OSX-x86_64 |
io.netty | netty-transport-native-unix-common | 4.1.96. Final |
io. prometheus | cliente simples | 0.7.0 |
io. prometheus | simpleclient_common | 0.7.0 |
io. prometheus | simpleclient_dropwizard | 0.7.0 |
io. prometheus | gateway client_push simples | 0.7.0 |
io. prometheus | client_servlet simples | 0.7.0 |
io.prometheus.jmx | coletor | 0.12.0 |
jakarta.anotação | jakarta.anotação-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validação | jakarta.validação-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.ativação | ativação | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | API de transação | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolução | javolução | 5.5.1 |
junte-se | junte-se | 2.14.6 |
hora do dia | hora do dia | 2.12.1 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | salmoura | 1.3 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | supercsv | 2.2.0 |
net.snowflake | SDK de ingestão de flocos de neve | 0.9.6 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | chá remoto - oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | modelo de string | 3.2.1 |
org.apache.ant | formiga | 1.10.11 |
org.apache.ant | formiga | 1.10.11 |
org.apache.ant | lançador de formigas | 1.10.11 |
org.apache.arrow | formato de seta | 15.0.0 |
org.apache.arrow | núcleo de memória de seta | 15.0.0 |
org.apache.arrow | rede de memória de seta | 15.0.0 |
org.apache.arrow | vetor de seta | 15.0.0 |
org.apache.avro | AVRO | 1.11.3 |
org.apache.avro | avro-ipc | 1.11.3 |
org.apache.avro | mapeado automaticamente | 1.11.3 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | compressa comum | 1,23,0 |
org.apache.commons | criptomoeda comum | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | texto comum | 1.10.0 |
org.apache.curator | curador-cliente | 2.13.0 |
org.apache.curator | estrutura de curador | 2.13.0 |
org.apache.curator | receitas de curadores | 2.13.0 |
org.apache.datasketches | esboços de dados-java | 3.1.0 |
org.apache.datasketches | memória de esboços de dados | 2.0.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | tempo de execução do cliente hadoop | 3.3.6 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | colmeia-CLI | 2.3.9 |
org.apache.hive | hive-JDBC | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-lap-common | 2.3.9 |
org.apache.hive | colmeia | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | API de armazenamento em nuvem | 2.8.1 |
org.apache.hive.shims | calços de colmeia - 0,23 | 2.3.9 |
org.apache.hive.shims | calços de colmeia comuns | 2.3.9 |
org.apache.hive.shims | hive-shims-programador | 2.3.9 |
org.apache.httpcomponents | cliente http | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | hera | 2.5.1 |
org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
org.apache.logging.log4j | log4j-api | 2.22.1 |
org.apache.logging.log4j | log4j-core | 2.22.1 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
org.apache.orc | núcleo orc | Protobuf 1.9.2 sombreado |
org.apache.orc | orc-mapreduce | Protobuf 1.9.2 sombreado |
org.apache.orc | calços de orc | 1.9.2 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.ws.xmlschema | núcleo do esquema xml | 2.3.0 |
org.apache.xbean | xbean-asm9-shaded | 4,23 |
org.apache.yetus | audiência-anotação | 0,13,0 |
org.apache.zookeeper | tratador | 3.6.3 |
org.apache.zookeeper | tratador de zoológico - juta | 3.6.3 |
org.checkerframework | xadrez igual | 3,31,0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | compilador common | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | núcleo de dados-api-jdo | 4.2.4 |
org.datanucleus | núcleo de dados | 4.1.17 |
org.datanucleus | núcleo de dados-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3,2,0-m3 |
org.Eclipse.collections | Eclipse-coleções | 11.1.0 |
org.Eclipse.collections | Eclipse-collections-api | 11.1.0 |
org.Eclipse.jetty | jetty-client | 9.4.52.v20230823 |
org.Eclipse.jetty | continuação do cais | 9.4.52.v20230823 |
org.Eclipse.jetty | jetty-http | 9.4.52.v20230823 |
org.Eclipse.jetty | jetty-io | 9.4.52.v20230823 |
org.Eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
org.Eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
org.Eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
org.Eclipse.jetty | segurança do cais | 9.4.52.v20230823 |
org.Eclipse.jetty | servidor jetty-server | 9.4.52.v20230823 |
org.Eclipse.jetty | jutty-servlet | 9.4.52.v20230823 |
org.Eclipse.jetty | píer de servlets | 9.4.52.v20230823 |
org.Eclipse.jetty | jetty-util | 9.4.52.v20230823 |
org.Eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
org.Eclipse.jetty | aplicativo web jetty- | 9.4.52.v20230823 |
org.Eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
org.Eclipse.jetty.websocket | API de websoquete | 9.4.52.v20230823 |
org.Eclipse.jetty.websocket | cliente websocket | 9.4.52.v20230823 |
org.Eclipse.jetty.websocket | websocket-comum | 9.4.52.v20230823 |
org.Eclipse.jetty.websocket | servidor websocket | 9.4.52.v20230823 |
org.Eclipse.jetty.websocket | servlet websocket | 9.4.52.v20230823 |
org.fusesource.leveldbjni | leveldbjni-tudo | 1,8 |
org.glassfish.hk2 | API hk2 | 2.6.1 |
org.glassfish.hk2 | localizador hk2 | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-recurso-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance - reembalado | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | servlet de contêiner de camisa | 2,40 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2,40 |
org.glassfish.jersey.core | cliente de camisa | 2,40 |
org.glassfish.jersey.core | camiseta comum | 2,40 |
org.glassfish.jersey.core | servidor de camisa | 2,40 |
org.glassfish.jersey.inject | camiseta-hk2 | 2,40 |
org.hibernate.validator | validador de hibernação | 6.1.7. Final |
org.ini4j | ini4j | 0.5.4 |
org.javassist | javassist | 3,29,2 HA |
org.jboss.logging | registro de jboss-logging | 3.3.2. Final |
org.jdbi | jdbi | 2.63,1 |
org.jetbrains | anotação | 17.0.0 |
org.joda | conversor de joda | 1.7 |
org.jodd | núcleo nodular | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3,7,0-M11 |
org.json4s | json4s-core_2.12 | 3,7,0-M11 |
org.json4s | json4s-jackson_2.12 | 3,7,0-M11 |
org.json4s | json4s-scalap_2.12 | 3,7,0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mlflow | mlflow-spark_2.12 | 2.9.1 |
org.objenesis | objênese | 2.5.1 |
org.postgresql | PostgreSQL | 42,6.1 |
org.roaringbitmap | Mapa de bits estrondoso | 0,9,45 |
org.roaringbitmap | calços | 0,9,45 |
org.rocksdb | rocksdbjni | 8.3.2 |
org.rosuda.rEngine | Motor | 2.1.0 |
org.Scala-lang | Scala-compiler_2.12 | 2.12.15 |
org.Scala-lang | Scala-biblioteca.12 | 2.12.15 |
org.Scala-lang | Scala-reflect_2.12 | 2.12.15 |
org.Scala-lang.modules | Scala-collection-compat_2.12 | 2.11.0 |
org.Scala-lang.modules | Scala-parser-combinators_2.12 | 1.1.2 |
org.Scala-lang.modules | Scala-xml_2.12 | 1.2.0 |
org.Scala-sbt | interface de teste | 1,0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.15 |
org.scalanlp | breeze-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | compatível com scalatest | 3.2.15 |
org.scalatest | scalatest-core_2.12 | 3.2.15 |
org.scalatest | diagramas de teste de escala_2.12 | 3.2.15 |
org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
org.scalatest | scalatestfreespec_2.12 | 3.2.15 |
org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
org.scalatest | scalatest - deve corresponders_2.12 | 3.2.15 |
org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
org.scalatest | scalatest_2.12 | 3.2.15 |
org.slf4j | jcl-over-slf4j | 2.0.7 |
org.slf4j | jul-a-slf4j | 2.0.7 |
org.slf4j | slf4j-api | 2.0.7 |
org.slf4j | slf4j-simple | 1,7,25 |
org.threeten | treze e mais | 1.7.1 |
org.tukaani | xz | 1,9 |
org.typelevel | álgebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | spire-macros_2.12 | 0,17.0 |
org.typelevel | spire-platform_2.12 | 0,17.0 |
org.typelevel | spire-util_2.12 | 0,17.0 |
org.typelevel | spire_2.12 | 0,17.0 |
org.wildfly.openssl | wildfly-openssl | 1.1.3. Final |
org.xerial | sqlite-JDBC | 3,42.0.0 |
org.xerial.snappy | snappy-java | 1.1.10.3 |
org.yaml | snakeyaml | 2,0 |
oro | oro | 2.0.8 |
pt.edu.icm | Matrizes JLarge | 1.5 |
software.Amazon.cryptools | Amazon Correcto Crypto Provider | 1.6.1-linux-x86_64 |
software.Amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |