Pular para o conteúdo principal

Databricks Runtime 15,0 (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 15.0, alimentado por Apache Spark 3.5.0.

A Databricks lançou essa versão em março de 2024.

nota

Estas notas sobre a versão podem incluir referências a recursos que não estão disponíveis no Google Cloud a partir desta versão.

Alterações importantes​

A função PySpark spark.sql() agora falha para tipos de argumentos inválidos​

No Databricks Runtime 15.0 e posteriores, o parâmetro args para parâmetros nomeados ou posicionais passados para a função spark.sql() deve ser um dicionário ou uma lista. Se qualquer outro tipo de objeto for passado, o seguinte erro será gerado: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

O armazenamento de biblioteca em DBFS root é obsoleto e desativado pelo default​

Para aumentar a segurança da biblioteca em um Databricks workspace, o armazenamento de arquivos da biblioteca no DBFS root está obsoleto e desativado pelo default a partir do Databricks Runtime 15.0. Databricks recomenda fazer upload de toda a biblioteca, o que inclui Python biblioteca, JAR arquivos e Spark conectores, para workspace arquivos, Unity Catalog volumes ou usando um repositório pacote. Consulte Recomendações para upload de biblioteca.

Para reativar o armazenamento da biblioteca no site DBFS root, defina o seguinte parâmetro de configuração do site Spark: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

A versão do site default Python foi atualizada de 3.10 para 3.11.​

Com o Databricks Runtime 15.0, a versão do default Python é 3.11.0. Para obter a lista de atualizações da Python biblioteca, consulte atualizações de biblioteca.

O JDK 11 foi removido​

Conforme anunciado anteriormente, o JDK 11 foi removido do Databricks Runtime 15.0 e posterior. A Databricks recomenda a atualização para o JDK 17 ao atualizar para o Databricks Runtime 15.0 e posterior. Consulte Databricks SDK para Java.

O REPL do Python agora é encerrado de forma graciosa​

Com o Databricks Runtime 15.0, o processo Python REPL do Notebook agora é encerrado graciosamente ao sair. Isso faz com que qualquer gancho de saída seja respeitado. Por exemplo, em um fluxo de trabalho com várias tarefas do Python Notebook, os ganchos de ajuste registrados na primeira tarefa são executados antes da execução da segunda tarefa do Python Notebook.

Novos recursos e melhorias​

A cláusula * (star) agora é suportada na cláusula WHERE​

Agora você pode usar a cláusula star (*) na cláusula WHERE para referenciar todas as colunas da lista SELECT. Por exemplo, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

A configuração spark.sql.json.enablePartialResults agora está habilitada pelo default​

A configuração Spark spark.sql.json.enablePartialResults agora é ativada por default, permitindo que o analisador JSON trate corretamente os erros de análise de tipos complexos, como struct, map e array, sem descartar os campos restantes. Essa alteração corrige um problema de consistência para JSON fonte de dados com poda de coluna.

A biblioteca de clustering agora suporta arquivos requirements.txt​

Agora, o senhor pode instalar a biblioteca de clustering usando um arquivo requirements.txt armazenado em um arquivo workspace ou volume Unity Catalog. No clustering de modo de acesso Dedicado e Padrão , o arquivo requirements.txt pode fazer referência a outros arquivos. No clustering de modo de acesso compartilhado sem isolamento , somente o pacote PyPI é suportado. Ver biblioteca de agrupamento.

Databricks CLI agora disponível no terminal da Web​

Agora o senhor pode usar o Databricks CLI a partir do terminal da Web no Notebook. O notebook deve ser conectado a um cluster no modo de acesso compartilhado Dedicado ou Sem isolamento. Para obter detalhes, consulte Usar o terminal da Web e a CLI do Databricks.

Adicionar repositórios default Python às configurações de clustering​

Em Databricks Runtime 15.0 e posteriores, o senhor pode configurar parâmetros globais pip index-url e extra-index-url para instalação de biblioteca em cluster e com escopo de Notebook ao configurar um cluster ou definir uma política de cluster. Para isso, defina a variável de ambiente DATABRICKS_PIP_INDEX_URL e DATABRICKS_PIP_EXTRA_INDEX_URL.

Atualizações da biblioteca​

  • Atualizado Python biblioteca:

    • preto de 22.6.0 a 23.3.0
    • boto3 de 1.24.28 a 1.34.39
    • botocore de 1.27.96 a 1.34.39
    • certificado de 2022.12.7 a 2023.7.22
    • criptografia de 39.0.1 a 41.0.3
    • databricks-sdk de 0.1.6 para 0.20.0
    • distlib de 0.3.7 a 0.3.8
    • googleapis-common-protos de 1.62.0 a 1.63.0
    • grpcio de 1.48.2 a 1.60.0
    • grpcio-status de 1.48.1 a 1.60.0
    • importlib-metadata de 4.6.4 a 6.0.0
    • ipykernel de 6.25.0 a 6.25.1
    • ipython de 8.14.0 a 8.15.0
    • ipywidgets de 7.7.2 a 8.0.4
    • jupyter_core de 5.2.0 a 5.3.0
    • jupyterlab-widgets de 1.0.0 a 3.0.5
    • matplotlib de 3.7.0 a 3.7.2
    • Pandas De 1.5.3 para 2.0.3
    • pip de 22.3.1 a 23.2.1
    • platformdirs de 2.5.2 a 3.10.0
    • protobuf de 4.24.0 a 4.24.1
    • pyarrow de 8.0.0 a 14.0.1
    • Pigmentos de 2.11.2 a 2.15.1
    • pyodbc de 4.0.32 para 4.0.38
    • solicitações de 2.28.1 a 2.31.0
    • s3transfer de 0.6.2 para 0.10.0
    • scikit-learn de 1.1.1 para 1.3.0
    • scipy de 1.10.0 a 1.11.1
    • ferramentas de configuração de 65.6.3 a 68.0.0
    • modelos estatísticos de 0.13.5 a 0.14.0
    • tenacidade a partir de 8.1.0 para 8.2.2
    • tornado de 6.1 para 6.3.2
    • typing_extensions de 4.4.0 a 4.7.1
    • urllib3 de 1.26.14 a 1.26.16
    • virtualenv de 20.16.7 a 20.24.2
    • extensão widgetsnb de 3.6.1 para 4.0.5
    • zipp de 1.0.0 a 3.11.0

  • Biblioteca R atualizada:

    • seta de 12.0.1 a 14.0.0.2
    • askpass de 1.1 a 1.2.0
    • base de 4.3.1 a 4.3.2
    • fermentar de 1,0-8 a 1,0-10
    • brio a partir de 1.1.3 para 1.1.4
    • bslib de 0.5.0 a 0.6.1
    • CLI De 3.6.1 para 3.6.2
    • marca comum de 1.9.0 a 1.9.1
    • compilador de 4.3.1 a 4.3.2
    • configuração de 0.3.1 a 0.3.2
    • cpp11 de 0.4.4 a 0.4.7
    • credenciais de 1.3.2 a 2.0.1
    • curl de 5.0.1 a 5.2.0
    • data.table de 1.14.8 a 1.15.0
    • conjunto de dados de 4.3.1 para 4.3.2
    • DBI de 1.1.3 para 1.2.1
    • dbplyr de 2.3.3 a 2.4.0
    • desc de 1.4.2 a 1.4.3
    • resumo de 0.6.33 a 0.6.34
    • dplyr a partir de 1.1.2 para 1.1.4
    • e1071 de 1,7-13 a 1,7-14
    • avaliar de 0,21 a 0,23
    • fansi de 1.0.4 a 1.0.6
    • fontawesome de 0.5.1 a 0.5.2
    • fs de 1.6.2 a 1.6.3
    • futuro de 1.33.0 a 1.33.1
    • future.apply de 1.11.0 a 1.11.1
    • gargareje de 1.5.1 a 1.5.2
    • vá de 1.9.2 para 2.0.1
    • ggplot2 de 3.4.2 a 3.4.4
    • glmnet de 4.1-7 a 4.1-8
    • cola de 1.6.2 a 1.7.0
    • gráficos de 4.3.1 a 4.3.2
    • GRDevices de 4.3.1 a 4.3.2
    • grade de 4.3.1 a 4.3.2
    • tabela de 0.3.3 a 0.3.4
    • hardhat de 1.3.0 a 1.3.1
    • refúgio de 2.5.3 a 2.5.4
    • htmltools de 0.5.5 a 0.5.7
    • htmlwidgets de 1.6.2 a 1.6.4
    • httpuv de 1.6.11 a 1.6.14
    • httr de 1.4.6 a 1.4.7
    • httr2 de 0.2.3 a 1.0.0
    • jsonlite de 1.8.7 a 1.8.8
    • knitr de 1,43 a 1,45
    • rótulo de 0.4.2 para 0.4.3
    • mais tarde de 1.3.1 para 1.3.2
    • lava de 1.7.2.1 a 1.7.3
    • ciclo de vida de 1.0.3 a 1.0.4
    • ouvindo de 0.9.0 a 0.9.1
    • lubrificar de 1.9.2 a 1.9.3
    • markdown de 1,7 a 1,12
    • métodos de 4.3.1 a 4.3.2
    • openssl de 2.0.6 a 2.1.1
    • paralelo de 4.3.1 a 4.3.2
    • pkgbuild de 1.4.2 a 1.4.3
    • pkgload de 1.3.2.1 a 1.3.4
    • plyr de 1.8.8 para 1.8.9
    • unidades bonitas de 1.1.1 a 1.2.0
    • ProC de 1.18.4 a 1.18.5
    • processos de 3.8.2 a 3.8.3
    • prodlim de 2023.03.31 a 2023.08.28
    • progresso de 1.2.2 para 1.2.3
    • progressor de 0.13.0 para 0.14.0
    • promessas de 1.2.0.1 a 1.2.1
    • ps de 1.7.5 a 1.7.6
    • purrr de 1.0.1 a 1.0.2
    • ragg de 1.2.5 a 1.2.7
    • Rcpp de 1.0.11 a 1.0.12
    • RCPPeigen de 0.3.3.9.3 a 0.3.3.9.4
    • leitor a partir de 2.1.4 para 2.1.5
    • receitas de 1.0.6 a 1.0.9
    • revanche de 1.0.1 para 2.0.0
    • remotos de 2.4.2 a 2.4.2.1
    • reprex de 2.0.2 a 2.1.0
    • rlang de 1.1.1 a 1.1.3
    • rmarkdown de 2.23 para 2.25
    • RODBC de 1,3-20 a 1,3-23
    • roxygen2 de 7.2.3 a 7.3.1
    • rprojroot de 2.0.3 a 2.0.4
    • Reserve de 1,8-11 a 1,8-13
    • RSQLite de 2.3.1 a 2.3.5
    • sass de 0.4.6 a 0.4.8
    • escala de 1.2.1 para 1.3.0
    • brilhante de 1.7.4.1 a 1.8.0
    • Sparklyr da versão 1.8.1 para a 1.8.4
    • splines de 4.3.1 a 4.3.2
    • estatísticas de 4.3.1 a 4.3.2
    • stats4 de 4.3.1 a 4.3.2
    • stringi de 1.7.12 a 1.8.3
    • stringr de 1.5.0 a 1.5.1
    • systemfonts de 1.0.4 a 1.0.5
    • tcltk de 4.3.1 a 4.3.2
    • testthat a partir de 3.1.10 para 3.2.1
    • modelagem de texto de 0.3.6 a 0.3.7
    • tidyr de 1.3.0 a 1.3.1
    • mudança de horário de 0.2.0 para 0.3.0
    • Horário/Data de 4022.108 a 4032.109
    • tinytex de 0,45 a 0,49
    • ferramentas de 4.3.1 a 4.3.2
    • utf8 de 1.2.3 a 1.2.4
    • utilitários de 4.3.1 a 4.3.2
    • uuid de 1,1-0 a 1,2-0
    • vctrs de 0.6.3 a 0.6.5
    • vroom de 1.6.3 a 1.6.5
    • waldo de 0.5.1 a 0.5.2
    • com de 2.5.0 a 3.0.0
    • xfun de 0,39 a 0,41
    • xml2 de 1.3.5 a 1.3.6
    • yaml de 2.3.7 a 2.3.8
    • zip de 2.3.0 a 2.3.1

  • Atualizado Java biblioteca:

    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.15.1 a 2.16.0
    • com.google.flatbuffers.flatbuffers-java de 1.12.0 a 23.5.26
    • com.typesafe.config de 1.2.1 a 1.4.3
    • org.apache.ant.ant de 1.9.16 a 1.10.11
    • org.apache.ant.ant-jsch de 1.9.16 a 1.10.11
    • org.apache.ant.ant-launcher de 1.9.16 a 1.10.11
    • org.apache.arrow.arrow-format de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-memory-core de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-memory-netty de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-vector de 12.0.1 a 15.0.0
    • org.apache.avro.avro de 1.11.2 a 1.11.3
    • org.apache.avro.avro-ipc de 1.11.2 a 1.11.3
    • org.apache.avro.avro-mapred de 1.11.2 a 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-api de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-core de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl de 2.20.0 a 2.22.1
    • org.postgresql.postgresql de 42.6.0 a 42.6.1

Apache Spark​

O Databricks Runtime 15.0 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.3 LTS, bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-45527] [DBRRM-805][es-1073714] Reverter "[SC-151626][core] Use fraction to do the recurso calculation"
  • [SPARK-47102] [DBRRM-803][sc-158253][SQL] Adicionar o sinalizador de configuração COLLATION_ENABLED
  • [SPARK-46973] [SC-158140][dbrrm-777][SQL] Ignorar pesquisa de tabela V2 quando uma tabela estiver no cache de tabela V1
  • [SPARK-46808] [SC-154113][Python] Refine as classes de erro em Python com a função de classificação automática
  • [SPARK-47251] [SC-158291][Python] Bloquear tipos inválidos do argumento args para o comando sql
  • [SPARK-47251] [SC-158121][Python] Bloquear tipos inválidos do argumento args para o comando sql
  • [SPARK-47108] [SC-157204] [core] Defina derby.connection.requireAuthentication como false explicitamente em CLIs
  • [SPARK-45599] [SC-157537] [core] Use igualdade de objetos no OpenHashset
  • [SPARK-47099] [SC-157352] [sql] Use ordinalNumber para definir uniformemente o valor de paramIndex para a classe de erro UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363] [connect] Extraia uma função auxiliar para eliminar o código duplicado que recupera MessageParameters de ErrorParams em GrpcExceptionConverter
  • [SPARK-43117] [SC-156177] [conectar] Faça com que ProtoUtils.abbreviate suporte campos repetidos
  • [SPARK-46342] [SC-150283] [sql] Substitua IllegalStateException por SparkException.internalError em sql
  • [SPARK-47123] [SC-157412] [core] O JDBCRDD não trata corretamente os erros em getQueryOutputSchema
  • [SPARK-47189] [SC-157667] [sql] Ajuste os nomes e o texto dos erros das colunas
  • [SPARK-45789] [SC-157101][sql] Suporte DESCRIBE TABLE para colunas clustering
  • [SPARK-43256] [SC-157699] [sql] Remover classe de erro _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][Python][CONNECT] sameSemantics verifica os tipos de entrada
  • [SPARK-47183] [SC-157660][Python] Corrigir a classe de erro para sameSemantics
  • [SPARK-47179] [SC-157663] [sql] Melhore a mensagem de erro do SparkThrowableSuite para melhorar a depuração
  • [SPARK-46965] [SC-155791] [core] Marque logType em Utils.getLog
  • [SPARK-46832] [SC-156774] [sql] Apresentando expressões de agrupamento e agrupamento
  • [SPARK-46946] [SC-155721][sql] Suporte à transmissão de várias chaves de filtragem no DynamicPruning
  • [SPARK-47079] [VARIANT-22][sc-157598][Python][sql][CONNECT] Adicionar informações sobre o tipo de variante ao PySpark
  • [SPARK-47101] [SC-157360] [sql] Permita que vírgula seja usada em nomes de colunas de nível superior e remova a verificação da definição de tipo aninhado em HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571][ss][UI] Corrigir um erro de digitação na explicação da UI de transmissão
  • [SPARK-47113] [SC-157348][core] Reverter a lógica de correção do S3A endpoint do SPARK-35878
  • [SPARK-47130] [SC-157462][core] Use listStatus para ignorar as informações de localização do bloco ao limpar o driver logs
  • [SPARK-43259] [SC-157368] [sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355] [sql] TakeOrderedAndProjectExec deve inicializar a projeção insegura
  • [SPARK-47137] [SC-157463][Python][CONNECT] Adicionar getAll ao spark.conf para paridade de recurso com Scala
  • [SPARK-46924] [SC-154905][core] Corrigir o botão Load New na interface de registro Master/HistoryServer
  • [SPARK-47069] [SC-157370][Python][CONNECT] Introduzir spark.profile.show/dump para criação de perfis com base em SparkSession
  • [SPARK-46812] [SC-157075][sql][Python] Fazer com que o mapInPandas / mapInArrow suporte o ResourceProfile
  • [SPARK-46833] [SC-155866] [sql] Agrupamentos - Apresentando o CollationFactory, que fornece regras de comparação e hash para agrupamentos suportados
  • [SPARK-47057] [SC-157036][Python] Teste de dados do MyPy reestruturável
  • [SPARK-46934] [SC-157084][sql] Roundtrip de leitura/gravação para o tipo struct com caracteres especiais com HMS
  • [SPARK-46727] [SC-153472][sql] Porta classifyException() em dialetos JDBC em classes de erro
  • [SPARK-46964] [SC-155740] [sql] Altere a assinatura do erro de execução da consulta HllInvalidLgk para usar um inteiro como quarto argumento
  • [SPARK-46949] [SC-155719] [sql] Suporte CHAR/VARCHAR por meio de resolveDefaultColumns
  • [SPARK-46972] [SC-155888] [sql] Corrige a substituição assimétrica de char/varchar em v2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778][Python][CONNECT] Implementar os métodos dumpPerfProfiles e dumpMemoryProfiles do SparkSession
  • [SPARK-46689] [SC-156221][spark-46690][Python][connect] Suporte à criação de perfil v2 em grupo/cogrupo applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773][connect] Permitir que o script do servidor Spark Connect aguarde
  • [SPARK-46688] [SC-156113][spark-46691][Python][connect] Suporte à criação de perfil v2 no agregado Pandas UDFs
  • [SPARK-47004] [SC-156499][connect] Adicionados mais testes ao ClientStreamingQuerySuite para aumentar a cobertura de testes do cliente Scala
  • [SPARK-46994] [SC-156169][Python] Refatore o PythonWrite para se preparar para suportar Python fonte de dados transmissão write
  • [SPARK-46979] [SC-156587][ss] Adicionar suporte para especificar key e codificador de valor separadamente e também para cada família de cores em RocksDB armazenamento do estado provider
  • [SPARK-46960] [SC-155940][ss] Testando a transmissão de várias entradas com o operador TransformWithState
  • [SPARK-46966] [SC-156112][Python] Adicionar UDTF API para o método 'analyze' para indicar o subconjunto de colunas da tabela de entrada a ser selecionado
  • [SPARK-46895] [SC-155950][core] Substituir o Timer por um executor agendado de thread único
  • [SPARK-46967] [SC-155815][core][UI] Ocultar Thread Dump e Heap Histogram do executor Dead na UI Executors
  • [SPARK-46512] [SC-155826] [core] Otimize a leitura aleatória quando a classificação e a combinação são usadas.
  • [SPARK-46958] [SC-155942][sql] Adicionar o fuso horário ausente para coagir os valores de default
  • [SPARK-46754] [SC-153830][sql][AVRO] Corrigir a resolução do código de compressão na definição da tabela avro e nas opções de gravação
  • [SPARK-46728] [SC-154207][Python] Verifique se a instalação do Pandas está correta
  • [SPARK-43403] [SC-154216] [ui] Certifique-se de que o antigo SparkUI no HistoryServer tenha sido desanexado antes de carregar um novo
  • [SPARK-39910] [SC-156203] [sql] Delegar a qualificação do caminho ao sistema de arquivos durante a globalização do caminho do arquivo DataSource
  • [SPARK-47000] [SC-156123] Reverter “[SC-156123] [core] Use getTotalMemorySize...
  • [SPARK-46819] [SC-154560][core] Mover categorias e estados de erro para JSON
  • [SPARK-46997] [SC-156175][core] Habilitar spark.worker.cleanup.enabled por default
  • [SPARK-46865] [SC-156168][ss] Adicionar suporte a lotes para o operador TransformWithState
  • [SPARK-46987] [SC-156040][connect] ProtoUtils.abbreviate evite operações setField desnecessárias
  • [SPARK-46970] [SC-155816] [core] Reescreva OpenHashSet#hasher com pattern matching
  • [SPARK-46984] [SC-156024][Python] Remover PySpark.copy_func
  • [SPARK-47000] [SC-156123] [core] Use getTotalMemorySize em WorkerArguments
  • [SPARK-46980] [SC-155914][sql][MINOR] Evite usar APIs internas em testes de ponta a ponta de dataframe
  • [SPARK-46931] Reverter “[SC-155661] [ps] Implementar {Frame, Series}.to_hdf”
  • [SPARK-46618] [SC-153828] [sql] Melhore as mensagens de erro para o erro DATA_SOURCE_NOT_FOUND
  • [SPARK-46849] [SC-154586][sql] otimizador de execução em CREATE TABLE coluna padrão
  • [SPARK-46911] [SC-155724] [ss] Adicionando o operador deleteIfExists ao StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Suporte ao codec de compressão lz4raw para Parquet
  • [SPARK-47002] [SC-156223][Python] Retornar uma mensagem de erro melhor se o campo 'orderBy' do método 'analyze' do UDTF retornar acidentalmente uma lista de strings
  • [SPARK-46890] [SC-155802][sql] Corrigir o bug de análise CSV com a existência de valores default e poda de coluna
  • [SPARK-46977] [SC-155892][core] Uma solicitação com falha para obter tokens de um NameNode não deve ignorar as solicitações de tokens subsequentes
  • [SPARK-46608] [SC-151806] [sql] Restaure a compatibilidade com versões anteriores do JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702] [sql] Suporta a cláusula star na cláusula WHERE
  • [SPARK-46908] [SC-155702] [sql] Suporta a cláusula star na cláusula WHERE
  • [SPARK-46852] [SC-155665][ss] Remover o uso do codificador key explícito e passá-lo implicitamente ao operador para o operador transformWithState
  • [SPARK-46864] [SC-155669] [ss] Integre o Arbitrary StateV2 à nova estrutura de classes de erro
  • [SPARK-45807] [SC-155706][sql] Retorna a visualização após chamar replaceView(..)
  • [SPARK-46899] [SC-154651][core] Remova as APIs POST de MasterWebUI quando spark.ui.killEnabled for false
  • [SPARK-46868] [SC-154539][core] Suporte a Spark log UI do trabalhador
  • [SPARK-46931] [SC-155661] [ps] Implementar {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667] [core] Remova updateSparkConfigFromProperties e isAbsoluteURI não utilizados em o.a.s.u.Utils
  • [SPARK-46929] [SC-155659][core][CONNECT][ss] Use ThreadUtils.shutdown para fechar o pool de threads
  • [SPARK-46400] [SC-155658][core][SQL] Quando houver arquivos corrompidos no repositório local Maven, ignore esse cache e tente novamente
  • [SPARK-46932] [SC-155655] Limpar as importações em pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Escreva um gerador de subconsultas que gere permutações de subconsultas para aumentar a cobertura do teste
  • [SPARK-46914] [SC-154776][ui] Reduzir o nome do aplicativo na tabela de resumo da página de história
  • [SPARK-46831] [SC-154699] [sql] Agrupamentos - Estendendo StringType e PhysicalStringType com o campo collationID
  • [SPARK-46816] [SC-154415] [ss] Adicione suporte básico para novo operador de gerenciamento de estado arbitrário, tipo único ValueState, várias variáveis de estado e suporte subjacente para famílias de colunas para RocksDBStateStoreProvider com/sem checkpoint do changelog
  • [SPARK-46925] [SC-154890][Python][CONNECT] Adicionar um aviso que instrui a instalação do memory_profiler para a criação de perfis de memória
  • [SPARK-46927] [SC-154904][Python] Fazer assertDataFrameEqual funcionar corretamente sem o PyArrow
  • [SPARK-46021] [SC-148987][core] Suporte ao cancelamento de trabalhos futuros pertencentes a um grupo de trabalhos
  • [SPARK-46747] [SC-154789][sql] Evite a varredura em getTableExistsQuery para dialetos JDBC
  • [SPARK-46904] [SC-154704][ui] Corrigir o problema de exibição do resumo da IU da história
  • [SPARK-46870] [SC-154541][core] Suporte Spark Master log UI
  • [SPARK-46893] [SC-154780] [ui] Remover scripts embutidos das descrições da interface
  • [SPARK-46910] [SC-154760][Python] Eliminar o requisito de JDK na instalação do PySpark
  • [SPARK-46907] [SC-154736][core] Mostrar localização do driver log em Spark história Server
  • [SPARK-46902] [SC-154661][ui] Corrigir Spark história Server UI por usar setAppLimit não exportado
  • [SPARK-46687] [SC-154725][Python][CONNECT] Suporte básico do criador de perfil de memória baseado em SparkSession
  • [SPARK-46623] [SC-153831][core][MLlib][sql] Substituir SimpleDateFormat por DateTimeFormatter
  • [SPARK-46875] [SC-154627] [sql] Quando o mode é nulo, um NullPointException deve ser lançado not
  • [SPARK-46872] [SC-154543] [core] Recupere log-view.js para não ser um módulo
  • [SPARK-46883] [SC-154629][core] Suporte à API /json/clusterutilization
  • [SPARK-46886] [SC-154630][core] Habilitar spark.ui.prometheus.enabled por default
  • [SPARK-46873] [SC-154638][ss] Não recriar um novo StreamingQueryManager para a mesma sessão do Spark
  • [SPARK-46829] [SC-154419] [core] Remova CreateExecutorEnv do SparkEnv
  • [SPARK-46827] [SC-154280] [core] Faça RocksDBPersistenceEngine para suportar um link simbólico
  • [SPARK-46903] [SC-154662][core] Suporte Spark história Server log UI
  • [SPARK-46874] [SC-154646][Python] Remover a dependência pyspark.pandas do assertDataFrameEqual
  • [SPARK-46889] [SC-154639] [core] Validar a configuração spark.master.ui.decommission.allow.mode
  • [SPARK-46850] [SC-154443] [sql] Converter _LEGACY_ERROR_TEMP_2102 em UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323] [core] [UI] Corrija MasterPage para classificar a tabela Running Drivers pela coluna Duration corretamente
  • [SPARK-46796] [SC-154279] [ss] Verifique se os arquivos remotos estão corretos (mencionados em metadata.zip) são usados no carregamento da versão do RocksDB
  • [SPARK-46888] [SC-154636] [core] Corrija Master para rejeitar solicitações /workers/kill/ se a desativação estiver desativada
  • [SPARK-46818] [SC-154422] [sql] Melhore as mensagens de erro para Range com entradas não dobráveis
  • [SPARK-46898] [SC-154649][connect] Simplifique as transformações da função protobuf no Planner
  • [SPARK-46828] [SC-154413][sql] Remover a afirmação inválida do modo remoto para o shell spark sql
  • [SPARK-46733] [SC-154274][core] Simplifique o BlockManager para que as operações de saída dependam apenas da thread de interrupção.
  • [SPARK-46777] [SC-154016][ss] Refatorar a estrutura do catalisador StreamingDataSourceV2Relation para ficar mais parecida com a versão lotes
  • [SPARK-46515] [SC-151716] Adicionar função MONTHNAME
  • [SPARK-46823] [SC-154276][connect][Python] LocalDataToArrowConversion deve verificar a anulabilidade
  • A função [SPARK-46787] [SC-154404] [connect] bloomFilter deve lançar AnalysisException para entrada inválida
  • [SPARK-46779] [SC-154045] [sql] InMemoryRelation instâncias do mesmo plano em cache devem ser semanticamente equivalentes
  • [SPARK-45827] [SC-153973] Proibir particionamento na coluna Variant
  • [SPARK-46797] [SC-154085] [core] Renomeie spark.deploy.spreadOut para spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Suporte ao perfil de JVM do executor
  • [SPARK-46746] [SC-153557][sql][AVRO] Anexar extensão de codec aos arquivos de fonte de dados avro
  • [SPARK-46698] [SC-153288][core] Substituir o Timer por um executor agendado de thread único para ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Correção para que o DDL do tipo STRUCT não detectasse nulidade e comentário
  • [SPARK-46750] [SC-153772][connect][Python] DataFrame APIs code clean up
  • [SPARK-46769] [SC-153979] [sql] Refine a inferência de esquema relacionada ao timestamp
  • [SPARK-46765] [SC-153904][Python][CONNECT] Make shuffle specify the datatype of seed
  • [SPARK-46579] [SC-151481][sql] Reduzir JDBC url em erros e logs
  • [SPARK-46686] [SC-153875][Python][CONNECT] Suporte básico do perfil SparkSession baseado em Python UDF
  • [SPARK-46748] Reverter “[SC-153800] [core] Remova o script *sla***.sh...
  • [SPARK-46707] [SC-153833] [sql] Adicionado campo lançável às expressões para melhorar a redução de predicados
  • [SPARK-46519] [SC-151278] [sql] Limpar classes de erro não utilizadas do arquivo error-classes.json
  • [SPARK-46677] [SC-153426] [sql] [CONNECT] Corrige a resolução dataframe["*"]
  • [SPARK-46317] [SC-150184][Python][CONNECT] Corresponder a um comportamento menor em SparkSession com cobertura de teste completa
  • [SPARK-46748] [SC-153800] [núcleo] Remover scripts *sla***.sh
  • [SPARK-46663] [SC-153490][Python] Desativar o profiler de memória para Pandas UDFs com iteradores
  • [SPARK-46410] [SC-150776] [sql] Atribuir classes/subclasses de erro a jdbcutils.ClassifyException
  • [SPARK-46277] [SC-150126][Python] Validar urls startup com a configuração definida
  • [SPARK-46612] [SC-153536][sql] Não converter strings do tipo array recuperadas do driver JDBC
  • [SPARK-46254] [SC-149788][Python] Remover verificação de versão obsoleta do Python 3.8/3.7
  • [SPARK-46490] [SC-151335] [sql] Exigir classes de erro nas subclasses SparkThrowable
  • [SPARK-46383] [SC-153274] [sc-147443] [WARMFIX] Reduza o uso da pilha de drivers reduzindo a vida útil de TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][sql][CONNECT] Corrigir a referência de coluna ambígua em self join
  • [SPARK-46381] [SC-150495] [sql] Migrar subclasses de AnalysisException para classes de erro
  • [SPARK-46351] [SC-150335] [sql] Exigir uma classe de erro em AnalysisException
  • [SPARK-46220] [SC-149689] [sql] Restringir conjuntos de caracteres em decode()
  • [SPARK-46369] [SC-150340] [core] Remova o link kill dos drivers RELAUNCHING em MasterPage
  • [SPARK-46052] [SC-153284] [core] Remover a função TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164] [sql] GRUPO DE SUPORTE POR CALENDAR_INTERVAL_TYPE
  • [SPARK-46675] [SC-153209] [sql] Remova o InferTimestampNTZ não utilizado no ParquetReadSupport
  • [SPARK-46717] [SC-153423][core] Simplifique o site ReloadingX509TrustManager para que as operações de saída dependam apenas da thread de interrupção.
  • [SPARK-46722] [SC-153438][connect] Adicionar um teste referente à verificação de compatibilidade com versões anteriores do StreamingQueryListener no Spark Connect (Scala/PySpark)
  • [SPARK-46187] [SC-149580] [sql] Alinhe a implementação codegen e não codegen de StringDecode
  • [SPARK-46258] [SC-149799] [core] Adicionar RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676] [core] Melhore o FileSystemPersistenceEngine para suportar compressões
  • [SPARK-46189] [SC-149567][ps][SQL] Realizar comparações e aritmética entre os mesmos tipos em várias funções agregadas do Pandas para evitar erros de modo interpretado
  • [SPARK-46184] [SC-149563][core][SQL][connect][MLlib] Reduzir a profundidade da pilha ao substituir Option.isDefined por Option.isEmpty
  • [SPARK-46700] [SC-153329][core] Contar o último derramamento para o disco aleatório derramando bytes métricas
  • [SPARK-45642] [SC-150286][core][SQL] Correção FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272] [sql] Corrija RemoveRedundantAlias excluindo atributos de subconsulta
  • [SPARK-46681] [SC-153287] [core] Refatore ExecutorFailureTracker#maxNumExecutorFailures para evitar o cálculo de defaultMaxNumExecutorFailures quando MAX_EXECUTOR_FAILURES está configurado
  • [SPARK-46695] [SC-153289] [sql] [HIVE] Sempre definindo hive.execution.engine para mr
  • [SPARK-46325] [SC-150228] [connect] Remova funções de substituição desnecessárias ao construir WrappedCloseableIterator em ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699][Python] Migrar todos os ValueError restantes para a estrutura de erros PySpark.
  • [SPARK-46547] [SC-153174][ss] Engolir exceção não fatal na tarefa de manutenção para evitar deadlock entre o thread de manutenção e o operador de agregação de transmissão
  • [SPARK-46169] [SC-149373][ps] Atribuir números JIRA apropriados para parâmetros ausentes da API DataFrame.
  • [SPARK-45857] [SC-148096] [sql] Aplique as classes de erro nas subclasses de AnalysisException

Suporte ao driver ODBC/JDBC da Databricks​

A Databricks é compatível com drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e da atualização do site (download ODBC, download JDBC).

Atualizações de manutenção​

Consulte Atualizações de manutenção do Databricks Runtime 15.0.

Ambiente do sistema​

  • Sistema operacional : Ubuntu 22.04.4 LTS
  • Java : Zulu 8.74.0.17-CA-linux64
  • Scala : 2.12.15
  • Python : 3.11.0
  • R : 4.3.2
  • Delta Lake : 3.1.0

Instalado Python biblioteca​

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

asttokens

2.0.5

atunparse

1.6.3

núcleo do azure

1.30,1

azure-storage-blob

12.19.1

azure-storage-file-datalake

12,14.0

chamada de volta

0.2.0

preto

23,3,0

pisca-pisca

1.4

boto3

1,34,39

botocore

1,34,39

ferramentas de cache

5.3.3

certifi

2023,7,22

caffi

1.15.1

chardet

4.0.0

normalizador de conjuntos de caracteres

2.0.4

clique

8.0.4

salmoura

2.2.1

comunicações

0.1.2

contornar

1.0.5

criptografia

41,0.3

ciclador

0.11.0

Cython

0,29,32

databricks-sdk

0,20,0

dbus-Python

1.2.18

depurar

1.6.7

decorador

5.1.1

distlib

0.3.8

pontos de entrada

0,4

execução

0,8.3

visão geral das facetas

1.1.1

bloqueio de arquivo

3.13.1

ferramentas de fonte

4,25.0

gitdb

4.0.11

GitPython

3,1,42

google-api-core

2.17.1

autenticação do Google

2.28.2

google-cloud-core

2.4.1

Google Cloud Storage

2.15.0

google-crc32c

1.5.0

mídia retomável do Google

2.7.0

googleapis-common-protos

1,63,0

grócio

1,60,0

status de grpcio

1,60,0

httplib2

0,20.2

Índia

3.4

importlib-metadados

6.0.0

núcleo ipyflow

0,0.198

ipykernel

6.25.1

ipython

8.15.0

ipywidgets

8.0.4

isodato

0.6.1

jedi

0,18.1

jeepney

0.7.1

jmespath

0.10.0

joblib

1.2.0

jupyter_client

7.4.9

jupyter_core

5.3.0

widgets jupyterlab

3.0.5

chaveiro

23,5,0

solucionador de kiwi

1.4.4

launchpadlib

1,10,16

lazr.restfulclient

0,14.4

lazr.uri

1.0.6

Matplotlib

3.7.2

matplotlib-inline

0.1.6

malflow-skinny

2.11.1

mais ferramentas de iteração

8.10.0

extensões mypy

0.4.3

nest-assíncio

1.5.6

entorpecido

1,23,5

oauthlib

3.2.0

fazendo às malas

23,2

Pandas

2.0.3

parso

0,8.3

especificação do caminho

0.10.3

bode expiatório

0.5.3

esperar

4.8.0

picles

0.7.5

Travesseiro

9.4.0

pip

23.2.1

platformdirs

3.10.0

Plotly

5.9.0

kit de ferramentas de aviso

3,0,36

protobuf

4.24.1

pistila

5.9.0

psycopg2

2.9.3

processo pty

0.7.0

avaliação pura

0.2.2

flecha

14,0.1

pyasn1

0.4.8

módulos pyasn1

0.2.8

piccolo

0,0,52

pycparser

2,21

pidântico

1.10.6

Pigmentos

2.15.1

Objeto PYG

3,42,1

PyJWT

2.3.0

pyodbc

4,0,38

análise de pipa

3.0.9

Python-dateutil

2.8.2

Python-lsp-jsonrpc

1.1.1

pytz

2022,7

PyYAML

6,0

pizma

23.2,0

pedidos

2,31,0

rsa

4,9

transferência s3

0.10.0

scikit-learn

1.3.0

pegajoso

1.11.1

marítimo

0.12.2

Armazenamento secreto

3.3.1

ferramentas de configuração

68,0,0

seis

1,16.0

tapa

5.0.1

sqlparse

0.4.4

ID de importação ssh

5,11

dados de pilha

0.2.0

modelos de estatísticas

0.14.0

tenacidade

8.2.2

threadpool ctl

2.2.0

tokenizar-rt

4.2.1

tornado

6.3.2

almôndegas

5.7.1

extensões_de digitação

4.7.1

tzdata

2022,1

junhão

5.4.0

atualizações autônomas

0,1

urllib3

1,26,16

ambiente virtual

20.24.2

wadlib

1.3.6

largura do wc

0.2.5

Python wheel

0,38,4

extensão widgetsnb

4.0.5

zíper

3.11.0

Instalou a R biblioteca​

As bibliotecas R são instaladas a partir do pacote Posit Manager CRAN Snapshot em 2023-02-10.

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

flecha

14.0.0.2

askpass

1.2.0

afirme que

0.2.1

portas traseiras

1.4.1

base

4.3.2

base64enc

0,1-3

Grande D

0.2.0

pouco

4.0.5

bit64

4.0.5

bitops

1,0-7

bolha

1.2.4

inicialização

1,3-28

fermentar

1,0-10

brio

1.1.4

vassoura

1.0.5

babião

0.6.1

cachem

1,0.8

chamador

3.7.3

cursor

6,0-94

guarda de celas

1.1.0

crono

2,3-61

Aula

7,3-22

CLIPE

3.6.2

clipe

0,8.0

relógio

0.7.0

Cluster

2.1.4

ferramentas de código

0,2-19

espaço de cores

2,1-0

marca comum

1.9.1

compilador

4.3.2

configuração

0.3.2

em conflito

1.2.0

cpp11

0.4.7

giz de cera

1.5.2

Credenciais

2.0.1

cacho

5.2.0

data.tabela

1,15.0

conjunto de dados

4.3.2

DBI

1.2.1

dbplyr

2.4.0

desc

1.4.3

ferramentas de desenvolvimento

2.4.5

diagrama

1.6.5

diff

0.3.5

digerir

0,6,34

iluminado

0.4.3

dplyr

1.1.4

dtplyr

1.3.1

e1071

1,7-14

reticências

0.3.2

avalie

0,23

fansi

1.0.6

colorista

2.1.1

mapa rápido

1.1.1

fontawesome

0.5.2

para gatos

1.0.0

para cada um

1.5.2

estrangeira

0,8-85

forjar

0.2.0

fs

1.6.3

futuro

1.33.1

futuro.aplique

1.11.1

gargarejar

1.5.2

genéricas

0.1.3

obter

2.0.1

ggplot2

3.4.4

gh

1.4.0

git2r

0,33,0

gitcreds

0.1.2

glmnet

4,1-8

globais

0,16.2

cola

1.7.0

google drive

2.1.1

planilhas do Google 4

1.1.1

goleiro

1.0.1

gráficos

4.3.2

Dispositivos GR

4.3.2

grade

4.3.2

Grid Extra

2.3

gsubfn

0,7

gt

0.10.1

mesa

0.3.4

capacete

1.3.1

refúgio

2.5.4

mais alto

0,10

HMS

1.1.3

ferramentas html

0.5.7

widgets html

1.6.4

http.uv

1.6.14

httr

1.4.7

httr2

1.0.0

IDs

1.0.1

mini

0.3.1

ipred

0,9-14

isóbanda

0.2.7

iteradores

1,0.14

jquerylib

0.1.4

jsonlite

1.8.8

suco suculento

0.1.0

Kern Smooth

2,23-21

tricotar

1,45

rótulo

0.4.3

posteriormente

1.3.2

treliça

0,21-8

lava

1.7.3

ciclo de vida

1.0.4

ouvindo

0.9.1

lubrificar

1.9.3

magritter

2.0.3

Markdown

1,12

MASSA

7,3-60

Matriz

1,5-4,1

memoise

2.0.1

métodos

4.3.2

mgcv

1,8-42

mímica

0,12

Mini UI

0.1.1.1

MLflow

2.10.0

Métricas do modelo

1.2.2.2

modelar

0.1.11

munsell

0.5.0

nome

3,1-163

net

7,3-19

Número Deriv

2016,8-1,1

openssl

2.1.1

paralelo

4.3.2

paralelamente

1,36,0

pilar

1.9.0

pkgbuild

1.4.3

pkgconfig

2.0.3

pkgdown

2.0.7

carregamento de pacotes

1.3.4

plogr

0.2.0

plyr

1.8.9

elogio

1.0.0

unidades bonitas

1.2.0

ProC

1,18.5

processa

3.8.3

prodlim

2023,08,28

profvis

0.3.8

progresso

1.2.3

progressista

0.14.0

promessas

1.2.1

proto

1.0.0

proxy

0,4-27

ps

1.7.6

ronronar

1.0.2

R6

2.5.1

trapo

1.2.7

Floresta aleatória

4,7-1,1

corredeiras

0.3.3

rcmdcheck

1.4.0

Cervejaria RColor

1,1-3

Rcpp

1.0.12

RCP Pegen

0.3.3.9.4

reagível

0.4.4

Reator R

0.5.0

leitor

2.1.5

readxl

1.4.3

receitas

1.0.9

revanche

2.0.0

revanche 2

2.1.2

controles remotos

2.4.2.1

reprex

2.1.0

remodelar 2

1.4.4

rlang

1.1.3

rmarkdown

2,25

RODBC

1,3-23

roxigênio2

7.3.1

rpartem

4.1.21

rprojroot

2.0.4

Reservar

1,8-13

RSQLite

2.3.5

API do estúdio

0,15.0

reversões

2.1.2

colete

1.0.3

atrevimento

0.4.8

escala

1.3.0

seletor

0,4-2

informações da sessão

1.2.2

forma

1.4.6

brilhante

1.8.0

ferramentas de origem

0,1,7-1

Sparklyr

1.8.4

espacial

7,3-15

splines

4.3.2

sqldf

0,4-11

QUADRADO

2021,1

estatísticas

4.3.2

estatísticas4

4.3.2

stringi

1.8.3

longarina

1.5.1

sobrevivência

3,5-5

arrogância

3.33.1

diz

3.4.2

fontes do sistema

1.0.5

tcltk

4.3.2

teste isso

3.2.1

modelagem de texto

0.3.7

petiscar

3.2.1

arrumado

1.3.1

seleção arrumada

1.2.0

tidyverso

2.0.0

mudança de horário

0.3.0

Hora/Data

4032,109

tinytex

0,49

Ferramentas

4.3.2

tzdb

0.4.0

verificador de URL

1.0.1

use isso

2.2.2

utf 8

1.2.4

utilidades

4.3.2

uuid

1,2-0

V8

4.4.1

vctrs

0.6.5

Viridis Lite

0.4.2

vadouro

1.6.5

waldo

0.5.2

bigode

0.4.1

murchar

3.0.0

diversão

0,41

xml2

1.3.6

xopen

1.0.0

x estável

1,8-4

yaml

2.3.8

fanático

0.1.0

compactar

2.3.1

Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)​

ID do grupo

ID do artefato

Versão

chifre

chifre

2.7.7

com.amazonaws

Amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscale

1,12.390

com.amazonaws

formação de nuvem aws-java-sdk

1,12.390

com.amazonaws

aws-java-sdk-cloudfront

1,12.390

com.amazonaws

aws-java-sdk-cloudhsm

1,12.390

com.amazonaws

aws-java-sdk-cloudsearch

1,12.390

com.amazonaws

aws-java-sdk-cloudtrail

1,12.390

com.amazonaws

aws-java-sdk-cloudwatch

1,12.390

com.amazonaws

métricas aws-java-sdk-cloudwatch

1,12.390

com.amazonaws

aws-java-sdk-codedeploy

1,12.390

com.amazonaws

identidade cognitiva aws-java-sdk

1,12.390

com.amazonaws

aws-java-sdk-cognitosync

1,12.390

com.amazonaws

aws-java-sdk-config

1,12.390

com.amazonaws

aws-java-sdk-core

1,12.390

com.amazonaws

pipeline de dados aws-java-sdk

1,12.390

com.amazonaws

aws-java-sdk-conexão direta

1,12.390

com.amazonaws

diretório aws-java-sdk

1,12.390

com.amazonaws

aws-java-sdk-dynamodb

1,12.390

com.amazonaws

aws-java-sdk-ec2

1,12.390

com.amazonaws

aws-java-sdk-ecs

1,12.390

com.amazonaws

aws-java-sdk-efs

1,12.390

com.amazonaws

aws-java-sdk-elasticache

1,12.390

com.amazonaws

aws-java-sdk-elasticbeanstalk

1,12.390

com.amazonaws

balanceamento de carga elástico aws-java-sdk

1,12.390

com.amazonaws

transcodificador elástico aws-java-sdk-

1,12.390

com.amazonaws

aws-java-sdk-emr

1,12.390

com.amazonaws

aws-java-sdk-glacier

1,12.390

com.amazonaws

aws-java-sdk-glue

1,12.390

com.amazonaws

aws-java-sdk-iam

1,12.390

com.amazonaws

aws-java-sdk-importação/exportação

1,12.390

com.amazonaws

aws-java-sdk-kinesis

1,12.390

com.amazonaws

aws-java-sdk-kms

1,12.390

com.amazonaws

aws-java-sdk-lambda

1,12.390

com.amazonaws

aws-java-sdk-logs

1,12.390

com.amazonaws

aws-java-sdk - aprendizado de máquina

1,12.390

com.amazonaws

aws-java-sdk-opsworks

1,12.390

com.amazonaws

aws-java-sdk-rds

1,12.390

com.amazonaws

aws-java-sdk-redshift

1,12.390

com.amazonaws

aws-java-sdk-route53

1,12.390

com.amazonaws

aws-java-sdk-s3

1,12.390

com.amazonaws

aws-java-sdk-ses

1,12.390

com.amazonaws

aws-java-sdk-simpledb

1,12.390

com.amazonaws

aws-java-sdk - fluxo de trabalho simples

1,12.390

com.amazonaws

aws-java-sdk-sns

1,12.390

com.amazonaws

aws-java-sdk-sqs

1,12.390

com.amazonaws

aws-java-sdk-ssm

1,12.390

com.amazonaws

gateway de armazenamento aws-java-sdk

1,12.390

com.amazonaws

aws-java-sdk-sts

1,12.390

com.amazonaws

suporte aws-java-sdk

1,12.390

com.amazonaws

aws-java-sdk-swf-biblioteca

1.11.22

com.amazonaws

aws-java-sdk-workspace

1,12.390

com.amazonaws

jmespath-java

1,12.390

com.clearspring.analítica

transmissão

2.9.6

com.databricks

Reservar

1,8-3

com.databricks

databricks-sdk-java

0,17.1

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

plugin_2.12 do compilador

0,4,15-10

com.databricks.scalapb

scalapb-runtime_2.12

0,4,15-10

com.esotérico software

crio-sombreado

4.0.2

com.esotérico software

minlog

1.3.0

com.fasterxml

colega de classe

1.3.4

com.fasterxml.jackson.core

jackson-anotação

2.15.2

com.fasterxml.jackson.core

jackson-core

2.15.2

com.fasterxml.jackson.core

vinculação de dados jackson

2.15.2

formato de dados com.fasterxml.jackson.

formato de dados jackson-cbor

2.15.2

formato de dados com.fasterxml.jackson.

formato de dados jackson-yaml

2.15.2

com.fasterxml.jackson.tipo de dados

jackson-datatype-joda

2.15.2

com.fasterxml.jackson.tipo de dados

jackson-datatype-jsr310

2.16.0

com.fasterxml.jackson.module

parâmetro do módulo jackson

2.15.2

com.fasterxml.jackson.module

jackson-module-Scala.12

2.15.2

com.github.ben-manes.cafeína

cafeína

2.9.3

com.github.fommil

descarregador

1.1

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java

1.1 - nativos

com.github.fommil.netlib

sistema_nativo-java

1.1

com.github.fommil.netlib

sistema_nativo-java

1.1 - nativos

com.github.fommil.netlib

netlib-native_ref-linux-x86_64

1.1 - nativos

com.github.fommil.netlib

netlib-native_system-linux-x86_64

1.1 - nativos

com.github.luben

zstd-jni

1,5,5-4

com.github.wendykierp

JTransforma

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.10.1

com.google.crypto.tink

eu acho

1.9.0

com.google.propenso a erros

anotações propensas a erros

2.10.0

com.google.flatbuffers

tampões planos-java

23,5,26

com.google.goiaba

goiaba

15,0

com.google.protobuf

protobuf-java

2.6.1

com.helger

perfilador

1.1.1

com.jcraft

jsch

0,1,55

com.jolbox

bonecp

VERSÃO 0.8.0.

com.lihaoyi

código-fonte_2.12

0.1.9

com.microsoft.azure

azure-data lake-store-sdk

2.3.9

com.microsoft.sqlserver

mssql-JDBC

11.2.2. jre8

comendo

comprimir-lzf

1.1.2

com.sun.mail

javax.mail

1.5.2

com.sun.xml.bind

jaxb-core

2.2.11

com.sun.xml.bind

jaxb-impl

2.2.11

com.trunning

JSON

1,8

com.thoughtworks.paranamer

paranâmero

2.8

com.trueaccord.lenses

lentes_2.12

0.4.12

com.Twitter

chill-java

0.10.0

com.Twitter

chill_2.12

0.10.0

com.Twitter

util-app_2.12

7.1.0

com.Twitter

util-core_2.12

7.1.0

com.Twitter

função-útil_2.12

7.1.0

com.Twitter

util-jvm_2.12

7.1.0

com.Twitter

util-lint_2.12

7.1.0

com.Twitter

util-registry_2.12

7.1.0

com.Twitter

util-stats_2.12

7.1.0

com.typesafe

configuração

1.4.3

com.typesafe.Scala-logging

Scala-logging_2.12

3.7.2

com.uber

h3

3.7.3

com.univocidade

analisadores de univocidade

2.9.1

com.zaxxer

HikaricP

4.0.3

comum-CLI

comum-CLI

1.5.0

codec comum

codec comum

1,16.0

coleções comuns

coleções comuns

3.2.2

commons-dbcp

commons-dbcp

1.4

upload de arquivo commons

upload de arquivo commons

1.5

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.13.0

linguagem comum

linguagem comum

2.6

registro de bens comuns

registro de bens comuns

1.1.3

comum-pool

comum-pool

1.5.4

dev.ludovic.netlib

mochila

3.0.3

dev.ludovic.netlib

blás

3.0.3

dev.ludovic.netlib

lapack

3.0.3

info.ganglia.gmetric4j

gmetric4j

1.0.10

io. airlift

compressor de ar

0,25

io.delta

delta-compartilhamento-client_2.12

1.0.4

io.dropwizard.métricas

anotação de métricas

4.2.19

io.dropwizard.métricas

núcleo de métricas

4.2.19

io.dropwizard.métricas

métricas-grafite

4.2.19

io.dropwizard.métricas

métricas-healthchecks

4.2.19

io.dropwizard.métricas

métricas-jetty9

4.2.19

io.dropwizard.métricas

métricas-jmx

4.2.19

io.dropwizard.métricas

métricas-JSON

4.2.19

io.dropwizard.métricas

métricas-JVM

4.2.19

io.dropwizard.métricas

métricas-servlets

4.2.19

io.netty

tudo

4.1.96. Final

io.netty

netty-buffer

4.1.96. Final

io.netty

codec netty

4.1.96. Final

io.netty

netty-codec-http

4.1.96. Final

io.netty

netty-codec-http2

4.1.96. Final

io.netty

netty-codec-socks

4.1.96. Final

io.netty

netty-common

4.1.96. Final

io.netty

manipulador de limpeza

4.1.96. Final

io.netty

proxy netty-handler

4.1.96. Final

io.netty

resolvedor de rede

4.1.96. Final

io.netty

netty-tcnative-boringssl-static

2.0.61. final-linux-aarch_64

io.netty

netty-tcnative-boringssl-static

2.0.61. Final-Linux-x86_64

io.netty

netty-tcnative-boringssl-static

2.0.61. Final-OSX-AARCH_64

io.netty

netty-tcnative-boringssl-static

2.0.61. Final-OSX-x86_64

io.netty

netty-tcnative-boringssl-static

2.0.61.Final-windows-x86_64

io.netty

classes netty-tcnative

2.0.61. Final

io.netty

transporte de urtigas

4.1.96. Final

io.netty

netty-transport-classes-epoll

4.1.96. Final

io.netty

netty-transport-classes-kqueue

4.1.96. Final

io.netty

netty-transport-native-epoll

4.1.96. Final

io.netty

netty-transport-native-epoll

4.1.96. Final-Linux-AARCH_64

io.netty

netty-transport-native-epoll

4.1.96. Final-Linux-x86_64

io.netty

netty-transport-native-kqueue

4.1.96. Final-OSX-AARCH_64

io.netty

netty-transport-native-kqueue

4.1.96. Final-OSX-x86_64

io.netty

netty-transport-native-unix-common

4.1.96. Final

io. prometheus

cliente simples

0.7.0

io. prometheus

simpleclient_common

0.7.0

io. prometheus

simpleclient_dropwizard

0.7.0

io. prometheus

gateway client_push simples

0.7.0

io. prometheus

client_servlet simples

0.7.0

io.prometheus.jmx

coletor

0.12.0

jakarta.anotação

jakarta.anotação-api

1.3.5

jakarta.servlet

jakarta.servlet-api

4.0.3

jakarta.validação

jakarta.validação-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.ativação

ativação

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.transaction

jta

1.1

javax.transaction

API de transação

1.1

javax.xml.bind

jaxb-api

2.2.11

javolução

javolução

5.5.1

junte-se

junte-se

2.14.6

hora do dia

hora do dia

2.12.1

net.java.dev.jna

jna

5.8.0

net.razorvine

salmoura

1.3

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

supercsv

2.2.0

net.snowflake

SDK de ingestão de flocos de neve

0.9.6

net.sourceforge.f2j

arpack_combined_all

0,1

org.acplt.remotetea

chá remoto - oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4.9.3

org.antlr

modelo de string

3.2.1

org.apache.ant

formiga

1.10.11

org.apache.ant

formiga

1.10.11

org.apache.ant

lançador de formigas

1.10.11

org.apache.arrow

formato de seta

15.0.0

org.apache.arrow

núcleo de memória de seta

15.0.0

org.apache.arrow

rede de memória de seta

15.0.0

org.apache.arrow

vetor de seta

15.0.0

org.apache.avro

AVRO

1.11.3

org.apache.avro

avro-ipc

1.11.3

org.apache.avro

mapeado automaticamente

1.11.3

org.apache.commons

commons-collections4

4.4

org.apache.commons

compressa comum

1,23,0

org.apache.commons

criptomoeda comum

1.1.0

org.apache.commons

commons-lang3

3.12.0

org.apache.commons

commons-math3

3.6.1

org.apache.commons

texto comum

1.10.0

org.apache.curator

curador-cliente

2.13.0

org.apache.curator

estrutura de curador

2.13.0

org.apache.curator

receitas de curadores

2.13.0

org.apache.datasketches

esboços de dados-java

3.1.0

org.apache.datasketches

memória de esboços de dados

2.0.0

org.apache.derby

derby

10.14.2.0

org.apache.hadoop

tempo de execução do cliente hadoop

3.3.6

org.apache.hive

hive-beeline

2.3.9

org.apache.hive

colmeia-CLI

2.3.9

org.apache.hive

hive-JDBC

2.3.9

org.apache.hive

hive-llap-client

2.3.9

org.apache.hive

hive-lap-common

2.3.9

org.apache.hive

colmeia

2.3.9

org.apache.hive

hive-shims

2.3.9

org.apache.hive

API de armazenamento em nuvem

2.8.1

org.apache.hive.shims

calços de colmeia - 0,23

2.3.9

org.apache.hive.shims

calços de colmeia comuns

2.3.9

org.apache.hive.shims

hive-shims-programador

2.3.9

org.apache.httpcomponents

cliente http

4.5.14

org.apache.httpcomponents

httpcore

4.4.16

org.apache.ivy

hera

2.5.1

org.apache.logging.log4j

log4j-1.2-api

2.22.1

org.apache.logging.log4j

log4j-api

2.22.1

org.apache.logging.log4j

log4j-core

2.22.1

org.apache.logging.log4j

log4j-slf4j2-impl

2.22.1

org.apache.orc

núcleo orc

Protobuf 1.9.2 sombreado

org.apache.orc

orc-mapreduce

Protobuf 1.9.2 sombreado

org.apache.orc

calços de orc

1.9.2

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.ws.xmlschema

núcleo do esquema xml

2.3.0

org.apache.xbean

xbean-asm9-shaded

4,23

org.apache.yetus

audiência-anotação

0,13,0

org.apache.zookeeper

tratador

3.6.3

org.apache.zookeeper

tratador de zoológico - juta

3.6.3

org.checkerframework

xadrez igual

3,31,0

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.janino

compilador common

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

núcleo de dados-api-jdo

4.2.4

org.datanucleus

núcleo de dados

4.1.17

org.datanucleus

núcleo de dados-rdbms

4.1.19

org.datanucleus

javax.jdo

3,2,0-m3

org.Eclipse.collections

Eclipse-coleções

11.1.0

org.Eclipse.collections

Eclipse-collections-api

11.1.0

org.Eclipse.jetty

jetty-client

9.4.52.v20230823

org.Eclipse.jetty

continuação do cais

9.4.52.v20230823

org.Eclipse.jetty

jetty-http

9.4.52.v20230823

org.Eclipse.jetty

jetty-io

9.4.52.v20230823

org.Eclipse.jetty

jetty-jndi

9.4.52.v20230823

org.Eclipse.jetty

jetty-plus

9.4.52.v20230823

org.Eclipse.jetty

jetty-proxy

9.4.52.v20230823

org.Eclipse.jetty

segurança do cais

9.4.52.v20230823

org.Eclipse.jetty

servidor jetty-server

9.4.52.v20230823

org.Eclipse.jetty

jutty-servlet

9.4.52.v20230823

org.Eclipse.jetty

píer de servlets

9.4.52.v20230823

org.Eclipse.jetty

jetty-util

9.4.52.v20230823

org.Eclipse.jetty

jetty-util-ajax

9.4.52.v20230823

org.Eclipse.jetty

aplicativo web jetty-

9.4.52.v20230823

org.Eclipse.jetty

jetty-xml

9.4.52.v20230823

org.Eclipse.jetty.websocket

API de websoquete

9.4.52.v20230823

org.Eclipse.jetty.websocket

cliente websocket

9.4.52.v20230823

org.Eclipse.jetty.websocket

websocket-comum

9.4.52.v20230823

org.Eclipse.jetty.websocket

servidor websocket

9.4.52.v20230823

org.Eclipse.jetty.websocket

servlet websocket

9.4.52.v20230823

org.fusesource.leveldbjni

leveldbjni-tudo

1,8

org.glassfish.hk2

API hk2

2.6.1

org.glassfish.hk2

localizador hk2

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-recurso-locator

1.0.3

org.glassfish.hk2.external

aopalliance - reembalado

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

servlet de contêiner de camisa

2,40

org.glassfish.jersey.containers

jersey-container-servlet-core

2,40

org.glassfish.jersey.core

cliente de camisa

2,40

org.glassfish.jersey.core

camiseta comum

2,40

org.glassfish.jersey.core

servidor de camisa

2,40

org.glassfish.jersey.inject

camiseta-hk2

2,40

org.hibernate.validator

validador de hibernação

6.1.7. Final

org.ini4j

ini4j

0.5.4

org.javassist

javassist

3,29,2 HA

org.jboss.logging

registro de jboss-logging

3.3.2. Final

org.jdbi

jdbi

2.63,1

org.jetbrains

anotação

17.0.0

org.joda

conversor de joda

1.7

org.jodd

núcleo nodular

3.5.2

org.json4s

json4s-ast_2.12

3,7,0-M11

org.json4s

json4s-core_2.12

3,7,0-M11

org.json4s

json4s-jackson_2.12

3,7,0-M11

org.json4s

json4s-scalap_2.12

3,7,0-M11

org.lz4

lz4-java

1.8.0

org.mlflow

mlflow-spark_2.12

2.9.1

org.objenesis

objênese

2.5.1

org.postgresql

PostgreSQL

42,6.1

org.roaringbitmap

Mapa de bits estrondoso

0,9,45

org.roaringbitmap

calços

0,9,45

org.rocksdb

rocksdbjni

8.3.2

org.rosuda.rEngine

Motor

2.1.0

org.Scala-lang

Scala-compiler_2.12

2.12.15

org.Scala-lang

Scala-biblioteca.12

2.12.15

org.Scala-lang

Scala-reflect_2.12

2.12.15

org.Scala-lang.modules

Scala-collection-compat_2.12

2.11.0

org.Scala-lang.modules

Scala-parser-combinators_2.12

1.1.2

org.Scala-lang.modules

Scala-xml_2.12

1.2.0

org.Scala-sbt

interface de teste

1,0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.2.15

org.scalanlp

breeze-macros_2.12

2.1.0

org.scalanlp

breeze_2.12

2.1.0

org.scalatest

compatível com scalatest

3.2.15

org.scalatest

scalatest-core_2.12

3.2.15

org.scalatest

diagramas de teste de escala_2.12

3.2.15

org.scalatest

scalatest-featurespec_2.12

3.2.15

org.scalatest

scalatest-flatspec_2.12

3.2.15

org.scalatest

scalatestfreespec_2.12

3.2.15

org.scalatest

scalatest-funspec_2.12

3.2.15

org.scalatest

scalatest-funsuite_2.12

3.2.15

org.scalatest

scalatest-matchers-core_2.12

3.2.15

org.scalatest

scalatest-mustmatchers_2.12

3.2.15

org.scalatest

scalatest-propspec_2.12

3.2.15

org.scalatest

scalatest-refspec_2.12

3.2.15

org.scalatest

scalatest - deve corresponders_2.12

3.2.15

org.scalatest

scalatest-wordspec_2.12

3.2.15

org.scalatest

scalatest_2.12

3.2.15

org.slf4j

jcl-over-slf4j

2.0.7

org.slf4j

jul-a-slf4j

2.0.7

org.slf4j

slf4j-api

2.0.7

org.slf4j

slf4j-simple

1,7,25

org.threeten

treze e mais

1.7.1

org.tukaani

xz

1,9

org.typelevel

álgebra_2.12

2.0.1

org.typelevel

cats-kernel_2.12

2.1.1

org.typelevel

spire-macros_2.12

0,17.0

org.typelevel

spire-platform_2.12

0,17.0

org.typelevel

spire-util_2.12

0,17.0

org.typelevel

spire_2.12

0,17.0

org.wildfly.openssl

wildfly-openssl

1.1.3. Final

org.xerial

sqlite-JDBC

3,42.0.0

org.xerial.snappy

snappy-java

1.1.10.3

org.yaml

snakeyaml

2,0

oro

oro

2.0.8

pt.edu.icm

Matrizes JLarge

1.5

software.Amazon.cryptools

Amazon Correcto Crypto Provider

1.6.1-linux-x86_64

software.Amazon.ion

ion-java

1.0.2

stax

stax-api

1.0.1

Última atualização em