Pular para o conteúdo principal

Databricks Runtime 12,0 (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 12.0, alimentado pelo Apache Spark 3.3.1.

A Databricks lançou essa versão em dezembro de 2022.

nota

Estas notas sobre a versão podem incluir referências a recursos que não estão disponíveis no Google Cloud a partir desta versão.

Novos recursos e melhorias​

A E/S preditiva é GA​

A E/S preditiva agora está disponível ao público em geral. Para obter mais informações, consulte O que é I/O preditivo?

O Photon Writer oferece suporte à compactação zstd​

O gravador nativo do Photon agora oferece suporte ao codec de compactação zstd quando o zstd está ativado, definindo spark.sql.parquet.compression.codec como zstd.

Suporte ao perfil de recurso de tarefa em nível de estágio para clustering autônomo​

Agora o senhor pode usar a programação em nível de estágio no clustering autônomo quando a alocação dinâmica estiver desativada. Para usar esse recurso, especifique o recurso de tarefa com ResourceProfileBuilder para cada estágio.

Suporte SQL para substituição seletiva com REPLACE WHERE​

Agora o senhor pode sobrescrever seletivamente os dados que correspondem a uma expressão arbitrária em uma tabela Delta usando o seguinte padrão.

SQL
INSERT INTO table_name REPLACE WHERE predicate append_relation

Consulte Substituição seletiva arbitrária por replaceWhere.

As marcas d'água agora são compatíveis com o SQL​

Agora, o senhor pode especificar marcas d'água usando a interface DLT SQL e em consultas SQL contra a transmissão DataFrames. Consulte a cláusula WATERMARK.

Perfil de memória do PySpark​

O perfil de memória agora está habilitado para as funções definidas pelo usuário do PySpark. Isso fornece informações sobre o incremento de memória, o uso de memória e o número de ocorrências de cada linha de código em uma função definida pelo usuário.

Poda dinâmica para DELETE e UPDATE​

Ao usar o Photon-enabled compute, DELETE e UPDATE agora usam a poda dinâmica de arquivos e partições, o que melhora o desempenho. Por exemplo, a remoção dinâmica é ativada quando uma tabela de origem menor é usada para atualizar ou excluir linhas em uma tabela maior.

Métricas de exclusão em nível de linha para operações de linguagem de manipulação de dados particionados​

Com os predicados particionados, os usuários agora podem auditar quantas linhas são excluídas ao executar operações de linguagem de manipulação de dados (DML), como DELETE, TRUNCATE e replaceWhere.

Correções de bugs​

Foi corrigido um problema com a análise de JSON no Auto Loader em que todas as colunas eram deixadas como strings. Anteriormente, cloudFiles.inferColumnTypes não era definido ou era definido como false e o JSON continha objetos aninhados.

Atualizações da biblioteca​

  • Atualizado Python biblioteca:

    • argon2-cffi a partir de 20.1.0 até 21.3.0
    • atributos de 21.2.0 a 21.4.0
    • backports.pontos de entrada selecionáveis de 1.1.1 a 1.2.0
    • lixívia de 4.0.0 a 4.1.0
    • boto3 de 1.21.18 a 1.21.32
    • botocore de 1.24.18 a 1.24.32
    • cffi de 1.14.6 a 1.15.0
    • clique de 8.0.3 a 8.0.4
    • ciclador de 0.10.0 a 0.11.0
    • Cython de 0.29.24 a 0.29.28
    • debugpy de 1.4.1 a 1.5.1
    • decorador da versão 5.1.0 para 5.1.1
    • pontos de entrada de 0,3 a 0,4
    • idna de 3,2 a 3,3
    • ipykernel de 6.12.1 a 6.15.3
    • ipython de 7.32.0 a 8.5.0
    • ipywidgets de 7.7.0 a 7.7.2
    • jedi de 0.18.0 a 0.18.1
    • joblib de 1.0.1 a 1.1.0
    • jsonschema de 3.2.0 a 4.4.0
    • kiwisolver de 1.3.1 a 1.3.2
    • matplotlib de 3.4.3 a 3.5.1
    • nbclient de 0.5.3 a 0.5.13
    • nbconvert a partir de 6.1.0 para 6.4.4
    • nbformat de 5.1.3 para 5.3.0
    • nest-asyncio de 1.5.1 a 1.5.5
    • Notebook da versão 6.4.5 para a 6.4.8
    • numpy de 1.20.3 a 1.21.5
    • embalagem de 21,0 a 21,3
    • Pandas De 1.3.4 para 1.4.2
    • pandocfilters de 1.4.3 a 1.5.0
    • parso de 0.8.2 a 0.8.3
    • Almofada de 8.4.0 a 9.0.1
    • platformdirs de 2.5.2 a 2.5.4
    • plotly de 5.9.0 a 5.6.0
    • prometheus-client de 0.11.0 a 0.13.1
    • protobuf de 4.21.5 a 3.19.4
    • pycparser de 2.20 a 2.21
    • Pigmentos de 2.10.0 a 2.11.2
    • pyodbc de 4.0.31 para 4.0.32
    • pyzmq de 22.2.1 a 22.3.0
    • solicitações de 2.26.0 a 2.27.1
    • s3transfer de 0.5.2 para 0.5.0
    • scikit-learn de 0.24.2 para 1.0.2
    • scipy de 1.7.1 a 1.7.3
    • modelos de estatísticas de 0.12.2 a 0.13.2
    • terminado de 0.9.4 a 0.13.1
    • tomli de 2.0.1 a 1.2.2
    • traitlets a partir de 5.1.0 para 5.1.1
    • urllib3 de 1.26.7 a 1.26.9
    • extensão widgetsnb de 3.6.0 para 3.6.1

  • Biblioteca R atualizada:

    • base de 4.1.3 para 4.2.2
    • fermentar de 1,0-7 a 1,0-8
    • bslib de 0.4.0 a 0.4.1
    • callr de 3.7.2 a 3.7.3
    • crono de 2,3-57 a 2,3-58
    • CLI De 3.3.0 para 3.4.1
    • agrupamento de 2.1.3 para 2.1.4
    • marca comum de 1.8.0 a 1.8.1
    • compilador a partir de 4.1.3 para 4.2.2
    • cpp11 de 0.4.2 a 0.4.3
    • giz de cera de 1.5.1 a 1.5.2
    • curl de 4.3.2 a 4.3.3
    • data.table de 1.14.2 a 1.14.4
    • conjunto de dados da seção 4.1.3 para 4.2.2
    • desc de 1.4.1 a 1.4.2
    • devtools de 2.4.4 a 2.4.5
    • resumo de 0.6.29 a 0.6.30
    • e1071 de 1,7-11 a 1,7-12
    • avaliar de 0,16 a 0,18
    • fontawesome de 0.3.0 a 0.4.0
    • futuro de 1.28.0 a 1.29.0
    • future.apply de 1.9.1 a 1.10.0
    • gargareje de 1.2.0 a 1.2.1
    • vá de 1.8.0 para 1.9.1
    • ggplot2 de 3.3.6 a 3.4.0
    • gh de 1.3.0 a 1.3.1
    • gitcreds de 0.1.1 a 0.1.2
    • gráficos da versão 4.1.3 para 4.2.2
    • GRDevices da versão 4.1.3 para 4.2.2
    • grade a partir de 4.1.3 para 4.2.2
    • httpuv de 1.6.5 a 1.6.6
    • isoband de 0,2,5 a 0,2.6
    • jsonlite de 1.8.0 a 1.8.3
    • lava de 1.6.10 a 1.7.0
    • ciclo de vida de 1.0.1 a 1.0.3
    • lubrificar de 1.8.0 a 1.9.0
    • markdown de 1,1 a 1,3
    • MASS de 7,3-56 a 7,3-58
    • Matriz de 1,4-1 a 1,5-1
    • métodos de 4.1.3 para 4.2.2
    • mgcv de 1,8-40 a 1,8-41
    • nome de 3,1-157 a 3,1-160
    • nnet de 7,3-17 a 7,3-18
    • openssl de 2.0.2 a 2.0.4
    • paralelo a partir de 4.1.3 para 4.2.2
    • pkgload de 1.3.0 a 1.3.1
    • processos de 3.7.0 a 3.8.0
    • ps de 1.7.1 a 1.7.2
    • purrr de 0.3.4 a 0.3.5
    • ragg de 1.2.2 a 1.2.4
    • RCPPeigen de 0.3.3.9.2 a 0.3.3.9.3
    • leitor a partir de 2.1.2 para 2.1.3
    • receitas de 1.0.1 a 1.0.3
    • rlang de 1.0.5 a 1.0.6
    • rmarkdown da versão 2.16 para a 2.18
    • a partir de 4.1.16 até 4.1.19
    • RSQLite de 2.2.16 a 2.2.18
    • brilhante de 1.7.2 a 1.7.3
    • SparkR de 3.3.0 para 3.3.1
    • splines de 4.1.3 para 4.2.2
    • estatísticas de 4.1.3 para 4.2.2
    • stats4 de 4.1.3 para 4.2.2
    • diz de 3.4 a 3.4.1
    • tcltk da 4.1.3 para 4.2.2
    • testthat a partir de 3.1.4 para 3.1.5
    • tidyr de 1.2.0 a 1.2.1
    • tidyselect da versão 1.1.2 para 1.2.0
    • Horário/Data de 4021.104 a 4021.106
    • tinytex de 0,41 a 0,42
    • ferramentas da versão 4.1.3 para 4.2.2
    • utilitários da versão 4.1.3 para 4.2.2
    • vctrs de 0.4.1 a 0.5.0
    • vroom de 1.5.7 a 1.6.0
    • xfun de 0,32 a 0,34
    • yaml de 2.3.5 a 2.3.6
    • zip de 2.2.0 a 2.2.2

  • Atualizado Java biblioteca:

    • com.fasterxml.jackson.core.jackson-databind de 2.13.4 a 2.13.4.2
    • org.apache.parquet.parquet-column de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-common de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.codificação de parquet de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.estruturas de formato de parquet de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-jackson de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.yetus.audience-anotação de 0.5.0 a 0.13.0

Apache Spark​

O Databricks Runtime 12.0 inclui o Apache Spark 3.3.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 11.3 LTS, bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-40844] [SC-116996] [12,1x] [12,0] [12,0.0] Reverter "[SC-113542][ss] Inverter o valor default de Kafka offset fetching config"
  • [SPARK-40646] [SC-116061] Reverter "[SC-113379][sql] Corrigir o retorno de resultados parciais nas funções JSON fonte de dados e JSON "
  • [SPARK-41195] [SC-116305][sql] Suporte a PIVOT/UNPIVOT com join children
  • [SPARK-41178] [SC-116139][sql] Corrigir a precedência da regra do analisador entre junção e vírgula
  • [SPARK-41072] [SC-116140] [sc-116044] [SC-115852] [sql] [SS] Adicione a classe de erro STREAM_FAILED a StreamingQueryException
  • [SPARK-40921] Reverter "[SC-115140][sc-114585][SQL] Adicionar a cláusula WHEN NOT MATCHED BY SOURCE para MERGE INTO
  • [SPARK-37980] [SC-115758] [SQL] Estender a coluna METADATA para suportar índices de linha para arquivos Parquet
  • [SPARK-41055] [SC-115582] [sql] Renomear _LEGACY_ERROR_TEMP_2424 para GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849][Python][PROTOBUF] Suporte de nome de classe de mensagem para PySpark-PROTOBUF
  • [SPARK-40956] [SC-115867] Equivalente SQL para o comando de substituição de Dataframe
  • [SPARK-41095] [SC-115659] [sql] Converter operadores não resolvidos em erros internos
  • [SPARK-41144] [SC-115866] [sql] A dica não resolvida não deve causar falha na consulta
  • [SPARK-41137] [SC-115858] [sql] Renomear LATERAL_JOIN_OF_TYPE para INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754] [sql] Renomeie a classe de erro _LEGACY_ERROR_TEMP_0040 para INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130] [sql] [PROTOBUF] Verificação nula do UnitTest para gerador de dados
  • [SPARK-40769] [SC-114923][core][SQL] Migrar as falhas de verificação de tipo das expressões agregadas para as classes de erro
  • [SPARK-41043] [SC-115183] [sql] Renomeie a classe de erro _LEGACY_ERROR_TEMP_2429 para NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855][sql][PROTOBUF] Protobuf suporte à importação e mover classes de erro.
  • [SPARK-41019] [SC-114987] [sql] Forneça um contexto de consulta para failAnalysis()
  • [SPARK-41027] [SC-115131] [sql] Use UNEXPECTED_INPUT_TYPE em vez de MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][sc-111163][ML][sql] Reduzir o tamanho do embaralhamento do ALS
  • [SPARK-41134] [SC-115851] [sql] Melhorar a mensagem de erro de erros internos
  • [SPARK-37980] Reverter " [SQL] Estender a coluna METADATA para suportar índices de linha para arquivos Parquet
  • [SPARK-41109] [SC-115788] [sql] Renomeie a classe de erro _LEGACY_ERROR_TEMP_1216 para INVALID_LIKE_PATTERN
  • [SPARK-40984] [SC-115844][core][SQL] Use NON_FOLDABLE_INPUT em vez de FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][sql] Otimizar o uso do construtor GenericArrayData para Scala 2.13
  • [SPARK-40697] [SC-113648] [sql] Adicionar preenchimento de caracteres no lado da leitura para cobrir arquivos de dados externos
  • [SPARK-40978] [SC-114574] [sql] Migre failAnalysis() sem um contexto para classes de erro
  • [SPARK-40663] [SC-114586] [sql] Migre erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][sc-112707][SQL] DS V2: Suporte à filtragem de grupos em tempo de execução no comando em nível de linha
  • [SPARK-40372] [SC-115668] [sql] Migrar falhas de verificações de tipo de matriz para classes de erro
  • [SPARK-41038] [SC-115371] [sql] Renomear MULTI_VALUE_SUBQUERY_ERROR para SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443] [sql] Renomeie a classe de erro _LEGACY_ERROR_TEMP_1208 para FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696] [sql] Migrar falhas de verificação de tipo de condições para classes de erro
  • [SPARK-40371] [SC-114557] [sql] Migrar falhas de verificação de tipo de nthValue e NTile para classes de erro
  • [SPARK-41092] [SC-115547] [sql] Não use identificador para combinar unidades de intervalo
  • [SPARK-41009] [SC-115360] [sql] Renomeie a classe de erro _LEGACY_ERROR_TEMP_1070 para LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] Estender a coluna METADATA para suportar índices de linha para arquivos Parquet
  • [SPARK-40967] [SC-114448] [sql] Migrar failAnalysis() para classes de erro
  • [SPARK-34265] [SC-115486][sc-113788][Python][sql] Instrumento Python UDFs usando SQL métricas
  • [SPARK-41012] [SC-114873] [sql] Renomear _LEGACY_ERROR_TEMP_1022 para ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142] [sql] Renomear PARSE_CHAR_MISSING_LENGTH para DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442] [sql] Migrar falhas de verificação de tipo de expressões diversas para classes de erro
  • [SPARK-37945] [SC-115534] [sql] [CORE] Use classes de erro nos erros de execução de operações aritméticas
  • [SPARK-40374] [SC-114705] [sql] Migrar falhas de verificação de tipo dos criadores de tipos para classes de erro
  • [SPARK-41056] [SC-115354] [r] Corrige o novo comportamento do R_LIBS_SITE introduzido no R 4.2
  • [SPARK-41041] [SC-115357] [sql] Integre _LEGACY_ERROR_TEMP_1279 em TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852] [sql] Migre erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984] [sql] Renomeie a classe de erro _LEGACY_ERROR_TEMP_1019 para STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233] [sql] Não corrija filhos dobráveis de funções agregadas em RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353] [sql] Melhore as classes e mensagens de erro
  • [SPARK-40798] [SC-113782] [sql] Alterar partição deve verificar o valor seguindo StoreAssignmentPolicy
  • [SPARK-40810] [SC-113533] [sql] Use sparkIllegalArgumentException em vez de IllegalArgumentException em CreateDatabaseCommand & AlterDatabaseSetLocationCommand
  • [SPARK-40921] [SC-115140][sc-114585][SQL] Adicionar a cláusula WHEN NOT MATCHED BY SOURCE ao MERGE INTO
  • [SPARK-40360] [SC-114965] Exceções ALREADY_EXISTS e NOT_FOUND
  • [SPARK-41007] [SC-115085] [sql] Adicionar serializador ausente para java.math.BigInteger
  • [SPARK-40751] [SC-114254] [sql] Migrar falhas de verificação de tipo de funções de alta ordem para classes de erro
  • [SPARK-40248] [SC-114704] [sql] Use um número maior de bits para criar o filtro Bloom
  • [SPARK-41040] [SC-115145][ss] Corrigir falha na consulta de transmissão de auto-união ao usar readStream.table
  • [SPARK-32380] [SC-114966][sql] Corrigindo o acesso à tabela HBase via Hive do Spark
  • [SPARK-40749] [SC-114860] [sql] Migrar falhas de verificação de tipo de geradores para classes de erro
  • [SPARK-40925] [SC-114445] [sql] [SS] [warmfix] [12.x] Corrija o operador com estado mais tarde...
  • [SPARK-40654] [SC-112783] Remover linhas temporárias do site log
  • [SPARK-40742] [SC-114913][sc-112646][CORE][sql] Corrigir avisos de compilação Java relacionados ao tipo genérico
  • [SPARK-40657] [SC-113642][cherry-pick] Adicionar suporte para classes Java no Protob...
  • [SPARK-40898] [SC-113932] [sql] Citar nomes de funções em erros de incompatibilidade de tipos de dados
  • [SPARK-40760] [SC-113750] [sql] Migrar falhas de verificação de tipo de expressões de intervalo para classes de erro
  • [SPARK-36114] [SC-113771] [sql] Suporta subconsultas com predicados de não igualdade correlacionados
  • [SPARK-40856] [SC-113738][sql] Atualizar o padrão de erro de WRONG_NUM_PARAMS
  • [SPARK-40759] [SC-114251] [sql] Migrar falhas de verificação de tipo da janela de tempo para classes de erro
  • [SPARK-40750] [SC-113812] [sql] Migrar falhas de verificação de tipo de expressões matemáticas para classes de erro
  • [SPARK-40756] [SC-113749][sql] Migrar as falhas de verificação de tipo das expressões de strings para as classes de erro
  • [SPARK-40768] [SC-113640] [sql] Migrar falhas de verificação de tipo de bloom_filter_agg () para classes de erro
  • [SPARK-40369] [SC-113402][core][SQL] Migrar as falhas de verificação de tipo das chamadas via reflexão para as classes de erro
  • [SPARK-39445] [SQL] Remova a janela se windowExpressions estiver vazia na poda de colunas
  • [SPARK-40761] [SC-113245] [sql] Migrar falhas de verificação de tipo de expressões percentuais para classes de erro
  • [SPARK-40361] [SC-112789] [sql] Migrar falhas de verificação de tipo aritmético para classes de erro
  • [SPARK-40714] [SC-112576] [sql] Remover PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437] [sql] Corrigir especificações de partição em PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631] [sql] Migrar falhas de verificação de tipo de coleção para classes de erro
  • [SPARK-40910] [SC-114259] [sql] Substitua UnsupportedOperationException por SparkUnsupportedOperationException
  • [SPARK-39876] [SC-112429][sql] Adicionar UNPIVOT à sintaxe SQL
  • [SPARK-39783] [SC-113389] [sql] Cite QualifiedName para corrigir erros em candidatos a colunas em mensagens de erro
  • [SPARK-40663] [SC-112520] [sql] Migre erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555] [sql] Renomeie a classe de erro _LEGACY_ERROR_TEMP_0021 para UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472] [sql] Elimine campos separados de subclasses de erro
  • [SPARK-40944] [SC-114530][sql] Relaxe a restrição de ordem para as opções de coluna CREATE TABLE
  • [SPARK-40815] [SC-114528] [sql] Adicione DelegateSymlinkTextInputFormat à solução alternativa do bug SymlinkTextInputSplit
  • [SPARK-40933] [SC-114441] [sql] Reimplemente df.stat. {cov, corr} com funções sql integradas
  • [SPARK-40932] [SC-114439] [core] As mensagens de correção de problemas do AllGather foram substituídas
  • [SPARK-39312] [SQL] Use Parquet native In predicate for in filter push down
  • [SPARK-40862] [SC-114352] [sql] Ofereça suporte a subconsultas não agregadas em RewriteCorrelatedScalarSubquery
  • [SPARK-40963] [SC-114446] [sql] Defina anulável corretamente no projeto criado por ExtractGenerator
  • [SPARK-40663] [SC-112295] [sql] Migre erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347] [sql] [SS] Diminua o requisito da regra window_time - permita várias chamadas window_time
  • [SPARK-40540] [SC-111639] [sql] Migre erros de compilação para classes de erro: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258] [sql] Correção para Unhex quando a entrada tem um número ímpar de símbolos
  • [SPARK-40821] [SC-113754][sql][CORE][Python][SS] Introduzir a função window_time para extrair a hora do evento da coluna window
  • [SPARK-40800] [SC-113772] [sql] Sempre expressões em linha na subconsulta OptimizeOneRowRelationSubquery
  • [SPARK-40900] [SC-114006][sql] Reimplementar frequentItems com operações de dataframe
  • [SPARK-40735] [SC-114022] [sc-112657] Invoque consistentemente o bash com /usr/bin/env bash em scripts para tornar o código mais portátil
  • [SPARK-40773] [SC-113091] [sql] Refatore as correlações de verificação na subconsulta
  • [SPARK-40615] [SC-113400] [sql] Verifique os tipos de dados não suportados ao decorar subconsultas
  • [SPARK-40660] [SC-112293][core][SQL] Mudar para XORShiftRandom para distribuir elementos
  • [SPARK-40540] [SC-113926][sc-111331][SQL] Migrar erros de compilação para classes de erro
  • [SPARK-40551] [SC-113135][sql] DataSource V2: Adicionar APIs para operações em nível de linha baseadas em delta
  • [SPARK-39391] [SC-110676] [core] Reutilize classes de particionador
  • [SPARK-40368] [SC-113396] [sql] Migrar falhas de verificação do tipo Bloom Filter para classes de erro
  • [SPARK-39146] [SC-111814][core][SQL] Introduzir um singleton local para ObjectMapper que pode ser reutilizado
  • [SPARK-40357] [SC-113786][sc-111352][SQL] Migrar falhas de verificação de tipo de janela para classes de erro
  • [SPARK-40874] [SC-113756][Python] Corrigir transmissões em Python UDFs quando a criptografia estiver ativada
  • [SPARK-40359] [SC-113770][sc-111146][SQL] Falha na verificação de tipo de migração em expressões CSV/JSON para classes de erro
  • [SPARK-40880] [SC-113764][sql] Reimplementar summary com operações de dataframe
  • [SPARK-40877] [SC-113763][sql] Reimplementar crosstab com operações de dataframe
  • [SPARK-40382] [SC-113098] [sql] Agrupe expressões agregadas distintas por filhos semanticamente equivalentes em RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532] [ss] Adicionar verificação adicional de renomeação de arquivo de ponto de verificação
  • [SPARK-40829] [SC-113426][sql] STORED AS serde in CREATE TABLE LIKE view não funciona
  • [SPARK-40844] [SC-113542][ss] Inverter o valor default de Kafka offset fetching config
  • [SPARK-40488] [SC-113568] [sc-111160] Não encapsular exceções lançadas quando a gravação da fonte de dados falha
  • [SPARK-40560] [SC-113631][sc-111335][SQL] Renomear message para messageTemplate no formato de erros STANDARD
  • [SPARK-40618] [SC-113096][sql] Corrigir bug na regra MergeScalarSubqueries com subconsultas aninhadas usando acompanhamento de referência
  • [SPARK-40530] [SC-113528][sc-111332][SQL] Adicionar APIs de desenvolvedor relacionadas a erros
  • [SPARK-40806] [SC-113250][sql] Correção de erro de digitação: CREATE TABLE -> REPLACE TABLE
  • [SPARK-40646] [SC-113379][sql] Correção do retorno de resultados parciais nas funções JSON fonte de dados e JSON
  • [SPARK-40654] [Cherry-pick][sc-112783][SQL] Suporte a Protobuf para Spark - de...
  • [SPARK-40753] [SC-113539][sql] Corrigir bug no caso de teste para operações de diretório de catálogo
  • [SPARK-40765] [SC-113056][sql] Otimizar operações fs redundantes no método CommandUtils#calculateSingleLocationSize#getPathSize
  • [SPARK-40114] [ES-479282][r][11.X] Suporte ao Arrow 9.0.0 com o SparkR
  • [SPARK-40479] [SC-110935] [sql] Migrar erro de tipo de entrada inesperado para uma classe de erro
  • [SPARK-40473] [SC-113388][sc-111141][SQL] Migrar erros de análise para classes de erro
  • [SPARK-39853] [SC-111867][core] Suporte ao perfil de recurso de tarefa em nível de estágio para clustering autônomo quando a alocação dinâmica estiver desativada (back port do PR-47157)
  • [SPARK-40407] [SC-111161] [sql] Corrija a possível distorção de dados causada pelo df.repartition
  • [SPARK-40425] [SC-110840][sql] DROP TABLE não precisa fazer pesquisa de tabela
  • [SPARK-40703] [SC-113242] [sql] Introduza o shuffle em SinglePartition para melhorar o paralelismo
  • [SPARK-40640] [SC-113138] [core] SparkHadoopUtil para definir a origem das opções de configuração do hadoop/hive
  • [SPARK-39062] [11.x] [núcleo] Adicionar suporte ao recurso programar em nível de estágio para clustering autônomo
  • [SPARK-33861] [SC-109877]Reverter "[SQL] Simplificar condicional em predicado"
  • [SPARK-40667] [SC-113136][sql] Refatorar fonte de dados do arquivo Opções
  • [SPARK-40370] [SC-110677] [sql] A verificação do tipo de migração falha nas classes de erro no CAST
  • [SPARK-40611] [SC-113105][sql] Melhore o desempenho de setInterval & getInterval para UnsafeRow
  • [SPARK-40733] [SC-113126] [sql] Faça com que o conteúdo de SERDEPROPERTIES no resultado de ShowCreateTableAsSerdeCommand tenha uma ordem fixa
  • [SPARK-40585] [SC-112180] [sql] Suporta identificadores com aspas duplas
  • [SPARK-40772] [SC-112992] [sql] Melhore spark.sql.adaptive.skewJoin.skewedPartitionFactor para suportar valores Double
  • [SPARK-40565] [SC-112417] [sql] Não envie filtros não determinísticos para fontes de arquivo V2
  • [SPARK-8731] [SC-112784] O Beeline não funciona com a opção -e ao começar em segundo plano
  • [SPARK-35242] [SC-111398][sql] Suporte à alteração do banco de dados do catálogo de sessões default
  • [SPARK-40426] [SC-110672] [sql] Retornar um mapa de SparkThrowable.getMessageParameters
  • [SPARK-40494] [SC-112655][sc-111025][CORE][sql][ML][MLlib] Otimizar o desempenho do padrão de código keys.zipWithIndex.toMap
  • [SPARK-40521] [SC-112430][sql] Retorna apenas as partições existentes em PartitionsAlreadyExistException a partir da criação de partição do Hive
  • [SPARK-40705] [SC-112567] [sql] Manipular caso de uso de array mutável ao converter Row em JSON para Scala 2.13
  • [SPARK-39895] [SC-112590][sql][Python] Suporte a drop de várias colunas
  • [SPARK-40607] [SC-112296][core][SQL][MLlib][SS] Remover operações redundantes do interpolador de strings
  • [SPARK-40420] [SC-112604][sc-110569][SQL] Classifique os parâmetros da mensagem de erro por nomes nos formatos JSON
  • [SPARK-40403] [SC-110564] [sql] Calcule o tamanho inseguro da matriz usando longos para evitar o tamanho negativo na mensagem de erro
  • [SPARK-40482] [SC-110831] [sql] Reverter SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555][sc-110397][SQL] Passar parâmetros de mensagem de erro para exceções como mapas
  • [SPARK-40628] [SC-112414][sql] Não enviar condições complexas de semi/anti join à esquerda por meio do projeto
  • [SPARK-40562] [SC-111455] [sql] Adicionar spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-111333] [sql] Adicionar PushProjectionThroughLimit para o Optimizer
  • [SPARK-39200] [SC-111244][core] Fazer o fallback Storage readFully no conteúdo
  • [SPARK-38717] [SC-111241][sql] Manipular o comportamento de preservação de caso de especificação de balde do Hive
  • [SPARK-40385] [SC-111123] [sql] Corrige o caminho interpretado para o construtor de objetos complementares
  • [SPARK-40216] [SC-112413] [sql] Extraia o método ParquetUtils.prepareWrite comum para desduplicar código em ParquetFileFormat e ParquetWrite
  • [SPARK-40636] [SC-112160][core] Corrigir embaralhamentos permanentes errados log in BlockManagerDecommissioner
  • [SPARK-40617] [SC-112009] Corrige a condição de corrida no tratamento das entradas StageTcmp do ExecutorMetricsPoller
  • [SPARK-40618] [SC-112046] [sql] Corrigir bug na regra mergeScalarSubqueries com subconsultas aninhadas
  • [SPARK-40612] [SC-111933][core] Correção do principal usado para renovação de tokens de delegação em gerenciadores de recurso não YARN
  • [SPARK-40595] [SC-111662] [sql] Melhore a mensagem de erro para relações CTE não utilizadas
  • [SPARK-40314] [SC-111879][sql][Python] Adicionar Scala e Python bindings para inline e inline_outer
  • [SPARK-40416] [SC-110945] [sql] Mova as mensagens de erro CheckAnalysis da expressão de subconsulta para usar a nova estrutura de erros
  • [SPARK-40318] [SC-111865][sc-109986][SQL] try_avg() deve lançar as exceções de seu filho
  • [SPARK-40509] [SC-111644][ss][Python] Adicionar exemplo para applyInPandasWithState
  • [SPARK-40310] [SC-111329][sc-109842][SQL] try_sum() deve lançar as exceções de seu filho
  • [SPARK-40016] [SQL] Remover TryEval desnecessário na implementação de try_sum()
  • [SPARK-40527] [SC-111224][sql] Manter nomes de campos de estrutura ou chave de mapa em CreateStruct
  • [SPARK-38098] [SC-111178][Python] Adicionar suporte para ArrayType de StructType aninhado à conversão baseada em setas
  • [SPARK-40324] [SC-111359][sc-110293][SQL] Fornecer contexto de consulta em AnalysisException
  • [SPARK-40492] [SC-111324][ss] Fazer manutenção antes da transmissão StateStore unload
  • [SPARK-40487] [SC-111124] [sql] Torne defaultJoin em BroadcastNestedLoopJoinExec em execução em paralelo
  • [SPARK-40474] [SC-111273][sql] Corrige a inferência do esquema CSV e o comportamento de análise de dados em colunas com datas e carimbos de data/hora mistos
  • [SPARK-40508] [SC-111066] [sql] Trate o particionamento desconhecido como particionamento desconhecido
  • [SPARK-40496] [SC-111234][sc-111013][SQL] Corrige as configurações para controlar "enableDateTimeParsingFallback"
  • [SPARK-40435] [SC-111214][ss][Python] Adicionar suítes de teste para applyInPandasWithState em PySpark
  • [SPARK-40434] [SC-111125][ss][Python] Implementar applyInPandasWithState em PySpark

Atualizações de manutenção​

Consulte Atualizações de manutenção do Databricks Runtime 12.0.

Ambiente do sistema​

  • Sistema operacional : Ubuntu 20.04.5 LTS
  • Java : Zulu 8.64.0.19-CA-linux64
  • Scala : 2.12.14
  • Python : 3.9.5
  • R : 4.2.2
  • Delta Lake : 2.2.0

Instalado Python biblioteca​

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

argônio-2-cffi

21,3,0

ligações argônio-2-cffi

21.2.0

asttokens

2.0.5

atrai

21,4,0

chamada de volta

0.2.0

backports.pontos de entrada selecionáveis

1.2.0

linda sopa 4

4.11.1

preto

22,3,0

cândida

4.1.0

boto3

1,21,32

botocore

1,24,32

certifi

2021.10.8

caffi

1,15.0

chardet

4.0.0

normalizador de conjuntos de caracteres

2.0.4

clique

8.0.4

criptografia

3.4.8

ciclador

0.11.0

Cython

0,29,28

dbus-Python

1.2.16

depurar

1.5.1

decorador

5.1.1

xml desfundido

0.7.1

distlib

0.3.6

pontos de entrada

0,4

execução

0,8.3

visão geral das facetas

1.0.0

esquema fastjson

2.16.2

bloqueio de arquivo

3.8.0

ferramentas de fonte

4,25.0

Índia

3.3

ipykernel

6.15.3

ipython

8.5.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

jedi

0,18.1

Jinja 2

2.11.3

jmespath

0.10.0

joblib

1.1.0

esquema json

4.4.0

cliente jupyter

6.1.12

jupyter_core

4.11.2

pigmentos jupyterlab

0.1.2

widgets jupyterlab

1.0.0

solucionador de kiwi

1.3.2

MarkupSafe

2.0.1

Matplotlib

3.5.1

matplotlib-inline

0.1.2

confundir

0,8.4

extensões mypy

0.4.3

cliente nb

0,5.13

nbconvert

6.4.4

formato nb

5.3.0

nest-assíncio

1.5.5

notebook

6.4.8

entorpecido

1,21,5

fazendo às malas

21,3

Pandas

1.4.2

filtros pandóicos

1.5.0

parso

0,8.3

especificação do caminho

0.9.0

bode expiatório

0.5.2

esperar

4.8.0

picles

0.7.5

Travesseiro

9.0.1

pip

21.2.4

platformdirs

2.5.4

Plotly

5.6.0

cliente prometheus

0.13.1

kit de ferramentas de aviso

3,0.20

protobuf

3.19.4

pistila

5.8.0

psycopg2

2.9.3

processo pty

0.7.0

avaliação pura

0.2.2

flecha

7.0.0

pycparser

2,21

Pigmentos

2.11.2

Objeto PYG

3,36,0

pyodbc

4,0,32

análise de pipa

3.0.4

persistente

0,18.0

Python-dateutil

2.8.2

pytz

2021,3

pizma

22,3,0

pedidos

2.27.1

solicitações - soquete unix

0.2.0

transferência s3

0.5.0

scikit-learn

1.0.2

pegajoso

1.7.3

marítimo

0.11.2

Enviar 2 lixeiras

1.8.0

ferramentas de configuração

58,0,4

seis

1,16.0

peneira

2.3.1

ID de importação ssh

5,10

dados de pilha

0.2.0

modelos de estatísticas

0,13.2

tenacidade

8.0.1

terminado

0.13.1

caminho de teste

0.5.0

threadpool ctl

2.2.0

tokenizar-rt

4.2.1

tomli

1.2.2

tornado

6.1

almôndegas

5.1.1

extensões_de digitação

4.1.1

atualizações autônomas

0,1

urllib3

1.26.9

ambiente virtual

20,8.0

largura do wc

0.2.5

codificações da web

0.5.1

Python wheel

0,37,0

extensão widgetsnb

3.6.1

Instalada a R biblioteca​

As bibliotecas R são instaladas a partir do Snapshot Microsoft CRAN em 2022-11-11.

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

flecha

10.0.0

askpass

1.1

afirme que

0.2.1

portas traseiras

1.4.1

base

4.2.2

base64enc

0,1-3

pouco

4.0.4

bit64

4.0.5

bolha

1.2.3

inicialização

1,3-28

fermentar

1,0-8

brio

1.1.3

vassoura

1.0.1

babião

0.4.1

cachem

1.0.6

chamador

3.7.3

cursor

6,0-93

guarda de celas

1.1.0

crono

2,3-58

Aula

7,3-20

CLIPE

3.4.1

clipe

0,8.0

relógio

0.6.1

Cluster

2.1.4

ferramentas de código

0,2-18

espaço de cores

2,0-3

marca comum

1.8.1

compilador

4.2.2

configuração

0.3.1

cpp11

0.4.3

giz de cera

1.5.2

Credenciais

1.3.2

cacho

4.3.3

data.tabela

1,14.4

conjunto de dados

4.2.2

DBI

1.1.3

dbplyr

2.2.1

desc

1.4.2

ferramentas de desenvolvimento

2.4.5

diff

0.3.5

digerir

0,6.30

iluminado

0.4.2

dplyr

1.0.10

dtplyr

1.2.2

e1071

1,7-12

reticências

0.3.2

avalie

0,18

fansi

1.0.3

colorista

2.1.1

mapa rápido

1.1.0

fontawesome

0.4.0

para gatos

0.5.2

para cada um

1.5.2

estrangeira

0,8-82

forjar

0.2.0

fs

1.5.2

futuro

1.29.0

futuro.aplique

1.10.0

gargarejar

1.2.1

genéricas

0.1.3

obter

1.9.1

ggplot2

3.4.0

gh

1.3.1

gitcreds

0.1.2

glmnet

4,1-4

globais

0.16.1

cola

1.6.2

google drive

2.0.0

planilhas do Google 4

1.0.1

goleiro

1.0.0

gráficos

4.2.2

Dispositivos GR

4.2.2

grade

4.2.2

Grid Extra

2.3

gsubfn

0,7

mesa

0.3.1

capacete

1.2.0

refúgio

2.5.1

mais alto

0,9

HMS

1.1.2

ferramentas html

0.5.3

widgets html

1.5.4

http.uv

1.6.6

httr

1.4.4

IDs

1.0.1

mini

0.3.1

ipred

0,9-13

isóbanda

0.2.6

iteradores

1,0.14

jquerylib

0.1.4

jsonlite

1.8.3

Kern Smooth

2,23-20

tricotar

1,40

rótulo

0.4.2

posteriormente

1.3.0

treliça

0,20-45

lava

1.7.0

ciclo de vida

1.0.3

ouvindo

0,8.0

lubrificar

1.9.0

magritter

2.0.3

Markdown

1.3

MASSA

7,3-58

Matriz

1,5-1

memoise

2.0.1

métodos

4.2.2

mgcv

1,8-41

mímica

0,12

Mini UI

0.1.1.1

Métricas do modelo

1.2.2.2

modelar

0.1.9

munsell

0.5.0

nome

3,1-160

net

7,3-18

Número Deriv

2016,8-1,1

openssl

2.0.4

paralelo

4.2.2

paralelamente

1,32,1

pilar

1.8.1

pkgbuild

1.3.1

pkgconfig

2.0.3

pkgdown

2.0.6

carregamento de pacotes

1.3.1

plogr

0.2.0

plyr

1.8.7

elogio

1.0.0

unidades bonitas

1.1.1

ProC

1,18.0

processa

3.8.0

prodlim

13/11/2019

profvis

0.3.7

progresso

1.2.2

progressista

0.11.0

promessas

1.2.0.1

proto

1.0.0

proxy

0,4-27

ps

1.7.2

ronronar

0.3.5

r2d3

0.2.6

R6

2.5.1

trapo

1.2.4

Floresta aleatória

4,7-1,1

corredeiras

0.3.3

rcmdcheck

1.4.0

Cervejaria RColor

1,1-3

Rcpp

1.0.9

RCP Pegen

0.3.3.9.3

leitor

2.1.3

readxl

1.4.1

receitas

1.0.3

revanche

1.0.1

revanche 2

2.1.2

controles remotos

2.4.2

reprex

2.0.2

remodelar 2

1.4.4

rlang

1.0.6

rmarkdown

2,18

RODBC

1,3-19

roxigênio2

7.2.1

rpartem

4.1.19

rprojroot

2.0.3

Reservar

1,8-11

RSQLite

2.2.18

API do estúdio

0,14

reversões

2.1.2

colete

1.0.3

atrevimento

0.4.2

escala

1.2.1

seletor

0,4-2

informações da sessão

1.2.2

forma

1.4.6

brilhante

1.7.3

ferramentas de origem

0.1.7

Sparklyr

1.7.8

SparkR

3.3.1

espacial

7,3-11

splines

4.2.2

sqldf

0,4-11

QUADRADO

2021,1

estatísticas

4.2.2

estatísticas4

4.2.2

stringi

1.7.8

longarina

1.4.1

sobrevivência

3,4-0

diz

3.4.1

fontes do sistema

1.0.4

tcltk

4.2.2

teste isso

3.1.5

modelagem de texto

0.3.6

petiscar

3.1.8

arrumado

1.2.1

seleção arrumada

1.2.0

tidyverso

1.3.2

mudança de horário

0.1.1

Hora/Data

4021,106

tinytex

0,42

Ferramentas

4.2.2

tzdb

0.3.0

verificador de URL

1.0.1

use isso

2.1.6

utf 8

1.2.2

utilidades

4.2.2

uuid

1,1-0

vctrs

0.5.0

Viridis Lite

0.4.1

vadouro

1.6.0

waldo

0.4.0

bigode

0,4

murchar

2.5.0

diversão

0,34

xml2

1.3.3

xopen

1.0.0

x estável

1,8-4

yaml

2.3.6

compactar

2.2.2

Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)​

ID do grupo

ID do artefato

Versão

chifre

chifre

2.7.7

com.amazonaws

Amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscale

1,12.189

com.amazonaws

formação de nuvem aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-cloudfront

1,12.189

com.amazonaws

aws-java-sdk-cloudhsm

1,12.189

com.amazonaws

aws-java-sdk-cloudsearch

1,12.189

com.amazonaws

aws-java-sdk-cloudtrail

1,12.189

com.amazonaws

aws-java-sdk-cloudwatch

1,12.189

com.amazonaws

métricas aws-java-sdk-cloudwatch

1,12.189

com.amazonaws

aws-java-sdk-codedeploy

1,12.189

com.amazonaws

identidade cognitiva aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-cognitosync

1,12.189

com.amazonaws

aws-java-sdk-config

1,12.189

com.amazonaws

aws-java-sdk-core

1,12.189

com.amazonaws

pipeline de dados aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-conexão direta

1,12.189

com.amazonaws

diretório aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-dynamodb

1,12.189

com.amazonaws

aws-java-sdk-ec2

1,12.189

com.amazonaws

aws-java-sdk-ecs

1,12.189

com.amazonaws

aws-java-sdk-efs

1,12.189

com.amazonaws

aws-java-sdk-elasticache

1,12.189

com.amazonaws

aws-java-sdk-elasticbeanstalk

1,12.189

com.amazonaws

balanceamento de carga elástico aws-java-sdk

1,12.189

com.amazonaws

transcodificador elástico aws-java-sdk-

1,12.189

com.amazonaws

aws-java-sdk-emr

1,12.189

com.amazonaws

aws-java-sdk-glacier

1,12.189

com.amazonaws

aws-java-sdk-glue

1,12.189

com.amazonaws

aws-java-sdk-iam

1,12.189

com.amazonaws

aws-java-sdk-importação/exportação

1,12.189

com.amazonaws

aws-java-sdk-kinesis

1,12.189

com.amazonaws

aws-java-sdk-kms

1,12.189

com.amazonaws

aws-java-sdk-lambda

1,12.189

com.amazonaws

aws-java-sdk-logs

1,12.189

com.amazonaws

aws-java-sdk - aprendizado de máquina

1,12.189

com.amazonaws

aws-java-sdk-opsworks

1,12.189

com.amazonaws

aws-java-sdk-rds

1,12.189

com.amazonaws

aws-java-sdk-redshift

1,12.189

com.amazonaws

aws-java-sdk-route53

1,12.189

com.amazonaws

aws-java-sdk-s3

1,12.189

com.amazonaws

aws-java-sdk-ses

1,12.189

com.amazonaws

aws-java-sdk-simpledb

1,12.189

com.amazonaws

aws-java-sdk - fluxo de trabalho simples

1,12.189

com.amazonaws

aws-java-sdk-sns

1,12.189

com.amazonaws

aws-java-sdk-sqs

1,12.189

com.amazonaws

aws-java-sdk-ssm

1,12.189

com.amazonaws

gateway de armazenamento aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-sts

1,12.189

com.amazonaws

suporte aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-swf-biblioteca

1.11.22

com.amazonaws

aws-java-sdk-workspace

1,12.189

com.amazonaws

jmespath-java

1,12.189

com.chuusai

sem forma_2.12

2.3.3

com.clearspring.analítica

transmissão

2.9.6

com.databricks

Reservar

1,8-3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

plugin_2.12 do compilador

0,4,15-10

com.databricks.scalapb

scalapb-runtime_2.12

0,4,15-10

com.esotérico software

crio-sombreado

4.0.2

com.esotérico software

minlog

1.3.0

com.fasterxml

colega de classe

1.3.4

com.fasterxml.jackson.core

jackson-anotação

2.13.4

com.fasterxml.jackson.core

jackson-core

2.13.4

com.fasterxml.jackson.core

vinculação de dados jackson

2.13.4.2

formato de dados com.fasterxml.jackson.

formato de dados jackson-cbor

2.13.4

com.fasterxml.jackson.tipo de dados

jackson-datatype-joda

2.13.4

com.fasterxml.jackson.tipo de dados

jackson-datatype-jsr310

2.13.4

com.fasterxml.jackson.module

parâmetro do módulo jackson

2.13.4

com.fasterxml.jackson.module

jackson-module-Scala.12

2.13.4

com.github.ben-manes.cafeína

cafeína

2.3.4

com.github.fommil

descarregador

1.1

com.github.fommil.netlib

abdômen

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-nativos

1.1

com.github.fommil.netlib

sistema_nativo-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.luben

zstd-jni

1,5.2-1

com.github.wendykierp

JTransforma

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.8.6

com.google.crypto.tink

eu acho

1.6.1

com.google.flatbuffers

tampões planos-java

1.12.0

com.google.goiaba

goiaba

15,0

com.google.protobuf

protobuf-java

2.6.1

banco de dados com.h2

h2

2,0.204

com.helger

perfilador

1.1.1

com.jcraft

jsch

0,1,50

com.jolbox

bonecp

VERSÃO 0.8.0.

com.lihaoyi

código-fonte_2.12

0.1.9

com.microsoft.azure

azure-data lake-store-sdk

2.3.9

comendo

comprimir-lzf

1.1

com.sun.mail

javax.mail

1.5.2

com.trunning

JSON

1,8

com.thoughtworks.paranamer

paranâmero

2.8

com.trueaccord.lenses

lentes_2.12

0.4.12

com.Twitter

chill-java

0.10.0

com.Twitter

chill_2.12

0.10.0

com.Twitter

util-app_2.12

7.1.0

com.Twitter

util-core_2.12

7.1.0

com.Twitter

função-útil_2.12

7.1.0

com.Twitter

util-jvm_2.12

7.1.0

com.Twitter

util-lint_2.12

7.1.0

com.Twitter

util-registry_2.12

7.1.0

com.Twitter

util-stats_2.12

7.1.0

com.typesafe

configuração

1.2.1

com.typesafe.Scala-logging

Scala-logging_2.12

3.7.2

com.uber

h3

3.7.0

com.univocidade

analisadores de univocidade

2.9.1

com.zaxxer

HikaricP

4.0.3

comum-CLI

comum-CLI

1.5.0

codec comum

codec comum

1,15

coleções comuns

coleções comuns

3.2.2

commons-dbcp

commons-dbcp

1.4

upload de arquivo commons

upload de arquivo commons

1.3.3

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.11.0

linguagem comum

linguagem comum

2.6

registro de bens comuns

registro de bens comuns

1.1.3

comum-pool

comum-pool

1.5.4

dev.ludovic.netlib

mochila

2.2.1

dev.ludovic.netlib

blás

2.2.1

dev.ludovic.netlib

lapack

2.2.1

info.ganglia.gmetric4j

gmetric4j

1.0.10

io. airlift

compressor de ar

0,21

io.delta

delta-compartilhamento-spark_2.12

0.5.2

io.dropwizard.métricas

núcleo de métricas

4.1.1

io.dropwizard.métricas

métricas-grafite

4.1.1

io.dropwizard.métricas

métricas-healthchecks

4.1.1

io.dropwizard.métricas

métricas-jetty9

4.1.1

io.dropwizard.métricas

métricas-jmx

4.1.1

io.dropwizard.métricas

métricas-JSON

4.1.1

io.dropwizard.métricas

métricas-JVM

4.1.1

io.dropwizard.métricas

métricas-servlets

4.1.1

io.netty

tudo

4.1.74. Final

io.netty

netty-buffer

4.1.74. Final

io.netty

codec netty

4.1.74. Final

io.netty

netty-common

4.1.74. Final

io.netty

manipulador de limpeza

4.1.74. Final

io.netty

resolvedor de rede

4.1.74. Final

io.netty

classes netty-tcnative

2.0.48. Final

io.netty

transporte de urtigas

4.1.74. Final

io.netty

netty-transport-classes-epoll

4.1.74. Final

io.netty

netty-transport-classes-kqueue

4.1.74. Final

io.netty

netty-transport-native-epoll-linux-aarch_64

4.1.74. Final

io.netty

netty-transport-native-epoll-linux-x86_64

4.1.74. Final

io.netty

netty-transport-native-kqueue-osx-aarch_64

4.1.74. Final

io.netty

netty-transport-native-kqueue-osx-x86_64

4.1.74. Final

io.netty

netty-transport-native-unix-common

4.1.74. Final

io. prometheus

cliente simples

0.7.0

io. prometheus

simpleclient_common

0.7.0

io. prometheus

simpleclient_dropwizard

0.7.0

io. prometheus

gateway client_push simples

0.7.0

io. prometheus

client_servlet simples

0.7.0

io.prometheus.jmx

coletor

0.12.0

jakarta.anotação

jakarta.anotação-api

1.3.5

jakarta.servlet

jakarta.servlet-api

4.0.3

jakarta.validação

jakarta.validação-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.ativação

ativação

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.transaction

jta

1.1

javax.transaction

API de transação

1.1

javax.xml.bind

jaxb-api

2.2.11

javolução

javolução

5.5.1

junte-se

junte-se

2.14.6

hora do dia

hora do dia

2.10.13

net.java.dev.jna

jna

5.8.0

net.razorvine

salmoura

1.2

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

supercsv

2.2.0

net.snowflake

SDK de ingestão de flocos de neve

0.9.6

net.snowflake

floco de neve-JDBC

3,13,22

net.sourceforge.f2j

arpack_combined_all

0,1

org.acplt.remotetea

chá remoto - oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4,8

org.antlr

modelo de string

3.2.1

org.apache.ant

formiga

1.9.2

org.apache.ant

formiga

1.9.2

org.apache.ant

lançador de formigas

1.9.2

org.apache.arrow

formato de seta

7.0.0

org.apache.arrow

núcleo de memória de seta

7.0.0

org.apache.arrow

rede de memória de seta

7.0.0

org.apache.arrow

vetor de seta

7.0.0

org.apache.avro

AVRO

1.11.0

org.apache.avro

avro-ipc

1.11.0

org.apache.avro

mapeado automaticamente

1.11.0

org.apache.commons

commons-collections4

4.4

org.apache.commons

compressa comum

1,21

org.apache.commons

criptomoeda comum

1.1.0

org.apache.commons

commons-lang3

3.12.0

org.apache.commons

commons-math3

3.6.1

org.apache.commons

texto comum

1.10.0

org.apache.curator

curador-cliente

2.13.0

org.apache.curator

estrutura de curador

2.13.0

org.apache.curator

receitas de curadores

2.13.0

org.apache.derby

derby

10.14.2.0

org.apache.hadoop

API de cliente hadoop

3.3.4-blocos de dados

org.apache.hadoop

tempo de execução do cliente hadoop

3.3.4

org.apache.hive

hive-beeline

2.3.9

org.apache.hive

colmeia-CLI

2.3.9

org.apache.hive

hive-JDBC

2.3.9

org.apache.hive

hive-llap-client

2.3.9

org.apache.hive

hive-lap-common

2.3.9

org.apache.hive

colmeia

2.3.9

org.apache.hive

hive-shims

2.3.9

org.apache.hive

API de armazenamento em nuvem

2.7.2

org.apache.hive.shims

calços de colmeia - 0,23

2.3.9

org.apache.hive.shims

calços de colmeia comuns

2.3.9

org.apache.hive.shims

hive-shims-programador

2.3.9

org.apache.httpcomponents

cliente http

4.5.13

org.apache.httpcomponents

httpcore

4.4.14

org.apache.ivy

hera

2.5.0

org.apache.logging.log4j

log4j-1.2-api

2.18.0

org.apache.logging.log4j

log4j-api

2.18.0

org.apache.logging.log4j

log4j-core

2.18.0

org.apache.logging.log4j

log4j-slf4j-impl

2.18.0

org.apache.mesos

protobuf sombreado em mesos

1.4.0

org.apache.orc

núcleo orc

1.7.6

org.apache.orc

orc-mapreduce

1.7.6

org.apache.orc

calços de orc

1.7.6

org.apache.parquet

coluna de parquete

1.12.3-databricks-0001

org.apache.parquet

parquete comum

1.12.3-databricks-0001

org.apache.parquet

codificação de parquet

1.12.3-databricks-0001

org.apache.parquet

estruturas em formato de parquet

1.12.3-databricks-0001

org.apache.parquet

parquet-hadoop

1.12.3-databricks-0001

org.apache.parquet

parquet-jackson

1.12.3-databricks-0001

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.xbean

xbean-asm9-shaded

4,20

org.apache.yetus

audiência-anotação

0,13,0

org.apache.zookeeper

tratador

3.6.2

org.apache.zookeeper

tratador de zoológico - juta

3.6.2

org.checkerframework

xadrez igual

3.5.0

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.janino

compilador common

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

núcleo de dados-api-jdo

4.2.4

org.datanucleus

núcleo de dados

4.1.17

org.datanucleus

núcleo de dados-rdbms

4.1.19

org.datanucleus

javax.jdo

3,2,0-m3

org.Eclipse.jetty

jetty-client

9.4.46.v20220331

org.Eclipse.jetty

continuação do cais

9.4.46.v20220331

org.Eclipse.jetty

jetty-http

9.4.46.v20220331

org.Eclipse.jetty

jetty-io

9.4.46.v20220331

org.Eclipse.jetty

jetty-jndi

9.4.46.v20220331

org.Eclipse.jetty

jetty-plus

9.4.46.v20220331

org.Eclipse.jetty

jetty-proxy

9.4.46.v20220331

org.Eclipse.jetty

segurança do cais

9.4.46.v20220331

org.Eclipse.jetty

servidor jetty-server

9.4.46.v20220331

org.Eclipse.jetty

jutty-servlet

9.4.46.v20220331

org.Eclipse.jetty

píer de servlets

9.4.46.v20220331

org.Eclipse.jetty

jetty-util

9.4.46.v20220331

org.Eclipse.jetty

jetty-util-ajax

9.4.46.v20220331

org.Eclipse.jetty

aplicativo web jetty-

9.4.46.v20220331

org.Eclipse.jetty

jetty-xml

9.4.46.v20220331

org.Eclipse.jetty.websocket

API de websoquete

9.4.46.v20220331

org.Eclipse.jetty.websocket

cliente websocket

9.4.46.v20220331

org.Eclipse.jetty.websocket

websocket-comum

9.4.46.v20220331

org.Eclipse.jetty.websocket

servidor websocket

9.4.46.v20220331

org.Eclipse.jetty.websocket

servlet websocket

9.4.46.v20220331

org.fusesource.leveldbjni

leveldbjni-tudo

1,8

org.glassfish.hk2

API hk2

2.6.1

org.glassfish.hk2

localizador hk2

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-recurso-locator

1.0.3

org.glassfish.hk2.external

aopalliance - reembalado

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

servlet de contêiner de camisa

2,36

org.glassfish.jersey.containers

jersey-container-servlet-core

2,36

org.glassfish.jersey.core

cliente de camisa

2,36

org.glassfish.jersey.core

camiseta comum

2,36

org.glassfish.jersey.core

servidor de camisa

2,36

org.glassfish.jersey.inject

camiseta-hk2

2,36

org.hibernate.validator

validador de hibernação

6.1.0. Final

org.javassist

javassist

3,25,0 GA

org.jboss.logging

registro de jboss-logging

3.3.2. Final

org.jdbi

jdbi

2.63,1

org.jetbrains

anotação

17.0.0

org.joda

conversor de joda

1.7

org.jodd

núcleo nodular

3.5.2

org.json4s

json4s-ast_2.12

3,7,0-M11

org.json4s

json4s-core_2.12

3,7,0-M11

org.json4s

json4s-jackson_2.12

3,7,0-M11

org.json4s

json4s-scalap_2.12

3,7,0-M11

org.lz4

lz4-java

1.8.0

org.mariadb.JDBC

cliente mariadb-java

2.7.4

org.mlflow

faísca de fluxo

1.27.0

org.objenesis

objênese

2.5.1

org.postgresql

PostgreSQL

42,3.3

org.roaringbitmap

Mapa de bits estrondoso

0,9,25

org.roaringbitmap

calços

0,9,25

org.rocksdb

rocksdbjni

6.24.2

org.rosuda.rEngine

Motor

2.1.0

org.Scala-lang

Scala-compiler_2.12

2.12.14

org.Scala-lang

Scala-biblioteca.12

2.12.14

org.Scala-lang

Scala-reflect_2.12

2.12.14

org.Scala-lang.modules

Scala-collection-compat_2.12

2.4.3

org.Scala-lang.modules

Scala-parser-combinators_2.12

1.1.2

org.Scala-lang.modules

Scala-xml_2.12

1.2.0

org.Scala-sbt

interface de teste

1,0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

breeze-macros_2.12

1.2

org.scalanlp

breeze_2.12

1.2

org.scalatest

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1,7,36

org.slf4j

jul-a-slf4j

1,7,36

org.slf4j

slf4j-api

1,7,36

org.spark-project.spark

não utilizado

1.0.0

org.threeten

treze e mais

1.5.0

org.tukaani

xz

1,8

org.typelevel

álgebra_2.12

2.0.1

org.typelevel

cats-kernel_2.12

2.1.1

org.typelevel

macro-compat_2,12

1.1.1

org.typelevel

spire-macros_2.12

0,17.0

org.typelevel

spire-platform_2.12

0,17.0

org.typelevel

spire-util_2.12

0,17.0

org.typelevel

spire_2.12

0,17.0

org.wildfly.openssl

wildfly-openssl

1.0.7. Final

org.xerial

sqlite-JDBC

3.8.11.2

org.xerial.snappy

snappy-java

1.1.8.4

org.yaml

snakeyaml

1,24

oro

oro

2.0.8

pt.edu.icm

Matrizes JLarge

1.5

software.Amazon.ion

ion-java

1.0.2

stax

stax-api

1.0.1

Última atualização em