Pular para o conteúdo principal

Databricks Runtime 11,1 (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 11.1, alimentado por Apache Spark 3.3.0. A Databricks lançou essa versão em julho de 2022.

Novos recursos e melhorias​

Photon é GA​

O Photon já está disponível para todos, começando com o Databricks Runtime 11.1. O Photon é o mecanismo de consulta vetorizada nativo da Databricks, escrito para ser diretamente compatível com as APIs do Apache Spark, de modo que funcione com seu código existente. Photon é desenvolvido em C++ para aproveitar o hardware moderno e usa as mais recentes técnicas de processamento de consultas vetorizadas para capitalizar o paralelismo em nível de dados e instruções nas CPUs, melhorando o desempenho em dados e aplicativos do mundo real - tudo nativamente em seu site data lake.

O Photon faz parte de um tempo de execução de alto desempenho que executa suas chamadas de API SQL e DataFrame existentes com mais rapidez e reduz o custo total por carga de trabalho. Photon é usado pelo site default em Databricks SQL warehouses.

Os novos recursos e aprimoramentos incluem:

  • Novo operador de classificação vetorizada
  • Novas funções de janela vetorizada
  • Novos tipos e tamanhos de instâncias em todas as nuvens

Limitações:

  • As UDFs Scala/Python não são compatíveis com o Photon
  • O RDD não é compatível com o Photon
  • transmissão estructurada não é suportada pelo Photon

Para obter mais informações, consulte os seguintes anúncios em Photon.

Photon: Novo operador de classificação vetorizada​

O Photon agora oferece suporte a uma classificação vetorizada para quando uma consulta contém SORT_BY, CLUSTER_BY ou uma função de janela com um ORDER BY.

Limitações: O Photon não oferece suporte a uma cláusula global ORDER BY. As classificações para avaliação de janelas serão fotonizadas, mas a classificação global continuará a ser executada em Spark.

Photon: Novas funções de janela vetorizadas​

O Photon agora oferece suporte à avaliação de função de janela vetorizada para muitos tipos de quadros e funções. As novas funções de janela incluem: row_number, rank, dense_rank, lag, lead, percent_rank, ntile e nth_value. Tipos de moldura de janela suportados: em execução (UNBOUNDED PRECEDING AND CURRENT ROW), ilimitada (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), crescente (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) e encolhendo (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Limitações:

  • O Photon é compatível apenas com as versões ROWS de todos os tipos de quadros.
  • O Photon ainda não é compatível com o tipo de quadro deslizante (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: Tipos de instância suportados​

| i3 | i3en | i4i | im4gn | is4gen | | m5ad | m5d | m5dn | m6gd | | | r5d | r5dn | r6gd | x2gd | |

O feed de dados de alteração agora pode lidar automaticamente com carimbos de data/hora fora do intervalo​

O Change Data Feed (CDF) agora tem um novo modo para que o senhor forneça carimbos de data/hora ou versões posteriores à versão do último commit sem gerar erros. Esse modo é desativado pelo site default. Você pode habilitá-lo definindo a configuração spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled para true.

As funções Describe e Show SQL agora mostram os nomes do Unity Catalog em sua saída (visualização pública)​

Os comandos DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, EXPLAIN e SHOW CREATE TABLE agora sempre mostram o nome do catálogo em sua saída.

Inferência de esquema e evolução para arquivos Parquet no Auto Loader (visualização pública)​

O Auto Loader agora suporta inferência de esquema e evolução para arquivos Parquet. Assim como nos formatos JSON, CSV e Avro, agora o senhor pode usar a coluna de dados resgatados para resgatar dados inesperados que possam aparecer nos arquivos Parquet. Isso inclui dados que não podem ser analisados no tipo de dados esperado, colunas com maiúsculas e minúsculas diferentes ou colunas adicionais que não fazem parte do esquema esperado. O senhor pode configurar o Auto Loader para desenvolver o esquema automaticamente ao encontrar novas colunas nos dados recebidos. Consulte Configurar a inferência e a evolução do esquema no Auto Loader.

O Auto Loader agora suporta a evolução do esquema para o Avro (GA)​

Consulte Configurar a inferência e a evolução do esquema no Auto Loader.

Suporte do Delta Lake para sobrescritos de partição dinâmica​

Delta Lake agora habilita o modo de substituição de partição dinâmica para substituir todos os dados existentes em cada partição lógica para a qual a gravação será commit novos dados. Consulte Substituição seletiva de dados com o Delta Lake.

suporte ao esquema de informações para objetos criados no Unity Catalog​

O esquema de informações fornece um SQL baseado em autodescrição API para os metadados de vários objetos de banco de dados, incluindo tabelas e visualizações, restrições e rotinas. Dentro do esquema de informações, o senhor encontra um conjunto de visualizações que descrevem os objetos conhecidos pelo catálogo do esquema que o senhor tem o privilégio de ver. O esquema de informações do catálogo SYSTEM retorna informações sobre objetos em todos os catálogos do metastore. Veja o esquema de informações.

Restrições informativas em tabelas do Delta Lake com o Unity Catalog (visualização pública)​

Agora, o senhor pode definir restrições informativas primárias key e estrangeiras key nas tabelas Delta Lake com Unity Catalog. Restrições informacionais não são impostas. Consulte a cláusula CONSTRAINT.

O Unity Catalog é GA​

O Unity Catalog agora está disponível de forma geral a partir do Databricks Runtime 11.1. Consulte O que é o Unity Catalog?

Delta Sharing é GA​

O Delta Sharing agora está disponível de forma geral a partir do Databricks Runtime 11.1.

Databricks Para Databricks Delta o compartilhamento é totalmente gerenciado sem a necessidade de troca de tokens. O senhor pode criar e gerenciar provedores, destinatários e compartilhamentos na interface do usuário ou com APIs SQL e REST.

Alguns recursos incluem a restrição do acesso de destinatários, a consulta de dados com listas de acesso de IP e restrições de região e a delegação do gerenciamento do Delta Sharing a não administradores. Você também pode consultar alterações nos dados ou compartilhar versões incrementais com o Change Data Feeds. Consulte O que é Delta Sharing?

Mudanças de comportamento​

Redação de propriedades confidenciais para DESCRIBE TABLE e SHOW TABLE PROPERTIES​

As propriedades confidenciais são editadas em DataFrames e a saída do comando DESCRIBE TABLE e SHOW TABLE PROPERTIES.

Job clustering para o modo de acesso de usuário único com 11.1 e superior default Databricks Runtime​

Para ser compatível com Unity Catalog, o agrupamento de trabalhos usando Databricks Runtime 11.1 e superior, criado por meio da interface do usuário do trabalho ou do trabalho API, irá default para o modo de acesso de usuário único. O modo de acesso de usuário único é compatível com a maioria das linguagens de programação, recurso de clustering e recurso de governança de dados. O senhor ainda pode configurar o modo de acesso padrão (antigo modo de acesso compartilhado) por meio da interface do usuário ou do site API, mas os idiomas ou recursos podem ser limitados.

Atualizações da biblioteca​

  • Atualizado Python biblioteca:

    • filelock de 3.6.0 a 3.7.1
    • plotly de 5.6.0 a 5.8.2
    • protobuf de 3.20.1 a 4.21.2

  • Biblioteca R atualizada:

    • crono de 2,3-56 a 2,3-57
    • DBI a partir de 1.1.2 para 1.1.3
    • dbplyr de 2.1.1 a 2.2.0
    • e1071 de 1,7-9 a 1,7-11
    • futuro de 1.25.0 a 1.26.1
    • globais de 0.14.0 a 0.15.1
    • hardhat de 0.2.0 a 1.1.0
    • ipred de 0,9-12 a 0,9-13
    • openssl de 2.0.0 a 2.0.2
    • paralelamente de 1.31.1 a 1.32.0
    • processos de 3.5.3 a 3.6.1
    • progressor de 0.10.0 para 0.10.1
    • proxy de 0,4-26 a 0,4-27
    • ps de 1.7.0 a 1.7.1
    • RandomForest de 4,7-1 a 4,7-1,1
    • roxygen2 de 7.1.2 para 7.2.0
    • Reserve de 1,8-10 a 1,8-11
    • RSQLite de 2.2.13 a 2.2.14
    • Sparklyr da versão 1.7.5 para a 1.7.7
    • tinytex de 0,38 a 0,40
    • use isso de 2.1.5 a 2.1.6
    • xfun de 0,30 a 0,31

  • Atualizado Java biblioteca:

    • io.delta.delta-compartilhamento-spark_2.12 de 0.4.0 para 0.5.0

Apache Spark​

O Databricks Runtime 11.2 inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 11.1 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-40054] [SQL] Restaurar a sintaxe de tratamento de erros de try_cast()
  • [SPARK-39489] [CORE] Melhore o desempenho do JsonProtocol de registro de eventos usando Jackson em vez de Json4s
  • [SPARK-39319] [CORE] [sql] Crie contextos de consulta como parte do SparkThrowable
  • [SPARK-40085] [SQL] Use a classe de erro INTERNAL_ERROR em vez de IllegalStateException para indicar erros
  • [SPARK-40001] [SQL] Fazer com que as gravações NULL em JSON colunas padrão gravem "null" no armazenamento
  • [SPARK-39635] [SQL] Suporte a métricas de driver em métricas personalizadas DS v2 API
  • [SPARK-39184] [SQL] Manipular matriz de resultados subdimensionada em sequências de data e carimbo de data/hora
  • [SPARK-40019] [SQL] Refatorar o comentário do containsNull do ArrayType e refatorar a lógica equivocada na expressão do collectionOperator sobre containsNull
  • [SPARK-39989] [SQL] Suporte à estimativa de estatísticas de coluna se ela for uma expressão dobrável
  • [SPARK-39926] [SQL] Corrigir bug no suporte padrão de coluna para varreduras não vetorizadas em Parquet
  • [SPARK-40052] [SQL] Manipular buffers de bytes diretos no VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Corrigir o tipo de intervalo de destino em erros de estouro de elenco
  • [SPARK-39835] [SQL] Corrigir EliminateSorts para remover a classificação global abaixo da classificação local
  • [SPARK-40002] [SQL] Não empurre o limite inferior pela janela usando ntile
  • [SPARK-39976] [SQL] ArrayIntersect deve tratar corretamente o nulo na expressão à esquerda
  • [SPARK-39985] [SQL] Habilitar valores de coluna padrão implícitos em inserções de DataFrames
  • [SPARK-39776] [SQL] as strings verbosas de junção devem adicionar o tipo de junção
  • [SPARK-38901] [SQL] O DS V2 oferece suporte a outras funções push down
  • [SPARK-40028] [SQL][followup] Aprimorar exemplos de funções de strings
  • [SPARK-39983] [CORE] [sql] Não armazene relações de transmissão não serializadas no driver
  • [SPARK-39812] [SQL] Simplifique o código que constrói AggregateExpression com toAggregateExpression
  • [SPARK-40028] [SQL] Adicionar exemplos binários para expressões de strings
  • [SPARK-39981] [SQL] Lança a exceção QueryExecutionErrors.castingCauseOverflowErrorInTableInsert em Cast
  • [SPARK-40007] [Python][sql] Adicionar 'mode' às funções
  • [SPARK-40008] [SQL] Suporte à conversão de integrais para intervalos ANSI
  • [SPARK-40003] [Python][sql] Adicionar 'median' às funções
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand deve armazenar novamente a relação de resultados
  • [SPARK-39951] [SQL] Atualização da verificação colunar do Parquet V2 para campos aninhados
  • [SPARK-39775] [CORE][avro] Desabilitar a validação dos valores de default ao analisar os esquemas de Avro
  • [SPARK-33236] [shuffle] Backport para DBR 11.x: Habilitar o serviço de shuffle baseado em push para armazenar o estado no banco de dados de nível NM para reinicialização com preservação do trabalho
  • [SPARK-39836] [SQL] Simplifique o V2ExpressionBuilder extraindo um método comum.
  • [SPARK-39867] [SQL] O limite global não deve herdar o OrderPreservingUnaryNode
  • [SPARK-39873] [SQL] Remova OptimizeLimitZero e merge em EliminateLimits
  • [SPARK-39961] [SQL] DS V2 push-down translate Cast se o cast for seguro
  • [SPARK-39872] [SQL] Alteração para usar BytePackerForLong#unpack8Values com a API de entrada Array em VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Remover AliasHelper ou PredicateHelper desnecessários para algumas regras
  • [SPARK-39962] [WARMFIX][es-393486][Python][sql] Aplicar projeção quando os atributos do grupo estiverem vazios
  • [SPARK-39900] [SQL] Abordar condição parcial ou negada no pushdown de predicado do formato binário
  • [SPARK-39904] [SQL] Renomear inferDate para prefersDate e esclarecer a semântica da opção em CSV fonte de dados
  • [SPARK-39958] [SQL] Adicionar aviso log quando não for possível carregar o objeto métricas personalizado
  • [SPARK-39936] [SQL] Armazenar o esquema nas propriedades da visualização Spark
  • [SPARK-39932] [SQL] O WindowExec deve limpar o buffer da partição final
  • [SPARK-37194] [SQL] Evite a classificação desnecessária na gravação v1 se não for uma partição dinâmica
  • [SPARK-39902] [SQL] Adicionar detalhes da varredura ao nó de varredura do plano do Spark no SparkUI
  • [SPARK-39865] [SQL] Mostrar mensagens de erro adequadas sobre os erros de estouro de inserção de tabela
  • [SPARK-39940] [SS] atualizar tabela de catálogo em consulta de transmissão com DSv1 sink
  • [SPARK-39827] [SQL] Use a classe de erro ARITHMETIC_OVERFLOW no estouro de int em add_months()
  • [SPARK-39914] [SQL] Adicionar filtro DS V2 à conversão de filtro V1
  • [SPARK-39857] [SQL] Manual DBR 11.x backport; V2ExpressionBuilder usa o tipo de dados LiteralValue errado para o predicado In #43454
  • [SPARK-39840] [SQL][Python] Fatorar PythonArrowInput como uma simetria para PythonArrowOutput
  • [SPARK-39651] [SQL] Eliminar a condição de filtro se a comparação com rand for determinística
  • [SPARK-39877] [Python] Adicionar unpivot a PySpark DataFrame API
  • [SPARK-39847] [WARMFIX] [ss] Corrige a condição de corrida em rockSDBLoader.loadLibrary () se o thread do chamador for interrompido
  • [SPARK-39909] [SQL] Organizar a verificação de informações push down para o JDBCV2Suite
  • [SPARK-39834] [SQL][ss] Incluir as estatísticas e restrições de origem para o LogicalRDD se ele for proveniente do DataFrame
  • [SPARK-39849] [SQL] dataset.as(StructType) preenche novas colunas ausentes com valor nulo
  • [SPARK-39860] [SQL] Mais expressões devem estender o Predicate
  • [SPARK-39823] [SQL][Python] Renomear dataset.as como dataset.to e adicionar DataFrame.to em PySpark
  • [SPARK-39918] [SQL][minor] Substitua a expressão "não comparável" por "incomparável" na mensagem de erro
  • [SPARK-39857] [SQL][3.3] O V2ExpressionBuilder usa o tipo de dados LiteralValue errado para o predicado In
  • [SPARK-39862] [SQL] Backport manual para PR 43654 visando o DBR 11.x: Atualizar SQLConf.default para permitir/negar ALTER TABLE... ADICIONAR comando COLUMN separadamente.
  • [SPARK-39844] [SQL] Backport manual para PR 43652 visando o DBR 11.x
  • [SPARK-39899] [SQL] Corrigir a passagem de parâmetros de mensagem para InvalidUDFClassException
  • [SPARK-39890] [SQL] Make TakeOrderedAndProjectExec inherit AliasAwareOutputOrdering
  • [SPARK-39809] [Python] Suporte a CharType em PySpark
  • [SPARK-38864] [SQL] Adicionar unpivot / melt ao conjunto de dados
  • [SPARK-39864] [SQL] Registro preguiçoso do ExecutionListenerBus
  • [SPARK-39808] [SQL] Suporte à função agregada MODE
  • [SPARK-39839] [SQL] Trata o caso especial do Decimal de comprimento variável nulo com offsetAndSize diferente de zero na verificação de integridade estrutural do UnsafeRow
  • [SPARK-39875] [SQL] Altere o método protected na classe final para private ou package-visible
  • [SPARK-39731] [SQL] Corrigir o problema em CSV e JSON fonte de dados ao analisar datas no formato "yyyyMMdd" com a política de análise de tempo CORRIGIDA
  • [SPARK-39805] [SS] Descontinuar Trigger.Once e promover Trigger.AvailableNow
  • [SPARK-39784] [SQL] Colocar valores literais no lado direito do filtro da fonte de dados depois de traduzir a expressão Catalyst para o filtro da fonte de dados
  • [SPARK-39672] [SQL][3.1] Corrija a remoção do projeto antes do filtro com subconsulta correlacionada
  • [SPARK-39552] [SQL] Unificar v1 e v2 DESCRIBE TABLE
  • [SPARK-39806] [SQL] Acessar _metadata em uma tabela particionada pode travar uma consulta
  • [SPARK-39810] [SQL] Catalog.tableExists deve tratar o namespace aninhado
  • [SPARK-37287] [SQL] Retire a partição dinâmica e a classificação por balde do FileFormatWriter
  • [SPARK-39469] [SQL] Inferir tipo de data para inferência de esquema CSV
  • [SPARK-39148] [SQL] O push down do agregado DS V2 pode funcionar com OFFSET ou LIMIT
  • [SPARK-39818] [SQL] Corrigir bug nos tipos ARRAY, STRUCT, MAP com valores padrão com campo(s) NULL
  • [SPARK-39792] [SQL] Adicionar DecimalDivideWithOverflowCheck para média decimal
  • [SPARK-39798] [SQL] Replcace toSeq.toArray com .toArray[Any] no construtor do GenericArrayData
  • [SPARK-39759] [SQL] Implementar listIndexes em JDBC (dialeto H2)
  • [SPARK-39385] [SQL] Suporta push down REGR_AVGX e REGR_AVGY
  • [SPARK-39787] [SQL] Usar classe de erro no erro de análise da função to_timestamp
  • [SPARK-39760] [Python] Suporte a Varchar em PySpark
  • [SPARK-39557] [SQL] Backport manual para DBR 11.x: Suporte aos tipos ARRAY, STRUCT e MAP como valores padrão
  • [SPARK-39758] [SQL][3.3] Corrija o NPE das funções regexp em padrões inválidos
  • [SPARK-39749] [SQL] Modo ANSI SQL: Usar a representação de strings simples ao converter decimais em strings
  • [SPARK-39704] [SQL] Implementar createIndex & dropIndex & indexExists em JDBC (dialeto H2)
  • [SPARK-39803] [SQL] Use LevenshteinDistance em vez de StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Suporte ao tipo TimestampNTZ em JDBC fonte de dados
  • [SPARK-39781] [SS] Adicionar suporte para fornecer max_open_files ao provedor rocksdb armazenamento do estado
  • [SPARK-39719] [R] Implementar databaseExists/getDatabase no namespace 3L de suporte do SparkR
  • [SPARK-39751] [SQL] Renomear o agregado de hash key probes métricas
  • [SPARK-39772] [SQL] namespace deve ser nulo quando o banco de dados for nulo nos construtores antigos
  • [SPARK-39625] [SPARK-38904][sql] Adicionar dataset.as(StructType)
  • [SPARK-39384] [SQL] Compilar funções agregadas de regressão linear integrada para o dialeto JDBC
  • [SPARK-39720] [R] Implementar tableExists/getTable no SparkR para o namespace 3L
  • [SPARK-39744] [SQL] Adicionar a função REGEXP_INSTR
  • [SPARK-39716] [R] Make currentDatabase/setCurrentDatabase/listCatalogs in SparkR support 3L namespace
  • [SPARK-39788] [SQL] Renomear catalogName para dialectName para JdbcUtils
  • [SPARK-39647] [CORE] Registre o executor com o ESS antes de registrar o BlockManager
  • [SPARK-39754] [CORE] [sql] Remova import não utilizado ou desnecessário {}
  • [SPARK-39706] [SQL] Definir coluna ausente com defaultValue como constante em ParquetColumnVector
  • [SPARK-39699] [SQL] Tornar o CollapseProject mais inteligente em relação às expressões de criação de coleções
  • [SPARK-39737] [SQL] PERCENTILE_CONT e PERCENTILE_DISC devem oferecer suporte ao filtro agregado
  • [SPARK-39579] [SQL][Python][R] Tornar ListFunctions/getFunction/functionExists compatível com o namespace de 3 camadas
  • [SPARK-39627] [SQL] O pushdown do JDBC V2 deve unificar a API de compilação
  • [SPARK-39748] [SQL][ss] Incluir o plano lógico de origem para LogicalRDD se ele for proveniente de DataFrame
  • [SPARK-39385] [SQL] Traduzir funções agregadas de regressão linear para pushdown
  • [SPARK-39695] [SQL] Adicionar a função REGEXP_SUBSTR
  • [SPARK-39667] [SQL] Adicione outra solução alternativa quando não houver memória suficiente para criar e transmitir a tabela
  • [SPARK-39666] [ES-337834] [sql] Use unsafeProjection.create para respeitar spark.sql.codegen.factoryMode no ExpressionEncoder
  • [SPARK-39643] [SQL] Proibir expressões de subconsulta em valores padrão
  • [SPARK-38647] [SQL] Adicionar o mix SupportsReportOrdering na interface para Varredura (DataSourceV2)
  • [SPARK-39497] [SQL] Melhorar a análise da exceção do mapa ausente da coluna key
  • [SPARK-39661] [SQL] Evite criar um registrador SLF4J desnecessário
  • [SPARK-39713] [SQL] Modo ANSI: adicionar sugestão de uso de try_element_at para o erro INVALID_ARRAY_INDEX
  • [SPARK-38899] [SQL]DS V2 suporta funções push down datetime
  • [SPARK-39638] [SQL] Alteração para usar ConstantColumnVector para armazenar colunas de partição em OrcColumnarBatchReader
  • [SPARK-39653] [SQL] Limpar ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) do ColumnVectorUtils
  • [SPARK-39231] [SQL] Use ConstantColumnVector em vez de On/OffHeapColumnVector para armazenar colunas de partição em VectorizedParquetRecordReader
  • [SPARK-39547] [SQL] O V2SessionCatalog não deve lançar NoSuchDatabaseException em loadNamspaceMetadata
  • [SPARK-39447] [SQL] Evite AssertionError em AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] Retrabalhar MISSING_COLUMN
  • [SPARK-39679] [SQL] O TakeOrderedAndProjectExec deve respeitar a ordem de saída dos filhos
  • [SPARK-39606] [SQL] Usar estatísticas filho para estimar o operador de ordem
  • [SPARK-39611] [Python][ps] Corrigir aliases errados em array_ufunc
  • [SPARK-39656] [SQL][3.3] Corrija o namespace errado em DescribeNamespaceExec
  • [SPARK-39675] [SQL] Trocar 'spark.sql.codegen.factoryMode' configuração desde a finalidade do teste até a finalidade interna
  • [SPARK-39139] [SQL] DS V2 suporta UDF DS V2 push down
  • [SPARK-39434] [SQL] Fornecer contexto de consulta de erro em tempo de execução quando o índice da matriz estiver fora dos limites
  • [SPARK-39479] [SQL] DS V2 suporta funções matemáticas push down (não ANSI)
  • [SPARK-39618] [SQL] Adicionar a função REGEXP_COUNT
  • [SPARK-39553] [CORE] Multi-thread unregister shuffle não deve gerar NPE ao usar o Scala 2.13
  • [SPARK-38755] [Python][3.3] Adicionar arquivo para resolver a falta de funções gerais do site Pandas
  • [SPARK-39444] [SQL] Adicionar OptimizeSubqueries à lista nonExcludableRules
  • [SPARK-39316] [SQL] mesclar PromotePrecision e CheckOverflow em aritmética binária decimal
  • [SPARK-39505] [UI] Escape log conteúdo renderizado na UI
  • [SPARK-39448] [SQL] Adicionar ReplaceCTERefWithRepartition à lista nonExcludableRules
  • [SPARK-37961] [SQL] Substituir maxRows/maxRowsPerPartition para alguns operadores lógicos
  • [SPARK-35223] Reverter Adicionar link de navegação do problema
  • [SPARK-39633] [SQL] Suporte a carimbo de data/hora em segundos para TimeTravel usando opções de Dataframe
  • [SPARK-38796] [SQL] Atualizar a documentação para strings de formato de número com as funções {try_}to_number
  • [SPARK-39650] [SS] Corrigir esquema de valor incorreto na deduplicação de transmissão com compatibilidade com versões anteriores
  • [SPARK-39636] [CORE][ui] Corrigir vários bugs no JsonProtocol, afetando os StorageLevels fora do heap e os ResourceRequests da tarefa/executor
  • [SPARK-39432] [SQL] Retorna ELEMENT_AT_BY_INDEX_ZERO from element_at(*, 0)
  • [SPARK-39349] Adicionar um método checkError centralizado para controle de qualidade do caminho de erro
  • [SPARK-39453] [SQL] O DS V2 oferece suporte a funções não agregadas push down misc (não ANSI)
  • [SPARK-38978] [SQL] O DS V2 oferece suporte ao operador OFFSET push down
  • [SPARK-39567] [SQL] Suporte a intervalos ANSI nas funções de percentil
  • [SPARK-39383] [SQL] Suporte a colunas padrão em ALTER TABLE ALTER COLUMNS to V2 fonte de dados
  • [SPARK-39396] [SQL] Corrigir exceção de login LDAP 'código de erro 49 - credenciais inválidas'
  • [SPARK-39548] [SQL] O comando CreateView com uma consulta de cláusula de janela atingiu um problema de definição de janela incorreta não encontrada
  • [SPARK-39575] [AVRO] adicionar ByteBuffer#rewind após ByteBuffer#get em Avr...
  • [SPARK-39543] A opção de DataFrameWriterV2 deve ser passada para as propriedades de armazenamento se o fallback for para v1
  • [SPARK-39564] [SS] Expor as informações da tabela de catálogo ao plano lógico na consulta de transmissão
  • [SPARK-39582] [SQL] Corrigir o marcador "Since" para array_agg
  • [SPARK-39388] [SQL] Reutilizar orcSchema ao fazer push down de predicados Orc
  • [SPARK-39511] [SQL] Aumentar o limite local 1 para o lado direito do semi/anti join esquerdo se a condição join estiver vazia
  • [SPARK-38614] [SQL] Não empurre o limite inferior por meio de uma janela que esteja usando percent_rank
  • [SPARK-39551] [SQL] Adicionar verificação de plano inválido do AQE
  • [SPARK-39383] [SQL] Suporte a colunas padrão em ALTER TABLE ADD COLUMNS to V2 fonte de dados
  • [SPARK-39538] [SQL] Evite criar um registrador SLF4J desnecessário
  • [SPARK-39383] [SQL] Backport manual para o DBR 11.x: Refatoração do suporte à coluna padrão para evitar a passagem do Analyzer primário
  • [SPARK-39397] [SQL] Relaxe o AliasAwareOutputExpression para suportar alias com expressão
  • [SPARK-39496] [SQL] Manipular estrutura nula em Inline.eval
  • [SPARK-39545] [SQL] Substituir o método concat para ExpressionSet no Scala 2.13 para melhorar o desempenho
  • [SPARK-39340] [SQL] O DS v2 agg pushdown deve permitir pontos no nome das colunas de nível superior
  • [SPARK-39488] [SQL] Simplifique o tratamento de erros de TempResolvedColumn
  • [SPARK-38846] [SQL] Adicionar mapeamento de dados explícito entre Teradata Numeric Type e Spark DecimalType
  • [SPARK-39520] [SQL] Substituir o método -- para ExpressionSet no Scala 2.13
  • [SPARK-39470] [SQL] Suporte à conversão de intervalos ANSI em decimais
  • [SPARK-39477] [SQL] Remova a informação "Number of queries" dos arquivos golden do SQLQueryTestSuite
  • [SPARK-39419] [SQL] Corrigir o ArraySort para lançar uma exceção quando o comparador retornar nulo
  • [SPARK-39061] [SQL] Definir corretamente o nullable para os atributos de saída do Inline
  • [SPARK-39320] [SQL] Suporte à função de agregação MEDIAN
  • [SPARK-39261] [CORE] Melhore a formatação de novas linhas para mensagens de erro
  • [SPARK-39355] [SQL] Uma única coluna usa aspas para construir o UnresolvedAttribute
  • [SPARK-39351] [SQL] SHOW CREATE TABLE deve redigir as propriedades
  • [SPARK-37623] [SQL] Suporte à função agregada ANSI: regr_intercept
  • [SPARK-39374] [SQL] Melhorar a mensagem de erro para a lista de colunas especificada pelo usuário
  • [SPARK-39255] [SQL][3.3] Melhore as mensagens de erro
  • [SPARK-39321] [SQL] Refatorar o TryCast para usar o RuntimeReplaceable
  • [SPARK-39406] [Python] Aceitar NumPy array em createDataFrame
  • [SPARK-39267] [SQL] Limpar o símbolo desnecessário dsl
  • [SPARK-39171] [SQL] Unificar a expressão Cast
  • [SPARK-28330] [SQL] Suporte a ANSI SQL: cláusula de deslocamento de resultado na expressão de consulta
  • [SPARK-39203] [SQL] Reescrever o local da tabela para URI absoluto com base no URI do banco de dados
  • [SPARK-39313] [SQL] toCatalystOrdering deve falhar se a V2Expression não puder ser traduzida
  • [SPARK-39301] [SQL][Python] Aproveitar o LocalRelation e respeitar o tamanho dos lotes Arrow no createDataFrame com otimização Arrow
  • [SPARK-39400] [SQL] spark-sql deve remover o diretório hive recurso em todos os casos

Atualizações de manutenção​

Consulte Atualizações de manutenção do Databricks Runtime 11.1.

Ambiente do sistema​

  • Sistema operacional : Ubuntu 20.04.4 LTS
  • Java : Zulu 8.56.0.21-CA-linux64
  • Scala : 2.12.14
  • Python : 3.9.5
  • R : 4.1.3
  • Delta Lake : 1.2.1

Instalado Python biblioteca​

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

Antergos Linux

2015.10 (versão ISO)

argônio-2-cffi

20.1.0

gerador assíncrono

1,10

atrai

21.2.0

chamada de volta

0.2.0

backports.pontos de entrada selecionáveis

1.1.1

preto

22,3,0

cândida

4.0.0

boto3

1.21,18

botocore

1,24,18

certifi

2021.10.8

caffi

1,14.6

chardet

4.0.0

normalizador de conjuntos de caracteres

2.0.4

clique

8.0.3

criptografia

3.4.8

ciclador

0.10.0

Cython

0,29,24

dbus-Python

1.2.16

depurar

1.4.1

decorador

5.1.0

xml desfundido

0.7.1

distlib

0.3.5

informação da distribuição

0,23 ubuntu 1

pontos de entrada

0,3

visão geral das facetas

1.0.0

bloqueio de arquivo

3.8.0

Índia

3.2

ipykernel

6.12.1

ipython

7,32,0

ipython-genutils

0.2.0

ipywidgets

7.7.0

jedi

0,18.0

Jinja 2

2.11.3

jmespath

0.10.0

joblib

1.0.1

esquema json

3.2.0

cliente jupyter

6.1.12

núcleo jupyter

4.8.1

pigmentos jupyterlab

0.1.2

widgets jupyterlab

1.0.0

solucionador de kiwi

1.3.1

MarkupSafe

2.0.1

Matplotlib

3.4.3

matplotlib-inline

0.1.2

confundir

0,8.4

extensões mypy

0.4.3

cliente nb

0.5.3

nbconvert

6.1.0

formato nb

5.1.3

nest-assíncio

1.5.1

notebook

6.4.5

entorpecido

1.20.3

fazendo às malas

21,0

Pandas

1.3.4

filtros pandóicos

1.4.3

parso

0.8.2

especificação do caminho

0.9.0

bode expiatório

0.5.2

esperar

4.8.0

picles

0.7.5

Travesseiro

8.4.0

pip

21.2.4

platformdirs

2.5.2

Plotly

5.9.0

cliente prometheus

0.11.0

kit de ferramentas de aviso

3,0.20

protobuf

4,21,5

pistila

5.8.0

psycopg2

2.9.3

processo pty

0.7.0

flecha

7.0.0

pycparser

2,20

Pigmentos

2.10.0

Objeto PYG

3,36,0

pyodbc

4,0.31

análise de pipa

3.0.4

persistente

0,18.0

Python-apt

2.0.0+ubuntu0.20.4.7

Python-dateutil

2.8.2

pytz

2021,3

pizma

22.2.1

pedidos

2.26.0

solicitações - soquete unix

0.2.0

transferência s3

0.5.2

scikit-learn

0,24,2

pegajoso

1.7.1

marítimo

0.11.2

Enviar 2 lixeiras

1.8.0

ferramentas de configuração

58,0,4

seis

1,16.0

ID de importação ssh

5,10

modelos de estatísticas

0.12.2

tenacidade

8.0.1

terminado

0.9.4

caminho de teste

0.5.0

threadpool ctl

2.2.0

tokenizar-rt

4.2.1

tomli

2.0.1

tornado

6.1

almôndegas

5.1.0

extensões de digitação

3.10.0.2

atualizações autônomas

0,1

urllib3

1.26.7

ambiente virtual

20,8.0

largura do wc

0.2.5

codificações da web

0.5.1

Python wheel

0,37,0

extensão widgetsnb

3.6.0

Instalada a R biblioteca​

O R biblioteca é instalado a partir do Snapshot Microsoft CRAN em 2022-08-15.

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

askpass

1.1

afirme que

0.2.1

portas traseiras

1.4.1

base

4.1.3

base64enc

0,1-3

pouco

4.0.4

bit64

4.0.5

bolha

1.2.3

inicialização

1,3-28

fermentar

1,0-7

brio

1.1.3

vassoura

1.0.0

babião

0.4.0

cachem

1.0.6

chamador

3.7.1

cursor

6,0-93

guarda de celas

1.1.0

crono

2,3-57

Aula

7,3-20

CLIPE

3.3.0

clipe

0,8.0

Cluster

2.1.3

ferramentas de código

0,2-18

espaço de cores

2,0-3

marca comum

1.8.0

compilador

4.1.3

configuração

0.3.1

cpp11

0.4.2

giz de cera

1.5.1

Credenciais

1.3.2

cacho

4.3.2

data.tabela

1.14.2

conjunto de dados

4.1.3

DBI

1.1.3

dbplyr

2.2.1

desc

1.4.1

ferramentas de desenvolvimento

2.4.4

diff

0.3.5

digerir

0,6.29

iluminado

0.4.2

dplyr

1.0.9

dtplyr

1.2.1

e1071

1,7-11

reticências

0.3.2

avalie

0,16

fansi

1.0.3

colorista

2.1.1

mapa rápido

1.1.0

fontawesome

0.3.0

para gatos

0.5.1

para cada um

1.5.2

estrangeira

0,8-82

forjar

0.2.0

fs

1.5.2

futuro

1.27.0

futuro.aplique

1.9.0

gargarejar

1.2.0

genéricas

0.1.3

obter

1.7.0

ggplot2

3.3.6

gh

1.3.0

gitcreds

0.1.1

glmnet

4,1-4

globais

0,16.0

cola

1.6.2

google drive

2.0.0

planilhas do Google 4

1.0.1

goleiro

1.0.0

gráficos

4.1.3

Dispositivos GR

4.1.3

grade

4.1.3

Grid Extra

2.3

gsubfn

0,7

mesa

0.3.0

capacete

1.2.0

refúgio

2.5.0

mais alto

0,9

HMS

1.1.1

ferramentas html

0.5.3

widgets html

1.5.4

http.uv

1.6.5

httr

1.4.3

IDs

1.0.1

mini

0.3.1

ipred

0,9-13

isóbanda

0.2.5

iteradores

1,0.14

jquerylib

0.1.4

jsonlite

1.8.0

Kern Smooth

2,23-20

tricotar

1,39

rótulo

0.4.2

posteriormente

1.3.0

treliça

0,20-45

lava

1.6.10

ciclo de vida

1.0.1

ouvindo

0,8.0

lubrificar

1.8.0

magritter

2.0.3

Markdown

1.1

MASSA

7,3-56

Matriz

1,4-1

memoise

2.0.1

métodos

4.1.3

mgcv

1,8-40

mímica

0,12

Mini UI

0.1.1.1

Métricas do modelo

1.2.2.2

modelar

0.1.8

munsell

0.5.0

nome

3,1-157

net

7,3-17

Número Deriv

2016,8-1,1

openssl

2.0.2

paralelo

4.1.3

paralelamente

1,32,1

pilar

1.8.0

pkgbuild

1.3.1

pkgconfig

2.0.3

pkgdown

2.0.6

carregamento de pacotes

1.3.0

plogr

0.2.0

plyr

1.8.7

elogio

1.0.0

unidades bonitas

1.1.1

ProC

1,18.0

processa

3.7.0

prodlim

13/11/2019

profvis

0.3.7

progresso

1.2.2

progressista

0.10.1

promessas

1.2.0.1

proto

1.0.0

proxy

0,4-27

ps

1.7.1

ronronar

0.3.4

r2d3

0.2.6

R6

2.5.1

trapo

1.2.2

Floresta aleatória

4,7-1,1

corredeiras

0.3.3

rcmdcheck

1.4.0

Cervejaria RColor

1,1-3

Rcpp

1.0.9

RCP Pegen

0.3.3.9.2

leitor

2.1.2

readxl

1.4.0

receitas

1.0.1

revanche

1.0.1

revanche 2

2.1.2

controles remotos

2.4.2

reprex

2.0.1

remodelar 2

1.4.4

rlang

1.0.4

rmarkdown

2,14

RODBC

1,3-19

roxigênio2

7.2.1

rpartem

4.1.16

rprojroot

2.0.3

Reservar

1,8-11

RSQLite

2.2.15

API do estúdio

0,13

reversões

2.1.1

colete

1.0.2

atrevimento

0.4.2

escala

1.2.0

seletor

0,4-2

informações da sessão

1.2.2

forma

1.4.6

brilhante

1.7.2

ferramentas de origem

0.1.7

Sparklyr

1.7.7

SparkR

3.3.0

espacial

7,3-11

splines

4.1.3

sqldf

0,4-11

QUADRADO

2021,1

estatísticas

4.1.3

estatísticas4

4.1.3

stringi

1.7.8

longarina

1.4.0

sobrevivência

3,2-13

diz

3.4

fontes do sistema

1.0.4

tcltk

4.1.3

teste isso

3.1.4

modelagem de texto

0.3.6

petiscar

3.1.8

arrumado

1.2.0

seleção arrumada

1.1.2

tidyverso

1.3.2

Hora/Data

4021,104

tinytex

0,40

Ferramentas

4.1.3

tzdb

0.3.0

verificador de URL

1.0.1

use isso

2.1.6

utf 8

1.2.2

utilidades

4.1.3

uuid

1,1-0

vctrs

0.4.1

Viridis Lite

0.4.0

vadouro

1.5.7

waldo

0.4.0

bigode

0,4

murchar

2.5.0

diversão

0,32

xml2

1.3.3

xopen

1.0.0

x estável

1,8-4

yaml

2.3.5

compactar

2.2.0

Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)​

ID do grupo

ID do artefato

Versão

chifre

chifre

2.7.7

com.amazonaws

Amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscale

1,12.189

com.amazonaws

formação de nuvem aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-cloudfront

1,12.189

com.amazonaws

aws-java-sdk-cloudhsm

1,12.189

com.amazonaws

aws-java-sdk-cloudsearch

1,12.189

com.amazonaws

aws-java-sdk-cloudtrail

1,12.189

com.amazonaws

aws-java-sdk-cloudwatch

1,12.189

com.amazonaws

métricas aws-java-sdk-cloudwatch

1,12.189

com.amazonaws

aws-java-sdk-codedeploy

1,12.189

com.amazonaws

identidade cognitiva aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-cognitosync

1,12.189

com.amazonaws

aws-java-sdk-config

1,12.189

com.amazonaws

aws-java-sdk-core

1,12.189

com.amazonaws

pipeline de dados aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-conexão direta

1,12.189

com.amazonaws

diretório aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-dynamodb

1,12.189

com.amazonaws

aws-java-sdk-ec2

1,12.189

com.amazonaws

aws-java-sdk-ecs

1,12.189

com.amazonaws

aws-java-sdk-efs

1,12.189

com.amazonaws

aws-java-sdk-elasticache

1,12.189

com.amazonaws

aws-java-sdk-elasticbeanstalk

1,12.189

com.amazonaws

balanceamento de carga elástico aws-java-sdk

1,12.189

com.amazonaws

transcodificador elástico aws-java-sdk-

1,12.189

com.amazonaws

aws-java-sdk-emr

1,12.189

com.amazonaws

aws-java-sdk-glacier

1,12.189

com.amazonaws

aws-java-sdk-glue

1,12.189

com.amazonaws

aws-java-sdk-iam

1,12.189

com.amazonaws

aws-java-sdk-importação/exportação

1,12.189

com.amazonaws

aws-java-sdk-kinesis

1,12.189

com.amazonaws

aws-java-sdk-kms

1,12.189

com.amazonaws

aws-java-sdk-lambda

1,12.189

com.amazonaws

aws-java-sdk-logs

1,12.189

com.amazonaws

aws-java-sdk - aprendizado de máquina

1,12.189

com.amazonaws

aws-java-sdk-opsworks

1,12.189

com.amazonaws

aws-java-sdk-rds

1,12.189

com.amazonaws

aws-java-sdk-redshift

1,12.189

com.amazonaws

aws-java-sdk-route53

1,12.189

com.amazonaws

aws-java-sdk-s3

1,12.189

com.amazonaws

aws-java-sdk-ses

1,12.189

com.amazonaws

aws-java-sdk-simpledb

1,12.189

com.amazonaws

aws-java-sdk - fluxo de trabalho simples

1,12.189

com.amazonaws

aws-java-sdk-sns

1,12.189

com.amazonaws

aws-java-sdk-sqs

1,12.189

com.amazonaws

aws-java-sdk-ssm

1,12.189

com.amazonaws

gateway de armazenamento aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-sts

1,12.189

com.amazonaws

suporte aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-swf-biblioteca

1.11.22

com.amazonaws

aws-java-sdk-workspace

1,12.189

com.amazonaws

jmespath-java

1,12.189

com.chuusai

sem forma_2.12

2.3.3

com.clearspring.analítica

transmissão

2.9.6

com.databricks

Reservar

1,8-3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

plugin_2.12 do compilador

0,4,15-10

com.databricks.scalapb

scalapb-runtime_2.12

0,4,15-10

com.esotérico software

crio-sombreado

4.0.2

com.esotérico software

minlog

1.3.0

com.fasterxml

colega de classe

1.3.4

com.fasterxml.jackson.core

jackson-anotação

2.13.3

com.fasterxml.jackson.core

jackson-core

2.13.3

com.fasterxml.jackson.core

vinculação de dados jackson

2.13.3

formato de dados com.fasterxml.jackson.

formato de dados jackson-cbor

2.13.3

com.fasterxml.jackson.tipo de dados

jackson-datatype-joda

2.13.3

com.fasterxml.jackson.tipo de dados

jackson-datatype-jsr310

2.13.3

com.fasterxml.jackson.module

parâmetro do módulo jackson

2.13.3

com.fasterxml.jackson.module

jackson-module-Scala.12

2.13.3

com.github.ben-manes.cafeína

cafeína

2.3.4

com.github.fommil

descarregador

1.1

com.github.fommil.netlib

abdômen

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-nativos

1.1

com.github.fommil.netlib

sistema_nativo-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.luben

zstd-jni

1,5.2-1

com.github.wendykierp

JTransforma

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.8.6

com.google.crypto.tink

eu acho

1.6.1

com.google.flatbuffers

tampões planos-java

1.12.0

com.google.goiaba

goiaba

15,0

com.google.protobuf

protobuf-java

2.6.1

banco de dados com.h2

h2

2,0.204

com.helger

perfilador

1.1.1

com.jcraft

jsch

0,1,50

com.jolbox

bonecp

VERSÃO 0.8.0.

com.lihaoyi

código-fonte_2.12

0.1.9

com.microsoft.azure

azure-data lake-store-sdk

2.3.9

comendo

comprimir-lzf

1.1

com.sun.mail

javax.mail

1.5.2

com.trunning

JSON

1,8

com.thoughtworks.paranamer

paranâmero

2.8

com.trueaccord.lenses

lentes_2.12

0.4.12

com.Twitter

chill-java

0.10.0

com.Twitter

chill_2.12

0.10.0

com.Twitter

util-app_2.12

7.1.0

com.Twitter

util-core_2.12

7.1.0

com.Twitter

função-útil_2.12

7.1.0

com.Twitter

util-jvm_2.12

7.1.0

com.Twitter

util-lint_2.12

7.1.0

com.Twitter

util-registry_2.12

7.1.0

com.Twitter

util-stats_2.12

7.1.0

com.typesafe

configuração

1.2.1

com.typesafe.Scala-logging

Scala-logging_2.12

3.7.2

com.uber

h3

3.7.0

com.univocidade

analisadores de univocidade

2.9.1

com.zaxxer

HikaricP

4.0.3

comum-CLI

comum-CLI

1.5.0

codec comum

codec comum

1,15

coleções comuns

coleções comuns

3.2.2

commons-dbcp

commons-dbcp

1.4

upload de arquivo commons

upload de arquivo commons

1.3.3

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.11.0

linguagem comum

linguagem comum

2.6

registro de bens comuns

registro de bens comuns

1.1.3

comum-pool

comum-pool

1.5.4

dev.ludovic.netlib

mochila

2.2.1

dev.ludovic.netlib

blás

2.2.1

dev.ludovic.netlib

lapack

2.2.1

hadoop 3

jets3t-0.7

liball_deps_2,12

info.ganglia.gmetric4j

gmetric4j

1.0.10

io. airlift

compressor de ar

0,21

io.delta

delta-compartilhamento-spark_2.12

0.5.0

io.dropwizard.métricas

núcleo de métricas

4.1.1

io.dropwizard.métricas

métricas-grafite

4.1.1

io.dropwizard.métricas

métricas-healthchecks

4.1.1

io.dropwizard.métricas

métricas-jetty9

4.1.1

io.dropwizard.métricas

métricas-jmx

4.1.1

io.dropwizard.métricas

métricas-JSON

4.1.1

io.dropwizard.métricas

métricas-JVM

4.1.1

io.dropwizard.métricas

métricas-servlets

4.1.1

io.netty

tudo

4.1.74. Final

io.netty

netty-buffer

4.1.74. Final

io.netty

codec netty

4.1.74. Final

io.netty

netty-common

4.1.74. Final

io.netty

manipulador de limpeza

4.1.74. Final

io.netty

resolvedor de rede

4.1.74. Final

io.netty

classes netty-tcnative

2.0.48. Final

io.netty

transporte de urtigas

4.1.74. Final

io.netty

netty-transport-classes-epoll

4.1.74. Final

io.netty

netty-transport-classes-kqueue

4.1.74. Final

io.netty

netty-transport-native-epoll-linux-aarch_64

4.1.74. Final

io.netty

netty-transport-native-epoll-linux-x86_64

4.1.74. Final

io.netty

netty-transport-native-kqueue-osx-aarch_64

4.1.74. Final

io.netty

netty-transport-native-kqueue-osx-x86_64

4.1.74. Final

io.netty

netty-transport-native-unix-common

4.1.74. Final

io. prometheus

cliente simples

0.7.0

io. prometheus

simpleclient_common

0.7.0

io. prometheus

simpleclient_dropwizard

0.7.0

io. prometheus

gateway client_push simples

0.7.0

io. prometheus

client_servlet simples

0.7.0

io.prometheus.jmx

coletor

0.12.0

jakarta.anotação

jakarta.anotação-api

1.3.5

jakarta.servlet

jakarta.servlet-api

4.0.3

jakarta.validação

jakarta.validação-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.ativação

ativação

1.1.1

javax.anotação

javax.anotação-api

1.3.2

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.transaction

jta

1.1

javax.transaction

API de transação

1.1

javax.xml.bind

jaxb-api

2.2.11

javolução

javolução

5.5.1

junte-se

junte-se

2.14.6

hora do dia

hora do dia

2.10.13

mvn

hadoop 3

liball_deps_2,12

net.java.dev.jna

jna

5.8.0

net.razorvine

salmoura

1.2

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

supercsv

2.2.0

net.snowflake

SDK de ingestão de flocos de neve

0.9.6

net.snowflake

floco de neve-JDBC

3.13,14

net.snowflake

floco de neve faísca_2.12

2.10.0-spark_3.2

net.sourceforge.f2j

arpack_combined_all

0,1

org.acplt.remotetea

chá remoto - oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4,8

org.antlr

modelo de string

3.2.1

org.apache.ant

formiga

1.9.2

org.apache.ant

formiga

1.9.2

org.apache.ant

lançador de formigas

1.9.2

org.apache.arrow

formato de seta

7.0.0

org.apache.arrow

núcleo de memória de seta

7.0.0

org.apache.arrow

rede de memória de seta

7.0.0

org.apache.arrow

vetor de seta

7.0.0

org.apache.avro

AVRO

1.11.0

org.apache.avro

avro-ipc

1.11.0

org.apache.avro

mapeado automaticamente

1.11.0

org.apache.commons

commons-collections4

4.4

org.apache.commons

compressa comum

1,21

org.apache.commons

criptomoeda comum

1.1.0

org.apache.commons

commons-lang3

3.12.0

org.apache.commons

commons-math3

3.6.1

org.apache.commons

texto comum

1,9

org.apache.curator

curador-cliente

2.13.0

org.apache.curator

estrutura de curador

2.13.0

org.apache.curator

receitas de curadores

2.13.0

org.apache.derby

derby

10.14.2.0

org.apache.hadoop

API de cliente hadoop

3.3.2 - blocos de dados

org.apache.hadoop

tempo de execução do cliente hadoop

3.3.2

org.apache.hive

hive-beeline

2.3.9

org.apache.hive

colmeia-CLI

2.3.9

org.apache.hive

hive-JDBC

2.3.9

org.apache.hive

hive-llap-client

2.3.9

org.apache.hive

hive-lap-common

2.3.9

org.apache.hive

colmeia

2.3.9

org.apache.hive

hive-shims

2.3.9

org.apache.hive

API de armazenamento em nuvem

2.7.2

org.apache.hive.shims

calços de colmeia - 0,23

2.3.9

org.apache.hive.shims

calços de colmeia comuns

2.3.9

org.apache.hive.shims

hive-shims-programador

2.3.9

org.apache.httpcomponents

cliente http

4.5.13

org.apache.httpcomponents

httpcore

4.4.14

org.apache.ivy

hera

2.5.0

org.apache.logging.log4j

log4j-1.2-api

2.17.2

org.apache.logging.log4j

log4j-api

2.17.2

org.apache.logging.log4j

log4j-core

2.17.2

org.apache.logging.log4j

log4j-slf4j-impl

2.17.2

org.apache.mesos

protobuf sombreado em mesos

1.4.0

org.apache.orc

núcleo orc

1.7.5

org.apache.orc

orc-mapreduce

1.7.5

org.apache.orc

calços de orc

1.7.5

org.apache.parquet

coluna de parquete

1.12.0-databricks-0004

org.apache.parquet

parquete comum

1.12.0-databricks-0004

org.apache.parquet

codificação de parquet

1.12.0-databricks-0004

org.apache.parquet

estruturas em formato de parquet

1.12.0-databricks-0004

org.apache.parquet

parquet-hadoop

1.12.0-databricks-0004

org.apache.parquet

parquet-jackson

1.12.0-databricks-0004

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.xbean

xbean-asm9-shaded

4,20

org.apache.yetus

audiência-anotação

0.5.0

org.apache.zookeeper

tratador

3.6.2

org.apache.zookeeper

tratador de zoológico - juta

3.6.2

org.checkerframework

xadrez igual

3.5.0

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.janino

compilador common

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

núcleo de dados-api-jdo

4.2.4

org.datanucleus

núcleo de dados

4.1.17

org.datanucleus

núcleo de dados-rdbms

4.1.19

org.datanucleus

javax.jdo

3,2,0-m3

org.Eclipse.jetty

jetty-client

9.4.46.v20220331

org.Eclipse.jetty

continuação do cais

9.4.46.v20220331

org.Eclipse.jetty

jetty-http

9.4.46.v20220331

org.Eclipse.jetty

jetty-io

9.4.46.v20220331

org.Eclipse.jetty

jetty-jndi

9.4.46.v20220331

org.Eclipse.jetty

jetty-plus

9.4.46.v20220331

org.Eclipse.jetty

jetty-proxy

9.4.46.v20220331

org.Eclipse.jetty

segurança do cais

9.4.46.v20220331

org.Eclipse.jetty

servidor jetty-server

9.4.46.v20220331

org.Eclipse.jetty

jutty-servlet

9.4.46.v20220331

org.Eclipse.jetty

píer de servlets

9.4.46.v20220331

org.Eclipse.jetty

jetty-util

9.4.46.v20220331

org.Eclipse.jetty

jetty-util-ajax

9.4.46.v20220331

org.Eclipse.jetty

aplicativo web jetty-

9.4.46.v20220331

org.Eclipse.jetty

jetty-xml

9.4.46.v20220331

org.Eclipse.jetty.websocket

API de websoquete

9.4.46.v20220331

org.Eclipse.jetty.websocket

cliente websocket

9.4.46.v20220331

org.Eclipse.jetty.websocket

websocket-comum

9.4.46.v20220331

org.Eclipse.jetty.websocket

servidor websocket

9.4.46.v20220331

org.Eclipse.jetty.websocket

servlet websocket

9.4.46.v20220331

org.fusesource.leveldbjni

leveldbjni-tudo

1,8

org.glassfish.hk2

API hk2

2.6.1

org.glassfish.hk2

localizador hk2

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-recurso-locator

1.0.3

org.glassfish.hk2.external

aopalliance - reembalado

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

servlet de contêiner de camisa

2,34

org.glassfish.jersey.containers

jersey-container-servlet-core

2,34

org.glassfish.jersey.core

cliente de camisa

2,34

org.glassfish.jersey.core

camiseta comum

2,34

org.glassfish.jersey.core

servidor de camisa

2,34

org.glassfish.jersey.inject

camiseta-hk2

2,34

org.hibernate.validator

validador de hibernação

6.1.0. Final

org.javassist

javassist

3,25,0 GA

org.jboss.logging

registro de jboss-logging

3.3.2. Final

org.jdbi

jdbi

2.63,1

org.jetbrains

anotação

17.0.0

org.joda

conversor de joda

1.7

org.jodd

núcleo nodular

3.5.2

org.json4s

json4s-ast_2.12

3,7,0-M11

org.json4s

json4s-core_2.12

3,7,0-M11

org.json4s

json4s-jackson_2.12

3,7,0-M11

org.json4s

json4s-scalap_2.12

3,7,0-M11

org.lz4

lz4-java

1.8.0

org.mariadb.JDBC

cliente mariadb-java

2.7.4

org.mlflow

faísca de fluxo

1.27.0

org.objenesis

objênese

2.5.1

org.postgresql

PostgreSQL

42,3.3

org.roaringbitmap

Mapa de bits estrondoso

0,9,25

org.roaringbitmap

calços

0,9,25

org.rocksdb

rocksdbjni

6.24.2

org.rosuda.rEngine

Motor

2.1.0

org.Scala-lang

Scala-compiler_2.12

2.12.14

org.Scala-lang

Scala-biblioteca.12

2.12.14

org.Scala-lang

Scala-reflect_2.12

2.12.14

org.Scala-lang.modules

Scala-collection-compat_2.12

2.4.3

org.Scala-lang.modules

Scala-parser-combinators_2.12

1.1.2

org.Scala-lang.modules

Scala-xml_2.12

1.2.0

org.Scala-sbt

interface de teste

1,0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

breeze-macros_2.12

1.2

org.scalanlp

breeze_2.12

1.2

org.scalatest

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1,7,36

org.slf4j

jul-a-slf4j

1,7,36

org.slf4j

slf4j-api

1,7,36

org.spark-project.spark

não utilizado

1.0.0

org.threeten

treze e mais

1.5.0

org.tukaani

xz

1,8

org.typelevel

álgebra_2.12

2.0.1

org.typelevel

cats-kernel_2.12

2.1.1

org.typelevel

macro-compat_2,12

1.1.1

org.typelevel

spire-macros_2.12

0,17.0

org.typelevel

spire-platform_2.12

0,17.0

org.typelevel

spire-util_2.12

0,17.0

org.typelevel

spire_2.12

0,17.0

org.wildfly.openssl

wildfly-openssl

1.0.7. Final

org.xerial

sqlite-JDBC

3.8.11.2

org.xerial.snappy

snappy-java

1.1.8.4

org.yaml

snakeyaml

1,24

oro

oro

2.0.8

pt.edu.icm

Matrizes JLarge

1.5

software.Amazon.ion

ion-java

1.0.2

stax

stax-api

1.0.1

Última atualização em