Pular para o conteúdo principal

Databricks Runtime 11,2 (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 11.2, alimentado por Apache Spark 3.3.0. A Databricks lançou essa versão em setembro de 2022.

Novos recursos e melhorias​

Alterar para ALTER TABLE as permissões no controle de acesso da tabela (table ACLs)​

Agora, os usuários só precisam das permissões MODIFY para alterar o esquema ou as propriedades de uma tabela com ALTER TABLE. A propriedade ainda é necessária para conceder permissões em uma tabela, alterar seu proprietário e localização ou renomeá-la. Essa alteração torna o modelo de permissão para ACLs de tabela consistente com o Unity Catalog. Consulte ALTER TABLE.

Poda dinâmica para MERGE INTO​

Ao usar o Photon-enabled compute, MERGE INTO agora usa a poda dinâmica de arquivos e partições quando apropriado para melhorar o desempenho, por exemplo, quando uma pequena tabela de origem é mesclada em uma tabela de destino maior.

Detecção aprimorada de conflitos no Delta com poda dinâmica de arquivos​

Ao verificar possíveis conflitos durante o commit, a detecção de conflitos agora considera os arquivos que são podados pela poda dinâmica de arquivos, mas que não teriam sido podados por filtros estáticos. Isso resulta em uma diminuição do número de transações com falha.

Novo cartão de integrações de código aberto nas páginas iniciais do DSE/SQL​

Apresentamos o novo cartão "código aberto Integrations" nas páginas iniciais do DSE/SQL que exibe as opções de integração do código aberto, como DLT e dbt core.

Melhorias na detecção da partição CONVERT TO DELTA​

CONVERT TO DELTA infere automaticamente o esquema de partição das tabelas Parquet registradas em Hive metastore ou Unity Catalog, eliminando a necessidade de fornecer a cláusula PARTITIONED BY.

CONVERT TO DELTA aproveita as informações de partição do metastore para descobrir arquivos para uma tabela Parquet em vez de listar todo o caminho base, garantindo que as partições descartadas não sejam adicionadas à tabela Delta.

Ver Convert to Delta Lake.

As imagens do Databricks Runtime Graviton agora suportam o JDK 11 (visualização pública)​

A partir do Databricks Runtime 11.2, as imagens do Databricks Runtime Graviton agora são compatíveis com o Java Development Kit (JDK) 11.

Ao criar um clustering, o senhor pode especificar que o clustering use o JDK 11 (para o driver e para executor). Para fazer isso, adicione a seguinte variável de ambiente às Opções avançadas > Spark > variável de ambiente :

Bash
JNAME=zulu11-ca-arm64

Os esquemas de tabela agora suportam default valores para colunas​

Os esquemas de tabela agora suportam a configuração de valores default para colunas. INSERT, UPDATE, e DELETE comando para essas colunas pode se referir a esses valores com a palavra-chave DEFAULT. Por exemplo, CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET seguido por INSERT INTO t VALUES (1, DEFAULT) acrescentará a linha (1, 42). Esse comportamento é compatível com CSV, JSON, Orc e Parquet fonte de dados.

Novas funções geoespaciais H3​

Agora, o senhor pode usar 28 novas expressões integradas H3 para processamento geoespacial em clustering habilitado para Photon, disponíveis em SQL, Scala e Python. Veja as funções geoespaciais H3.

Nova dependência de Databricks Runtime​

O Databricks Runtime agora depende da biblioteca Java H3 versão 3.7.0.

Traga seu próprio key: criptografia de credenciais Git​

O senhor pode usar o serviço AWS key Management para criptografar um Git personal access tokens (PAT) ou outra credencial Git.

Consulte Configurar as pastas Git do Databricks

SQL: Nova função de agregação any_value​

A nova função agregada any_value retorna qualquer valor aleatório de expr para um grupo de linhas. Veja a função agregadaany_value.

Databricks sistema de arquivos utilidades comando permitido em mais tipos de clustering​

dbutils.fs comando (exceto comando relacionado à montagem) agora são permitidos em clustering de isolamento de usuário com Unity Catalog, bem como em clustering de tabela legada ACL quando o usuário tem permissões ANY FILE.

Os privilégios CREATE agora podem ser concedidos em metastores para o Unity Catalog​

Os privilégios CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENT e CREATE PROVIDER agora podem ser concedidos nos metastores do Unity Catalog.

Gravações otimizadas para tabelas não particionadas em clustering habilitado para Photon​

Unity Catalog gerenciar tabelas agora persiste automaticamente arquivos de um tamanho bem ajustado de tabelas não particionadas para melhorar a velocidade query e otimizar o desempenho.

Photon suporte para mais fontes de dados​

Photon agora suporta mais fontes de dados, incluindo CSV e Avro, e também é compatível com quadros de dados em cache. Anteriormente, a varredura dessas fontes de dados significava que a consulta inteira não poderia ser fotonizada, independentemente dos operadores ou expressões da consulta. Agora, as consultas que examinam essas fontes de dados podem ser fotonizadas, o que permite melhorias significativas na latência e no TCO.

Esse recurso é ativado em default pela configuração spark.databricks.photon.photonRowToColumnar.enabled.

Limitações:

  • Esquemas com tipos aninhados não são suportados (ou seja, matrizes, mapas e estruturas) nesta versão.
  • As fontes ORC, RDD, Kinesis, Kafka e EventHub não são compatíveis com esta versão.

SQL: ALTER SHARE agora suporta começar VERSION​

O comando ALTER SHARE agora suporta START VERSION, o que permite que os provedores compartilhem dados a partir de uma versão específica da tabela. Consulte ALTER SHARE.

Atualizações da biblioteca​

  • Atualizado Python biblioteca:

    • distlib de 0.3.4 a 0.3.5
    • filelock de 3.7.1 a 3.8.0
    • plotly de 5.8.2 a 5.9.0
    • protobuf de 4.21.2 a 4.21.5

  • Biblioteca R atualizada:

    • vassoura de 0.8.0 a 1.0.0
    • bslib de 0.3.1 a 0.4.0
    • callr de 3.7.0 a 3.7.1
    • cursor de 6,0-92 a 6,0-93
    • dbplyr de 2.2.0 a 2.2.1
    • devtools de 2.4.3 a 2.4.4
    • avaliar de 0,15 a 0,16
    • farver de 2.1.0 para 2.1.1
    • fontawesome de 0.2.2 a 0.3.0
    • futuro de 1.26.1 a 1.27.0
    • genéricos a partir de 0.1.2 para 0.1.3
    • vá de 1.6.0 para 1.7.0
    • globais de 0.15.1 a 0.16.0
    • googlesheets4 de 1.0.0 a 1.0.1
    • hardhat a partir de 1.1.0 para 1.2.0
    • htmltools de 0.5.2 a 0.5.3
    • paralelamente de 1.32.0 a 1.32.1
    • pilar de 1.7.0 a 1.8.0
    • pkgload de 1.2.4 a 1.3.0
    • processos de 3.6.1 a 3.7.0
    • Rcpp de 1.0.8.3 a 1.0.9
    • receitas de 0.2.0 a 1.0.1
    • rlang de 1.0.2 a 1.0.4
    • roxygen2 de 7.2.0 a 7.2.1
    • RSQLite de 2.2.14 a 2.2.15
    • sass de 0.4.1 a 0.4.2
    • brilhante de 1.7.1 a 1.7.2
    • stringi de 1.7.6 a 1.7.8
    • tibble de 3.1.7 a 3.1.8
    • tidyverse de 1.3.1 a 1.3.2
    • Horário/Data de 3043.102 a 4021.104
    • xfun de 0,31 a 0,32

  • Atualizado Java biblioteca:

    • org.apache.orc.orc-core de 1.7.4 a 1.7.5
    • org.apache.orc.orc-mapreduce de 1.7.4 a 1.7.5
    • org.apache.orc.orc-shims de 1.7.4 a 1.7.5

Apache Spark​

O Databricks Runtime 11.2 inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 11.1 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-40151] [WARMFIX] [sc-109002] [SC-108809] [sql] Retorna tipos de intervalos ANSI mais amplos das funções de percentil
  • [SPARK-40054] [SQL] Restaurar a sintaxe de tratamento de erros de try_cast()
  • [SPARK-39489] [CORE] Melhore o desempenho do JsonProtocol de registro de eventos usando Jackson em vez de Json4s
  • [SPARK-39319] [CORE] [sql] Crie contextos de consulta como parte do SparkThrowable
  • [SPARK-40085] [SQL] Use a classe de erro INTERNAL_ERROR em vez de IllegalStateException para indicar erros
  • [SPARK-40001] [SQL] Fazer com que as gravações NULL em JSON colunas padrão gravem "null" no armazenamento
  • [SPARK-39635] [SQL] Suporte a métricas de driver em métricas personalizadas DS v2 API
  • [SPARK-39184] [SQL] Manipular matriz de resultados subdimensionada em sequências de data e carimbo de data/hora
  • [SPARK-40019] [SQL] Refatorar o comentário do containsNull do ArrayType e refatorar a lógica equivocada na expressão do collectionOperator sobre containsNull
  • [SPARK-39989] [SQL] Suporte à estimativa de estatísticas de coluna se ela for uma expressão dobrável
  • [SPARK-39926] [SQL] Corrigir bug no suporte padrão de coluna para varreduras não vetorizadas em Parquet
  • [SPARK-40052] [SQL] Manipular buffers de bytes diretos no VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Corrigir o tipo de intervalo de destino em erros de estouro de elenco
  • [SPARK-39835] [SQL] Corrigir EliminateSorts para remover a classificação global abaixo da classificação local
  • [SPARK-40002] [SQL] Não empurre o limite inferior pela janela usando ntile
  • [SPARK-39976] [SQL] ArrayIntersect deve tratar corretamente o nulo na expressão à esquerda
  • [SPARK-39985] [SQL] Habilitar valores de coluna padrão implícitos em inserções de DataFrames
  • [SPARK-39776] [SQL] as strings verbosas de junção devem adicionar o tipo de junção
  • [SPARK-38901] [SQL] O DS V2 oferece suporte a outras funções push down
  • [SPARK-40028] [SQL][followup] Aprimorar exemplos de funções de strings
  • [SPARK-39983] [CORE] [sql] Não armazene relações de transmissão não serializadas no driver
  • [SPARK-39812] [SQL] Simplifique o código que constrói AggregateExpression com toAggregateExpression
  • [SPARK-40028] [SQL] Adicionar exemplos binários para expressões de strings
  • [SPARK-39981] [SQL] Lança a exceção QueryExecutionErrors.castingCauseOverflowErrorInTableInsert em Cast
  • [SPARK-40007] [Python][sql] Adicionar 'mode' às funções
  • [SPARK-40008] [SQL] Suporte à conversão de integrais para intervalos ANSI
  • [SPARK-40003] [Python][sql] Adicionar 'median' às funções
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand deve armazenar novamente a relação de resultados
  • [SPARK-39951] [SQL] Atualização da verificação colunar do Parquet V2 para campos aninhados
  • [SPARK-33236] [shuffle] Backport para DBR 11.x: Habilitar o serviço de shuffle baseado em push para armazenar o estado no banco de dados de nível NM para reinicialização com preservação do trabalho
  • [SPARK-39836] [SQL] Simplifique o V2ExpressionBuilder extraindo um método comum.
  • [SPARK-39873] [SQL] Remova OptimizeLimitZero e merge em EliminateLimits
  • [SPARK-39961] [SQL] DS V2 push-down translate Cast se o cast for seguro
  • [SPARK-39872] [SQL] Alteração para usar BytePackerForLong#unpack8Values com a API de entrada Array em VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Remover AliasHelper ou PredicateHelper desnecessários para algumas regras
  • [SPARK-39900] [SQL] Abordar condição parcial ou negada no predicado pushdown do formato binário
  • [SPARK-39904] [SQL] Renomear inferDate para prefersDate e esclarecer a semântica da opção em CSV fonte de dados
  • [SPARK-39958] [SQL] Adicionar aviso log quando não for possível carregar o objeto métricas personalizado
  • [SPARK-39932] [SQL] O WindowExec deve limpar o buffer da partição final
  • [SPARK-37194] [SQL] Evite a classificação desnecessária na gravação v1 se não for uma partição dinâmica
  • [SPARK-39902] [SQL] Adicionar detalhes da varredura ao nó de varredura do plano do Spark no SparkUI
  • [SPARK-39865] [SQL] Mostrar mensagens de erro adequadas sobre os erros de estouro de inserção de tabela
  • [SPARK-39940] [SS] atualizar tabela de catálogo em consulta de transmissão com DSv1 sink
  • [SPARK-39827] [SQL] Use a classe de erro ARITHMETIC_OVERFLOW no estouro de int em add_months()
  • [SPARK-39914] [SQL] Adicionar filtro DS V2 à conversão de filtro V1
  • [SPARK-39857] [SQL] Manual DBR 11.x backport; V2ExpressionBuilder usa o tipo de dados LiteralValue errado para o predicado In #43454
  • [SPARK-39840] [SQL][Python] Fatorar PythonArrowInput como uma simetria para PythonArrowOutput
  • [SPARK-39651] [SQL] Eliminar a condição de filtro se a comparação com rand for determinística
  • [SPARK-39877] [Python] Adicionar unpivot a PySpark DataFrame API
  • [SPARK-39909] [SQL] Organizar a verificação de informações push down para o JDBCV2Suite
  • [SPARK-39834] [SQL][ss] Incluir as estatísticas e restrições de origem para o LogicalRDD se ele for proveniente do DataFrame
  • [SPARK-39849] [SQL] dataset.as(StructType) preenche novas colunas ausentes com valor nulo
  • [SPARK-39860] [SQL] Mais expressões devem estender o Predicate
  • [SPARK-39823] [SQL][Python] Renomear dataset.as como dataset.to e adicionar DataFrame.to em PySpark
  • [SPARK-39918] [SQL][minor] Substitua a expressão "não comparável" por "incomparável" na mensagem de erro
  • [SPARK-39857] [SQL][3.3] O V2ExpressionBuilder usa o tipo de dados LiteralValue errado para o predicado In
  • [SPARK-39862] [SQL] Backport manual para PR 43654 visando o DBR 11.x: Atualizar SQLConf.default para permitir/negar ALTER TABLE... ADICIONAR comando COLUMN separadamente.
  • [SPARK-39844] [SQL] Backport manual para PR 43652 visando o DBR 11.x
  • [SPARK-39899] [SQL] Corrigir a passagem de parâmetros de mensagem para InvalidUDFClassException
  • [SPARK-39890] [SQL] Make TakeOrderedAndProjectExec inherit AliasAwareOutputOrdering
  • [SPARK-39809] [Python] Suporte a CharType em PySpark
  • [SPARK-38864] [SQL] Adicionar unpivot / melt ao conjunto de dados
  • [SPARK-39864] [SQL] Registro preguiçoso do ExecutionListenerBus
  • [SPARK-39808] [SQL] Suporte à função agregada MODE
  • [SPARK-39875] [SQL] Altere o método protected na classe final para private ou package-visible
  • [SPARK-39731] [SQL] Corrigir o problema em CSV e JSON fonte de dados ao analisar datas no formato "yyyyMMdd" com a política de análise de tempo CORRIGIDA
  • [SPARK-39805] [SS] Descontinuar Trigger.Once e promover Trigger.AvailableNow
  • [SPARK-39784] [SQL] Colocar valores literais no lado direito do filtro da fonte de dados depois de traduzir a expressão Catalyst para o filtro da fonte de dados
  • [SPARK-39672] [SQL][3.1] Corrija a remoção do projeto antes do filtro com subconsulta correlacionada
  • [SPARK-39552] [SQL] Unificar v1 e v2 DESCRIBE TABLE
  • [SPARK-39810] [SQL] Catalog.tableExists deve tratar o namespace aninhado
  • [SPARK-37287] [SQL] Retire a partição dinâmica e a classificação por balde do FileFormatWriter
  • [SPARK-39469] [SQL] Inferir tipo de data para inferência de esquema CSV
  • [SPARK-39148] [SQL] O push down do agregado DS V2 pode funcionar com OFFSET ou LIMIT
  • [SPARK-39818] [SQL] Corrigir bug nos tipos ARRAY, STRUCT, MAP com valores padrão com campo(s) NULL
  • [SPARK-39792] [SQL] Adicionar DecimalDivideWithOverflowCheck para média decimal
  • [SPARK-39798] [SQL] Replcace toSeq.toArray com .toArray[Any] no construtor do GenericArrayData
  • [SPARK-39759] [SQL] Implementar listIndexes em JDBC (dialeto H2)
  • [SPARK-39385] [SQL] Suporta push down REGR_AVGX e REGR_AVGY
  • [SPARK-39787] [SQL] Usar classe de erro no erro de análise da função to_timestamp
  • [SPARK-39760] [Python] Suporte a Varchar em PySpark
  • [SPARK-39557] [SQL] Backport manual para DBR 11.x: Suporte aos tipos ARRAY, STRUCT e MAP como valores padrão
  • [SPARK-39758] [SQL][3.3] Corrija o NPE das funções regexp em padrões inválidos
  • [SPARK-39749] [SQL] Modo ANSI SQL: Usar a representação de strings simples ao converter decimais em strings
  • [SPARK-39704] [SQL] Implementar createIndex & dropIndex & indexExists em JDBC (dialeto H2)
  • [SPARK-39803] [SQL] Use LevenshteinDistance em vez de StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Suporte ao tipo TimestampNTZ em JDBC fonte de dados
  • [SPARK-39781] [SS] Adicionar suporte para fornecer max_open_files ao provedor rocksdb armazenamento do estado
  • [SPARK-39719] [R] Implementar databaseExists/getDatabase no namespace 3L de suporte do SparkR
  • [SPARK-39751] [SQL] Renomear o agregado de hash key probes métricas
  • [SPARK-39772] [SQL] namespace deve ser nulo quando o banco de dados for nulo nos construtores antigos
  • [SPARK-39625] [SPARK-38904][sql] Adicionar dataset.as(StructType)
  • [SPARK-39384] [SQL] Compilar funções agregadas de regressão linear integrada para o dialeto JDBC
  • [SPARK-39720] [R] Implementar tableExists/getTable no SparkR para o namespace 3L
  • [SPARK-39744] [SQL] Adicionar a função REGEXP_INSTR
  • [SPARK-39716] [R] Make currentDatabase/setCurrentDatabase/listCatalogs in SparkR support 3L namespace
  • [SPARK-39788] [SQL] Renomear catalogName para dialectName para JdbcUtils
  • [SPARK-39647] [CORE] Registre o executor com o ESS antes de registrar o BlockManager
  • [SPARK-39754] [CORE] [sql] Remova import não utilizado ou desnecessário {}
  • [SPARK-39706] [SQL] Definir coluna ausente com defaultValue como constante em ParquetColumnVector
  • [SPARK-39699] [SQL] Tornar o CollapseProject mais inteligente em relação às expressões de criação de coleções
  • [SPARK-39737] [SQL] PERCENTILE_CONT e PERCENTILE_DISC devem oferecer suporte ao filtro agregado
  • [SPARK-39579] [SQL][Python][R] Tornar ListFunctions/getFunction/functionExists compatível com o namespace de 3 camadas
  • [SPARK-39627] [SQL] O pushdown do JDBC V2 deve unificar a API de compilação
  • [SPARK-39748] [SQL][ss] Incluir o plano lógico de origem para LogicalRDD se ele for proveniente de DataFrame
  • [SPARK-39385] [SQL] Traduzir funções agregadas de regressão linear para pushdown
  • [SPARK-39695] [SQL] Adicionar a função REGEXP_SUBSTR
  • [SPARK-39667] [SQL] Adicione outra solução alternativa quando não houver memória suficiente para criar e transmitir a tabela
  • [SPARK-39666] [ES-337834] [sql] Use unsafeProjection.create para respeitar spark.sql.codegen.factoryMode no ExpressionEncoder
  • [SPARK-39643] [SQL] Proibir expressões de subconsulta em valores padrão
  • [SPARK-38647] [SQL] Adicionar o mix SupportsReportOrdering na interface para Varredura (DataSourceV2)
  • [SPARK-39497] [SQL] Melhorar a análise da exceção do mapa ausente da coluna key
  • [SPARK-39661] [SQL] Evite criar um registrador SLF4J desnecessário
  • [SPARK-39713] [SQL] Modo ANSI: adicionar sugestão de uso de try_element_at para o erro INVALID_ARRAY_INDEX
  • [SPARK-38899] [SQL]DS V2 suporta funções push down datetime
  • [SPARK-39638] [SQL] Alteração para usar ConstantColumnVector para armazenar colunas de partição em OrcColumnarBatchReader
  • [SPARK-39653] [SQL] Limpar ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) do ColumnVectorUtils
  • [SPARK-39231] [SQL] Use ConstantColumnVector em vez de On/OffHeapColumnVector para armazenar colunas de partição em VectorizedParquetRecordReader
  • [SPARK-39547] [SQL] O V2SessionCatalog não deve lançar NoSuchDatabaseException em loadNamspaceMetadata
  • [SPARK-39447] [SQL] Evite AssertionError em AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] Retrabalhar MISSING_COLUMN
  • [SPARK-39679] [SQL] O TakeOrderedAndProjectExec deve respeitar a ordem de saída dos filhos
  • [SPARK-39606] [SQL] Usar estatísticas filho para estimar o operador de ordem
  • [SPARK-39611] [Python][ps] Corrigir aliases errados em array_ufunc
  • [SPARK-39656] [SQL][3.3] Corrija o namespace errado em DescribeNamespaceExec
  • [SPARK-39675] [SQL] Trocar 'spark.sql.codegen.factoryMode' configuração desde a finalidade do teste até a finalidade interna
  • [SPARK-39139] [SQL] DS V2 suporta UDF DS V2 push down
  • [SPARK-39434] [SQL] Fornecer contexto de consulta de erro em tempo de execução quando o índice da matriz estiver fora dos limites
  • [SPARK-39479] [SQL] DS V2 suporta funções matemáticas push down (não ANSI)
  • [SPARK-39618] [SQL] Adicionar a função REGEXP_COUNT
  • [SPARK-39553] [CORE] Multi-thread unregister shuffle não deve gerar NPE ao usar o Scala 2.13
  • [SPARK-38755] [Python][3.3] Adicionar arquivo para resolver a falta de funções gerais do site Pandas
  • [SPARK-39444] [SQL] Adicionar OptimizeSubqueries à lista nonExcludableRules
  • [SPARK-39316] [SQL] mesclar PromotePrecision e CheckOverflow em aritmética binária decimal
  • [SPARK-39505] [UI] Escape log conteúdo renderizado na UI
  • [SPARK-39448] [SQL] Adicionar ReplaceCTERefWithRepartition à lista nonExcludableRules
  • [SPARK-37961] [SQL] Substituir maxRows/maxRowsPerPartition para alguns operadores lógicos
  • [SPARK-35223] Reverter Adicionar link de navegação do problema
  • [SPARK-39633] [SQL] Suporte a carimbo de data/hora em segundos para TimeTravel usando opções de Dataframe
  • [SPARK-38796] [SQL] Atualizar a documentação para strings de formato de número com as funções {try_}to_number
  • [SPARK-39650] [SS] Corrigir esquema de valor incorreto na deduplicação de transmissão com compatibilidade com versões anteriores
  • [SPARK-39636] [CORE][ui] Corrigir vários bugs no JsonProtocol, afetando os StorageLevels fora do heap e os ResourceRequests da tarefa/executor
  • [SPARK-39432] [SQL] Retorna ELEMENT_AT_BY_INDEX_ZERO from element_at(*, 0)
  • [SPARK-39349] Adicionar um método checkError centralizado para controle de qualidade do caminho de erro
  • [SPARK-39453] [SQL] O DS V2 oferece suporte a funções não agregadas push down misc (não ANSI)
  • [SPARK-38978] [SQL] O DS V2 oferece suporte ao operador OFFSET push down
  • [SPARK-39567] [SQL] Suporte a intervalos ANSI nas funções de percentil
  • [SPARK-39383] [SQL] Suporte a colunas padrão em ALTER TABLE ALTER COLUMNS to V2 fonte de dados
  • [SPARK-39396] [SQL] Corrigir exceção de login LDAP 'código de erro 49 - credenciais inválidas'
  • [SPARK-39548] [SQL] O comando CreateView com uma consulta de cláusula de janela atingiu um problema de definição de janela incorreta não encontrada
  • [SPARK-39575] [AVRO] adicionar ByteBuffer#rewind após ByteBuffer#get em Avr...
  • [SPARK-39543] A opção de DataFrameWriterV2 deve ser passada para as propriedades de armazenamento se o fallback for para v1
  • [SPARK-39564] [SS] Expor as informações da tabela de catálogo ao plano lógico na consulta de transmissão
  • [SPARK-39582] [SQL] Corrigir o marcador "Since" para array_agg
  • [SPARK-39388] [SQL] Reutilizar orcSchema ao fazer push down de predicados Orc
  • [SPARK-39511] [SQL] Aumentar o limite local 1 para o lado direito do semi/anti join esquerdo se a condição join estiver vazia
  • [SPARK-38614] [SQL] Não empurre o limite inferior por meio de uma janela que esteja usando percent_rank
  • [SPARK-39551] [SQL] Adicionar verificação de plano inválido do AQE
  • [SPARK-39383] [SQL] Suporte a colunas padrão em ALTER TABLE ADD COLUMNS to V2 fonte de dados
  • [SPARK-39538] [SQL] Evite criar um registrador SLF4J desnecessário
  • [SPARK-39383] [SQL] Backport manual para o DBR 11.x: Refatoração do suporte à coluna padrão para evitar a passagem do Analyzer primário
  • [SPARK-39397] [SQL] Relaxe o AliasAwareOutputExpression para suportar alias com expressão
  • [SPARK-39496] [SQL] Manipular estrutura nula em Inline.eval
  • [SPARK-39545] [SQL] Substituir o método concat para ExpressionSet no Scala 2.13 para melhorar o desempenho
  • [SPARK-39340] [SQL] O DS v2 agg pushdown deve permitir pontos no nome das colunas de nível superior
  • [SPARK-39488] [SQL] Simplifique o tratamento de erros de TempResolvedColumn
  • [SPARK-38846] [SQL] Adicionar mapeamento de dados explícito entre Teradata Numeric Type e Spark DecimalType
  • [SPARK-39520] [SQL] Substituir o método -- para ExpressionSet no Scala 2.13
  • [SPARK-39470] [SQL] Suporte à conversão de intervalos ANSI em decimais
  • [SPARK-39477] [SQL] Remova a informação "Number of queries" dos arquivos golden do SQLQueryTestSuite
  • [SPARK-39419] [SQL] Corrigir o ArraySort para lançar uma exceção quando o comparador retornar nulo
  • [SPARK-39061] [SQL] Definir corretamente o nullable para os atributos de saída do Inline
  • [SPARK-39320] [SQL] Suporte à função de agregação MEDIAN
  • [SPARK-39261] [CORE] Melhore a formatação de novas linhas para mensagens de erro
  • [SPARK-39355] [SQL] Uma única coluna usa aspas para construir o UnresolvedAttribute
  • [SPARK-39351] [SQL] SHOW CREATE TABLE deve redigir as propriedades
  • [SPARK-37623] [SQL] Suporte à função agregada ANSI: regr_intercept
  • [SPARK-39374] [SQL] Melhorar a mensagem de erro para a lista de colunas especificada pelo usuário
  • [SPARK-39255] [SQL][3.3] Melhore as mensagens de erro
  • [SPARK-39321] [SQL] Refatorar o TryCast para usar o RuntimeReplaceable
  • [SPARK-39406] [Python] Aceitar NumPy array em createDataFrame
  • [SPARK-39267] [SQL] Limpar o símbolo desnecessário dsl
  • [SPARK-39171] [SQL] Unificar a expressão Cast
  • [SPARK-28330] [SQL] Suporte a ANSI SQL: cláusula de deslocamento de resultado na expressão de consulta
  • [SPARK-39203] [SQL] Reescrever o local da tabela para URI absoluto com base no URI do banco de dados
  • [SPARK-39313] [SQL] toCatalystOrdering deve falhar se a V2Expression não puder ser traduzida
  • [SPARK-39301] [SQL][Python] Aproveitar o LocalRelation e respeitar o tamanho dos lotes Arrow no createDataFrame com otimização Arrow
  • [SPARK-39400] [SQL] spark-sql deve remover o diretório hive recurso em todos os casos

Atualizações de manutenção​

Consulte Atualizações de manutenção do Databricks Runtime 11.2.

Ambiente do sistema​

  • Sistema operacional : Ubuntu 20.04.4 LTS
  • Java : Zulu 8.56.0.21-CA-linux64
  • Scala : 2.12.14
  • Python : 3.9.5
  • R : 4.1.3
  • Delta Lake : 2.1.0

Instalado Python biblioteca​

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

Antergos Linux

2015.10 (versão ISO)

argônio-2-cffi

20.1.0

gerador assíncrono

1,10

atrai

21.2.0

chamada de volta

0.2.0

backports.pontos de entrada selecionáveis

1.1.1

preto

22,3,0

cândida

4.0.0

boto3

1.21,18

botocore

1,24,18

certifi

2021.10.8

caffi

1,14.6

chardet

4.0.0

normalizador de conjuntos de caracteres

2.0.4

clique

8.0.3

criptografia

3.4.8

ciclador

0.10.0

Cython

0,29,24

dbus-Python

1.2.16

depurar

1.4.1

decorador

5.1.0

xml desfundido

0.7.1

distlib

0.3.5

informação da distribuição

0,23 ubuntu 1

pontos de entrada

0,3

visão geral das facetas

1.0.0

bloqueio de arquivo

3.8.0

Índia

3.2

ipykernel

6.12.1

ipython

7,32,0

ipython-genutils

0.2.0

ipywidgets

7.7.0

jedi

0,18.0

Jinja 2

2.11.3

jmespath

0.10.0

joblib

1.0.1

esquema json

3.2.0

cliente jupyter

6.1.12

núcleo jupyter

4.8.1

pigmentos jupyterlab

0.1.2

widgets jupyterlab

1.0.0

solucionador de kiwi

1.3.1

MarkupSafe

2.0.1

Matplotlib

3.4.3

matplotlib-inline

0.1.2

confundir

0,8.4

extensões mypy

0.4.3

cliente nb

0.5.3

nbconvert

6.1.0

formato nb

5.1.3

nest-assíncio

1.5.1

notebook

6.4.5

entorpecido

1.20.3

fazendo às malas

21,0

Pandas

1.3.4

filtros pandóicos

1.4.3

parso

0.8.2

especificação do caminho

0.9.0

bode expiatório

0.5.2

esperar

4.8.0

picles

0.7.5

Travesseiro

8.4.0

pip

21.2.4

platformdirs

2.5.2

Plotly

5.9.0

cliente prometheus

0.11.0

kit de ferramentas de aviso

3,0.20

protobuf

4,21,5

pistila

5.8.0

psycopg2

2.9.3

processo pty

0.7.0

flecha

7.0.0

pycparser

2,20

Pigmentos

2.10.0

Objeto PYG

3,36,0

pyodbc

4,0.31

análise de pipa

3.0.4

persistente

0,18.0

Python-apt

2.0.0+ubuntu0.20.4.7

Python-dateutil

2.8.2

pytz

2021,3

pizma

22.2.1

pedidos

2.26.0

solicitações - soquete unix

0.2.0

transferência s3

0.5.2

scikit-learn

0,24,2

pegajoso

1.7.1

marítimo

0.11.2

Enviar 2 lixeiras

1.8.0

ferramentas de configuração

58,0,4

seis

1,16.0

ID de importação ssh

5,10

modelos de estatísticas

0.12.2

tenacidade

8.0.1

terminado

0.9.4

caminho de teste

0.5.0

threadpool ctl

2.2.0

tokenizar-rt

4.2.1

tomli

2.0.1

tornado

6.1

almôndegas

5.1.0

extensões de digitação

3.10.0.2

atualizações autônomas

0,1

urllib3

1.26.7

ambiente virtual

20,8.0

largura do wc

0.2.5

codificações da web

0.5.1

Python wheel

0,37,0

extensão widgetsnb

3.6.0

Instalada a R biblioteca​

O R biblioteca é instalado a partir do Snapshot Microsoft CRAN em 2022-08-15.

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

askpass

1.1

afirme que

0.2.1

portas traseiras

1.4.1

base

4.1.3

base64enc

0,1-3

pouco

4.0.4

bit64

4.0.5

bolha

1.2.3

inicialização

1,3-28

fermentar

1,0-7

brio

1.1.3

vassoura

1.0.0

babião

0.4.0

cachem

1.0.6

chamador

3.7.1

cursor

6,0-93

guarda de celas

1.1.0

crono

2,3-57

Aula

7,3-20

CLIPE

3.3.0

clipe

0,8.0

agrupamento

2.1.3

ferramentas de código

0,2-18

espaço de cores

2,0-3

marca comum

1.8.0

compilador

4.1.3

configuração

0.3.1

cpp11

0.4.2

giz de cera

1.5.1

Credenciais

1.3.2

cacho

4.3.2

data.tabela

1.14.2

conjunto de dados

4.1.3

DBI

1.1.3

dbplyr

2.2.1

desc

1.4.1

ferramentas de desenvolvimento

2.4.4

diff

0.3.5

digerir

0,6.29

iluminado

0.4.2

dplyr

1.0.9

dtplyr

1.2.1

e1071

1,7-11

reticências

0.3.2

avalie

0,16

fansi

1.0.3

colorista

2.1.1

mapa rápido

1.1.0

fontawesome

0.3.0

para gatos

0.5.1

para cada um

1.5.2

estrangeira

0,8-82

forjar

0.2.0

fs

1.5.2

futuro

1.27.0

futuro.aplique

1.9.0

gargarejar

1.2.0

genéricas

0.1.3

obter

1.7.0

ggplot2

3.3.6

gh

1.3.0

gitcreds

0.1.1

glmnet

4,1-4

globais

0,16.0

cola

1.6.2

google drive

2.0.0

planilhas do Google 4

1.0.1

goleiro

1.0.0

gráficos

4.1.3

Dispositivos GR

4.1.3

grade

4.1.3

Grid Extra

2.3

gsubfn

0,7

mesa

0.3.0

capacete

1.2.0

refúgio

2.5.0

mais alto

0,9

HMS

1.1.1

ferramentas html

0.5.3

widgets html

1.5.4

http.uv

1.6.5

httr

1.4.3

IDs

1.0.1

mini

0.3.1

ipred

0,9-13

isóbanda

0.2.5

iteradores

1,0.14

jquerylib

0.1.4

jsonlite

1.8.0

Kern Smooth

2,23-20

tricotar

1,39

rótulo

0.4.2

posteriormente

1.3.0

treliça

0,20-45

lava

1.6.10

ciclo de vida

1.0.1

ouvindo

0,8.0

lubrificar

1.8.0

magritter

2.0.3

Markdown

1.1

MASSA

7,3-56

Matriz

1,4-1

memoise

2.0.1

métodos

4.1.3

mgcv

1,8-40

mímica

0,12

Mini UI

0.1.1.1

Métricas do modelo

1.2.2.2

modelar

0.1.8

munsell

0.5.0

nome

3,1-157

net

7,3-17

Número Deriv

2016,8-1,1

openssl

2.0.2

paralelo

4.1.3

paralelamente

1,32,1

pilar

1.8.0

pkgbuild

1.3.1

pkgconfig

2.0.3

pkgdown

2.0.6

carregamento de pacotes

1.3.0

plogr

0.2.0

plyr

1.8.7

elogio

1.0.0

unidades bonitas

1.1.1

ProC

1,18.0

processa

3.7.0

prodlim

13/11/2019

profvis

0.3.7

progresso

1.2.2

progressista

0.10.1

promessas

1.2.0.1

proto

1.0.0

proxy

0,4-27

ps

1.7.1

ronronar

0.3.4

r2d3

0.2.6

R6

2.5.1

trapo

1.2.2

Floresta aleatória

4,7-1,1

corredeiras

0.3.3

rcmdcheck

1.4.0

Cervejaria RColor

1,1-3

Rcpp

1.0.9

RCP Pegen

0.3.3.9.2

leitor

2.1.2

readxl

1.4.0

receitas

1.0.1

revanche

1.0.1

revanche 2

2.1.2

controles remotos

2.4.2

reprex

2.0.1

remodelar 2

1.4.4

rlang

1.0.4

rmarkdown

2,14

RODBC

1,3-19

roxigênio2

7.2.1

rpartem

4.1.16

rprojroot

2.0.3

Reservar

1,8-11

RSQLite

2.2.15

API do estúdio

0,13

reversões

2.1.1

colete

1.0.2

atrevimento

0.4.2

escala

1.2.0

seletor

0,4-2

informações da sessão

1.2.2

forma

1.4.6

brilhante

1.7.2

ferramentas de origem

0.1.7

Sparklyr

1.7.7

SparkR

3.3.0

espacial

7,3-11

splines

4.1.3

sqldf

0,4-11

QUADRADO

2021,1

estatísticas

4.1.3

estatísticas4

4.1.3

stringi

1.7.8

longarina

1.4.0

sobrevivência

3,2-13

diz

3.4

fontes do sistema

1.0.4

tcltk

4.1.3

teste isso

3.1.4

modelagem de texto

0.3.6

petiscar

3.1.8

arrumado

1.2.0

seleção arrumada

1.1.2

tidyverso

1.3.2

Hora/Data

4021,104

tinytex

0,40

Ferramentas

4.1.3

tzdb

0.3.0

verificador de URL

1.0.1

use isso

2.1.6

utf 8

1.2.2

utilidades

4.1.3

uuid

1,1-0

vctrs

0.4.1

Viridis Lite

0.4.0

vadouro

1.5.7

waldo

0.4.0

bigode

0,4

murchar

2.5.0

diversão

0,32

xml2

1.3.3

xopen

1.0.0

x estável

1,8-4

yaml

2.3.5

compactar

2.2.0

Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)​

ID do grupo

ID do artefato

Versão

chifre

chifre

2.7.7

com.amazonaws

Amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscale

1,12.189

com.amazonaws

formação de nuvem aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-cloudfront

1,12.189

com.amazonaws

aws-java-sdk-cloudhsm

1,12.189

com.amazonaws

aws-java-sdk-cloudsearch

1,12.189

com.amazonaws

aws-java-sdk-cloudtrail

1,12.189

com.amazonaws

aws-java-sdk-cloudwatch

1,12.189

com.amazonaws

métricas aws-java-sdk-cloudwatch

1,12.189

com.amazonaws

aws-java-sdk-codedeploy

1,12.189

com.amazonaws

identidade cognitiva aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-cognitosync

1,12.189

com.amazonaws

aws-java-sdk-config

1,12.189

com.amazonaws

aws-java-sdk-core

1,12.189

com.amazonaws

pipeline de dados aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-conexão direta

1,12.189

com.amazonaws

diretório aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-dynamodb

1,12.189

com.amazonaws

aws-java-sdk-ec2

1,12.189

com.amazonaws

aws-java-sdk-ecs

1,12.189

com.amazonaws

aws-java-sdk-efs

1,12.189

com.amazonaws

aws-java-sdk-elasticache

1,12.189

com.amazonaws

aws-java-sdk-elasticbeanstalk

1,12.189

com.amazonaws

balanceamento de carga elástico aws-java-sdk

1,12.189

com.amazonaws

transcodificador elástico aws-java-sdk-

1,12.189

com.amazonaws

aws-java-sdk-emr

1,12.189

com.amazonaws

aws-java-sdk-glacier

1,12.189

com.amazonaws

aws-java-sdk-glue

1,12.189

com.amazonaws

aws-java-sdk-iam

1,12.189

com.amazonaws

aws-java-sdk-importação/exportação

1,12.189

com.amazonaws

aws-java-sdk-kinesis

1,12.189

com.amazonaws

aws-java-sdk-kms

1,12.189

com.amazonaws

aws-java-sdk-lambda

1,12.189

com.amazonaws

aws-java-sdk-logs

1,12.189

com.amazonaws

aws-java-sdk - aprendizado de máquina

1,12.189

com.amazonaws

aws-java-sdk-opsworks

1,12.189

com.amazonaws

aws-java-sdk-rds

1,12.189

com.amazonaws

aws-java-sdk-redshift

1,12.189

com.amazonaws

aws-java-sdk-route53

1,12.189

com.amazonaws

aws-java-sdk-s3

1,12.189

com.amazonaws

aws-java-sdk-ses

1,12.189

com.amazonaws

aws-java-sdk-simpledb

1,12.189

com.amazonaws

aws-java-sdk - fluxo de trabalho simples

1,12.189

com.amazonaws

aws-java-sdk-sns

1,12.189

com.amazonaws

aws-java-sdk-sqs

1,12.189

com.amazonaws

aws-java-sdk-ssm

1,12.189

com.amazonaws

gateway de armazenamento aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-sts

1,12.189

com.amazonaws

suporte aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-swf-biblioteca

1.11.22

com.amazonaws

aws-java-sdk-workspace

1,12.189

com.amazonaws

jmespath-java

1,12.189

com.chuusai

sem forma_2.12

2.3.3

com.clearspring.analítica

transmissão

2.9.6

com.databricks

Reservar

1,8-3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

plugin_2.12 do compilador

0,4,15-10

com.databricks.scalapb

scalapb-runtime_2.12

0,4,15-10

com.esotérico software

crio-sombreado

4.0.2

com.esotérico software

minlog

1.3.0

com.fasterxml

colega de classe

1.3.4

com.fasterxml.jackson.core

jackson-anotação

2.13.3

com.fasterxml.jackson.core

jackson-core

2.13.3

com.fasterxml.jackson.core

vinculação de dados jackson

2.13.3

formato de dados com.fasterxml.jackson.

formato de dados jackson-cbor

2.13.3

com.fasterxml.jackson.tipo de dados

jackson-datatype-joda

2.13.3

com.fasterxml.jackson.tipo de dados

jackson-datatype-jsr310

2.13.3

com.fasterxml.jackson.module

parâmetro do módulo jackson

2.13.3

com.fasterxml.jackson.module

jackson-module-Scala.12

2.13.3

com.github.ben-manes.cafeína

cafeína

2.3.4

com.github.fommil

descarregador

1.1

com.github.fommil.netlib

abdômen

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-nativos

1.1

com.github.fommil.netlib

sistema_nativo-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.luben

zstd-jni

1,5.2-1

com.github.wendykierp

JTransforma

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.8.6

com.google.crypto.tink

eu acho

1.6.1

com.google.flatbuffers

tampões planos-java

1.12.0

com.google.goiaba

goiaba

15,0

com.google.protobuf

protobuf-java

2.6.1

banco de dados com.h2

h2

2,0.204

com.helger

perfilador

1.1.1

com.jcraft

jsch

0,1,50

com.jolbox

bonecp

VERSÃO 0.8.0.

com.lihaoyi

código-fonte_2.12

0.1.9

com.microsoft.azure

azure-data lake-store-sdk

2.3.9

comendo

comprimir-lzf

1.1

com.sun.mail

javax.mail

1.5.2

com.trunning

JSON

1,8

com.thoughtworks.paranamer

paranâmero

2.8

com.trueaccord.lenses

lentes_2.12

0.4.12

com.Twitter

chill-java

0.10.0

com.Twitter

chill_2.12

0.10.0

com.Twitter

util-app_2.12

7.1.0

com.Twitter

util-core_2.12

7.1.0

com.Twitter

função-útil_2.12

7.1.0

com.Twitter

util-jvm_2.12

7.1.0

com.Twitter

util-lint_2.12

7.1.0

com.Twitter

util-registry_2.12

7.1.0

com.Twitter

util-stats_2.12

7.1.0

com.typesafe

configuração

1.2.1

com.typesafe.Scala-logging

Scala-logging_2.12

3.7.2

com.uber

h3

3.7.0

com.univocidade

analisadores de univocidade

2.9.1

com.zaxxer

HikaricP

4.0.3

comum-CLI

comum-CLI

1.5.0

codec comum

codec comum

1,15

coleções comuns

coleções comuns

3.2.2

commons-dbcp

commons-dbcp

1.4

upload de arquivo commons

upload de arquivo commons

1.3.3

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.11.0

linguagem comum

linguagem comum

2.6

registro de bens comuns

registro de bens comuns

1.1.3

comum-pool

comum-pool

1.5.4

dev.ludovic.netlib

mochila

2.2.1

dev.ludovic.netlib

blás

2.2.1

dev.ludovic.netlib

lapack

2.2.1

hadoop 3

jets3t-0.7

liball_deps_2,12

info.ganglia.gmetric4j

gmetric4j

1.0.10

io. airlift

compressor de ar

0,21

io.delta

delta-compartilhamento-spark_2.12

0.5.0

io.dropwizard.métricas

núcleo de métricas

4.1.1

io.dropwizard.métricas

métricas-grafite

4.1.1

io.dropwizard.métricas

métricas-healthchecks

4.1.1

io.dropwizard.métricas

métricas-jetty9

4.1.1

io.dropwizard.métricas

métricas-jmx

4.1.1

io.dropwizard.métricas

métricas-JSON

4.1.1

io.dropwizard.métricas

métricas-JVM

4.1.1

io.dropwizard.métricas

métricas-servlets

4.1.1

io.netty

tudo

4.1.74. Final

io.netty

netty-buffer

4.1.74. Final

io.netty

codec netty

4.1.74. Final

io.netty

netty-common

4.1.74. Final

io.netty

manipulador de limpeza

4.1.74. Final

io.netty

resolvedor de rede

4.1.74. Final

io.netty

classes netty-tcnative

2.0.48. Final

io.netty

transporte de urtigas

4.1.74. Final

io.netty

netty-transport-classes-epoll

4.1.74. Final

io.netty

netty-transport-classes-kqueue

4.1.74. Final

io.netty

netty-transport-native-epoll-linux-aarch_64

4.1.74. Final

io.netty

netty-transport-native-epoll-linux-x86_64

4.1.74. Final

io.netty

netty-transport-native-kqueue-osx-aarch_64

4.1.74. Final

io.netty

netty-transport-native-kqueue-osx-x86_64

4.1.74. Final

io.netty

netty-transport-native-unix-common

4.1.74. Final

io. prometheus

cliente simples

0.7.0

io. prometheus

simpleclient_common

0.7.0

io. prometheus

simpleclient_dropwizard

0.7.0

io. prometheus

gateway client_push simples

0.7.0

io. prometheus

client_servlet simples

0.7.0

io.prometheus.jmx

coletor

0.12.0

jakarta.anotação

jakarta.anotação-api

1.3.5

jakarta.servlet

jakarta.servlet-api

4.0.3

jakarta.validação

jakarta.validação-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.ativação

ativação

1.1.1

javax.anotação

javax.anotação-api

1.3.2

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.transaction

jta

1.1

javax.transaction

API de transação

1.1

javax.xml.bind

jaxb-api

2.2.11

javolução

javolução

5.5.1

junte-se

junte-se

2.14.6

hora do dia

hora do dia

2.10.13

mvn

hadoop 3

liball_deps_2,12

net.java.dev.jna

jna

5.8.0

net.razorvine

salmoura

1.2

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

supercsv

2.2.0

net.snowflake

SDK de ingestão de flocos de neve

0.9.6

net.snowflake

floco de neve-JDBC

3.13,14

net.snowflake

floco de neve faísca_2.12

2.10.0-spark_3.2

net.sourceforge.f2j

arpack_combined_all

0,1

org.acplt.remotetea

chá remoto - oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4,8

org.antlr

modelo de string

3.2.1

org.apache.ant

formiga

1.9.2

org.apache.ant

formiga

1.9.2

org.apache.ant

lançador de formigas

1.9.2

org.apache.arrow

formato de seta

7.0.0

org.apache.arrow

núcleo de memória de seta

7.0.0

org.apache.arrow

rede de memória de seta

7.0.0

org.apache.arrow

vetor de seta

7.0.0

org.apache.avro

AVRO

1.11.0

org.apache.avro

avro-ipc

1.11.0

org.apache.avro

mapeado automaticamente

1.11.0

org.apache.commons

commons-collections4

4.4

org.apache.commons

compressa comum

1,21

org.apache.commons

criptomoeda comum

1.1.0

org.apache.commons

commons-lang3

3.12.0

org.apache.commons

commons-math3

3.6.1

org.apache.commons

texto comum

1,9

org.apache.curator

curador-cliente

2.13.0

org.apache.curator

estrutura de curador

2.13.0

org.apache.curator

receitas de curadores

2.13.0

org.apache.derby

derby

10.14.2.0

org.apache.hadoop

API de cliente hadoop

3.3.2 - blocos de dados

org.apache.hadoop

tempo de execução do cliente hadoop

3.3.2

org.apache.hive

hive-beeline

2.3.9

org.apache.hive

colmeia-CLI

2.3.9

org.apache.hive

hive-JDBC

2.3.9

org.apache.hive

hive-llap-client

2.3.9

org.apache.hive

hive-lap-common

2.3.9

org.apache.hive

colmeia

2.3.9

org.apache.hive

hive-shims

2.3.9

org.apache.hive

API de armazenamento em nuvem

2.7.2

org.apache.hive.shims

calços de colmeia - 0,23

2.3.9

org.apache.hive.shims

calços de colmeia comuns

2.3.9

org.apache.hive.shims

hive-shims-programador

2.3.9

org.apache.httpcomponents

cliente http

4.5.13

org.apache.httpcomponents

httpcore

4.4.14

org.apache.ivy

hera

2.5.0

org.apache.logging.log4j

log4j-1.2-api

2.17.2

org.apache.logging.log4j

log4j-api

2.17.2

org.apache.logging.log4j

log4j-core

2.17.2

org.apache.logging.log4j

log4j-slf4j-impl

2.17.2

org.apache.mesos

protobuf sombreado em mesos

1.4.0

org.apache.orc

núcleo orc

1.7.5

org.apache.orc

orc-mapreduce

1.7.5

org.apache.orc

calços de orc

1.7.5

org.apache.parquet

coluna de parquete

1.12.0-databricks-0004

org.apache.parquet

parquete comum

1.12.0-databricks-0004

org.apache.parquet

codificação de parquet

1.12.0-databricks-0004

org.apache.parquet

estruturas em formato de parquet

1.12.0-databricks-0004

org.apache.parquet

parquet-hadoop

1.12.0-databricks-0004

org.apache.parquet

parquet-jackson

1.12.0-databricks-0004

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.xbean

xbean-asm9-shaded

4,20

org.apache.yetus

audiência-anotação

0.5.0

org.apache.zookeeper

tratador

3.6.2

org.apache.zookeeper

tratador de zoológico - juta

3.6.2

org.checkerframework

xadrez igual

3.5.0

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.janino

compilador common

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

núcleo de dados-api-jdo

4.2.4

org.datanucleus

núcleo de dados

4.1.17

org.datanucleus

núcleo de dados-rdbms

4.1.19

org.datanucleus

javax.jdo

3,2,0-m3

org.Eclipse.jetty

jetty-client

9.4.46.v20220331

org.Eclipse.jetty

continuação do cais

9.4.46.v20220331

org.Eclipse.jetty

jetty-http

9.4.46.v20220331

org.Eclipse.jetty

jetty-io

9.4.46.v20220331

org.Eclipse.jetty

jetty-jndi

9.4.46.v20220331

org.Eclipse.jetty

jetty-plus

9.4.46.v20220331

org.Eclipse.jetty

jetty-proxy

9.4.46.v20220331

org.Eclipse.jetty

segurança do cais

9.4.46.v20220331

org.Eclipse.jetty

servidor jetty-server

9.4.46.v20220331

org.Eclipse.jetty

jutty-servlet

9.4.46.v20220331

org.Eclipse.jetty

píer de servlets

9.4.46.v20220331

org.Eclipse.jetty

jetty-util

9.4.46.v20220331

org.Eclipse.jetty

jetty-util-ajax

9.4.46.v20220331

org.Eclipse.jetty

aplicativo web jetty-

9.4.46.v20220331

org.Eclipse.jetty

jetty-xml

9.4.46.v20220331

org.Eclipse.jetty.websocket

API de websoquete

9.4.46.v20220331

org.Eclipse.jetty.websocket

cliente websocket

9.4.46.v20220331

org.Eclipse.jetty.websocket

websocket-comum

9.4.46.v20220331

org.Eclipse.jetty.websocket

servidor websocket

9.4.46.v20220331

org.Eclipse.jetty.websocket

servlet websocket

9.4.46.v20220331

org.fusesource.leveldbjni

leveldbjni-tudo

1,8

org.glassfish.hk2

API hk2

2.6.1

org.glassfish.hk2

localizador hk2

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-recurso-locator

1.0.3

org.glassfish.hk2.external

aopalliance - reembalado

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

servlet de contêiner de camisa

2,34

org.glassfish.jersey.containers

jersey-container-servlet-core

2,34

org.glassfish.jersey.core

cliente de camisa

2,34

org.glassfish.jersey.core

camiseta comum

2,34

org.glassfish.jersey.core

servidor de camisa

2,34

org.glassfish.jersey.inject

camiseta-hk2

2,34

org.hibernate.validator

validador de hibernação

6.1.0. Final

org.javassist

javassist

3,25,0 GA

org.jboss.logging

registro de jboss-logging

3.3.2. Final

org.jdbi

jdbi

2.63,1

org.jetbrains

anotação

17.0.0

org.joda

conversor de joda

1.7

org.jodd

núcleo nodular

3.5.2

org.json4s

json4s-ast_2.12

3,7,0-M11

org.json4s

json4s-core_2.12

3,7,0-M11

org.json4s

json4s-jackson_2.12

3,7,0-M11

org.json4s

json4s-scalap_2.12

3,7,0-M11

org.lz4

lz4-java

1.8.0

org.mariadb.JDBC

cliente mariadb-java

2.7.4

org.mlflow

faísca de fluxo

1.27.0

org.objenesis

objênese

2.5.1

org.postgresql

PostgreSQL

42,3.3

org.roaringbitmap

Mapa de bits estrondoso

0,9,25

org.roaringbitmap

calços

0,9,25

org.rocksdb

rocksdbjni

6.24.2

org.rosuda.rEngine

Motor

2.1.0

org.Scala-lang

Scala-compiler_2.12

2.12.14

org.Scala-lang

Scala-biblioteca.12

2.12.14

org.Scala-lang

Scala-reflect_2.12

2.12.14

org.Scala-lang.modules

Scala-collection-compat_2.12

2.4.3

org.Scala-lang.modules

Scala-parser-combinators_2.12

1.1.2

org.Scala-lang.modules

Scala-xml_2.12

1.2.0

org.Scala-sbt

interface de teste

1,0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

breeze-macros_2.12

1.2

org.scalanlp

breeze_2.12

1.2

org.scalatest

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1,7,36

org.slf4j

jul-a-slf4j

1,7,36

org.slf4j

slf4j-api

1,7,36

org.spark-project.spark

não utilizado

1.0.0

org.threeten

treze e mais

1.5.0

org.tukaani

xz

1,8

org.typelevel

álgebra_2.12

2.0.1

org.typelevel

cats-kernel_2.12

2.1.1

org.typelevel

macro-compat_2,12

1.1.1

org.typelevel

spire-macros_2.12

0,17.0

org.typelevel

spire-platform_2.12

0,17.0

org.typelevel

spire-util_2.12

0,17.0

org.typelevel

spire_2.12

0,17.0

org.wildfly.openssl

wildfly-openssl

1.0.7. Final

org.xerial

sqlite-JDBC

3.8.11.2

org.xerial.snappy

snappy-java

1.1.8.4

org.yaml

snakeyaml

1,24

oro

oro

2.0.8

pt.edu.icm

Matrizes JLarge

1.5

software.Amazon.ion

ion-java

1.0.2

stax

stax-api

1.0.1

Última atualização em
Esse artigo foi útil?