Databricks Runtime 11,1 (EoS)
O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.
As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 11.1, alimentado por Apache Spark 3.3.0. A Databricks lançou essa versão em julho de 2022.
Novos recursos e melhorias
- Photon é GA
- Photon: Tipos de instância suportados
- O feed de dados de alteração agora pode lidar automaticamente com carimbos de data/hora fora do intervalo
- As funções Describe e Show SQL agora mostram os nomes do Unity Catalog em sua saída (visualização pública)
- Inferência de esquema e evolução para arquivos Parquet no Auto Loader (visualização pública)
- O Auto Loader agora suporta a evolução do esquema para o Avro (GA)
- Suporte do Delta Lake para sobrescritos de partição dinâmica
- suporte de esquema de informação para objetos criados no Unity Catalog
- Restrições informativas em tabelas do Delta Lake com o Unity Catalog (visualização pública)
- O Unity Catalog é GA
- Delta Sharing é GA
Photon é GA
O Photon já está disponível para todos, começando com o Databricks Runtime 11.1. O Photon é o mecanismo de consulta vetorizada nativo da Databricks, escrito para ser diretamente compatível com as APIs do Apache Spark, de modo que funcione com seu código existente. Photon é desenvolvido em C++ para aproveitar o hardware moderno e usa as mais recentes técnicas de processamento de consultas vetorizadas para capitalizar o paralelismo em nível de dados e instruções nas CPUs, melhorando o desempenho em dados e aplicativos do mundo real - tudo nativamente em seu site data lake.
O Photon faz parte de um tempo de execução de alto desempenho que executa suas chamadas de API SQL e DataFrame existentes com mais rapidez e reduz o custo total por carga de trabalho. Photon é usado pelo site default em Databricks SQL warehouses.
Os novos recursos e aprimoramentos incluem:
- Novo operador de classificação vetorizada
- Novas funções de janela vetorizada
- Novos tipos e tamanhos de instâncias em todas as nuvens
Limitações:
- As UDFs Scala/Python não são compatíveis com o Photon
- O RDD não é compatível com o Photon
- transmissão estructurada não é suportada pelo Photon
Para obter mais informações, consulte os seguintes anúncios em Photon.
Photon: Novo operador de classificação vetorizada
O Photon agora oferece suporte a uma classificação vetorizada para quando uma consulta contém SORT_BY
, CLUSTER_BY
ou uma função de janela com um ORDER BY
.
Limitações: O Photon não oferece suporte a uma cláusula global ORDER BY
. As classificações para avaliação de janelas serão fotonizadas, mas a classificação global continuará a ser executada em Spark.
Photon: Novas funções de janela vetorizadas
O Photon agora oferece suporte à avaliação de função de janela vetorizada para muitos tipos de quadros e funções. As novas funções de janela incluem: row_number
, rank
, dense_rank
, lag
, lead
, percent_rank
, ntile
e nth_value
. Tipos de moldura de janela suportados: em execução (UNBOUNDED PRECEDING AND CURRENT ROW
), ilimitada (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING
), crescente (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING
) e encolhendo (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING
).
Limitações:
- O Photon é compatível apenas com as versões
ROWS
de todos os tipos de quadros. - O Photon ainda não é compatível com o tipo de quadro deslizante (
<OFFSET> PRECEDING AND <OFFSET> FOLLOWING
).
Photon: Tipos de instância suportados
| i3 | i3en | i4i | im4gn | is4gen | | m5ad | m5d | m5dn | m6gd | | | r5d | r5dn | r6gd | x2gd | |
O feed de dados de alteração agora pode lidar automaticamente com carimbos de data/hora fora do intervalo
O Change Data Feed (CDF) agora tem um novo modo para que o senhor forneça carimbos de data/hora ou versões posteriores à versão do último commit sem gerar erros. Esse modo é desativado pelo site default. Você pode habilitá-lo definindo a configuração spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled
para true
.
As funções Describe e Show SQL agora mostram os nomes do Unity Catalog em sua saída (visualização pública)
Os comandos DESC TABLE
, DESC DATABASE
, DESC SCHEMA
, DESC NAMESPACE
, DESC FUNCTION
, EXPLAIN
e SHOW CREATE TABLE
agora sempre mostram o nome do catálogo em sua saída.
Inferência de esquema e evolução para arquivos Parquet no Auto Loader (visualização pública)
O Auto Loader agora suporta inferência de esquema e evolução para arquivos Parquet. Assim como nos formatos JSON, CSV e Avro, agora o senhor pode usar a coluna de dados resgatados para resgatar dados inesperados que possam aparecer nos arquivos Parquet. Isso inclui dados que não podem ser analisados no tipo de dados esperado, colunas com maiúsculas e minúsculas diferentes ou colunas adicionais que não fazem parte do esquema esperado. O senhor pode configurar o Auto Loader para desenvolver o esquema automaticamente ao encontrar novas colunas nos dados recebidos. Consulte Configurar a inferência e a evolução do esquema no Auto Loader.
O Auto Loader agora suporta a evolução do esquema para o Avro (GA)
Consulte Configurar a inferência e a evolução do esquema no Auto Loader.
Suporte do Delta Lake para sobrescritos de partição dinâmica
Delta Lake agora habilita o modo de substituição de partição dinâmica para substituir todos os dados existentes em cada partição lógica para a qual a gravação será commit novos dados. Consulte Substituição seletiva de dados com o Delta Lake.
suporte ao esquema de informações para objetos criados no Unity Catalog
O esquema de informações fornece um SQL baseado em autodescrição API para os metadados de vários objetos de banco de dados, incluindo tabelas e visualizações, restrições e rotinas.
Dentro do esquema de informações, o senhor encontra um conjunto de visualizações que descrevem os objetos conhecidos pelo catálogo do esquema que o senhor tem o privilégio de ver.
O esquema de informações do catálogo SYSTEM
retorna informações sobre objetos em todos os catálogos do metastore.
Veja o esquema de informações.
Restrições informativas em tabelas do Delta Lake com o Unity Catalog (visualização pública)
Agora, o senhor pode definir restrições informativas primárias key e estrangeiras key nas tabelas Delta Lake com Unity Catalog. Restrições informacionais não são impostas. Consulte a cláusula CONSTRAINT.
O Unity Catalog é GA
O Unity Catalog agora está disponível de forma geral a partir do Databricks Runtime 11.1. Consulte O que é o Unity Catalog?
Delta Sharing é GA
O Delta Sharing agora está disponível de forma geral a partir do Databricks Runtime 11.1.
Databricks Para Databricks Delta o compartilhamento é totalmente gerenciado sem a necessidade de troca de tokens. O senhor pode criar e gerenciar provedores, destinatários e compartilhamentos na interface do usuário ou com APIs SQL e REST.
Alguns recursos incluem a restrição do acesso de destinatários, a consulta de dados com listas de acesso de IP e restrições de região e a delegação do gerenciamento do Delta Sharing a não administradores. Você também pode consultar alterações nos dados ou compartilhar versões incrementais com o Change Data Feeds. Consulte O que é Delta Sharing?
Mudanças de comportamento
Redação de propriedades confidenciais para DESCRIBE TABLE e SHOW TABLE PROPERTIES
As propriedades confidenciais são editadas em DataFrames e a saída do comando
DESCRIBE TABLE
e SHOW TABLE PROPERTIES
.
Job clustering para o modo de acesso de usuário único com 11.1 e superior default Databricks Runtime
Para ser compatível com Unity Catalog, o agrupamento de trabalhos usando Databricks Runtime 11.1 e superior, criado por meio da interface do usuário do trabalho ou do trabalho API, irá default para o modo de acesso de usuário único. O modo de acesso de usuário único é compatível com a maioria das linguagens de programação, recurso de clustering e recurso de governança de dados. O senhor ainda pode configurar o modo de acesso padrão (antigo modo de acesso compartilhado) por meio da interface do usuário ou do site API, mas os idiomas ou recursos podem ser limitados.
Atualizações da biblioteca
-
Atualizado Python biblioteca:
- filelock de 3.6.0 a 3.7.1
- plotly de 5.6.0 a 5.8.2
- protobuf de 3.20.1 a 4.21.2
-
Biblioteca R atualizada:
- crono de 2,3-56 a 2,3-57
- DBI a partir de 1.1.2 para 1.1.3
- dbplyr de 2.1.1 a 2.2.0
- e1071 de 1,7-9 a 1,7-11
- futuro de 1.25.0 a 1.26.1
- globais de 0.14.0 a 0.15.1
- hardhat de 0.2.0 a 1.1.0
- ipred de 0,9-12 a 0,9-13
- openssl de 2.0.0 a 2.0.2
- paralelamente de 1.31.1 a 1.32.0
- processos de 3.5.3 a 3.6.1
- progressor de 0.10.0 para 0.10.1
- proxy de 0,4-26 a 0,4-27
- ps de 1.7.0 a 1.7.1
- RandomForest de 4,7-1 a 4,7-1,1
- roxygen2 de 7.1.2 para 7.2.0
- Reserve de 1,8-10 a 1,8-11
- RSQLite de 2.2.13 a 2.2.14
- Sparklyr da versão 1.7.5 para a 1.7.7
- tinytex de 0,38 a 0,40
- use isso de 2.1.5 a 2.1.6
- xfun de 0,30 a 0,31
-
Atualizado Java biblioteca:
- io.delta.delta-compartilhamento-spark_2.12 de 0.4.0 para 0.5.0
Apache Spark
O Databricks Runtime 11.2 inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 11.1 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:
- [SPARK-40054] [SQL] Restaurar a sintaxe de tratamento de erros de try_cast()
- [SPARK-39489] [CORE] Melhore o desempenho do JsonProtocol de registro de eventos usando Jackson em vez de Json4s
- [SPARK-39319] [CORE] [sql] Crie contextos de consulta como parte do
SparkThrowable
- [SPARK-40085] [SQL] Use a classe de erro INTERNAL_ERROR em vez de IllegalStateException para indicar erros
- [SPARK-40001] [SQL] Fazer com que as gravações NULL em JSON colunas padrão gravem "null" no armazenamento
- [SPARK-39635] [SQL] Suporte a métricas de driver em métricas personalizadas DS v2 API
- [SPARK-39184] [SQL] Manipular matriz de resultados subdimensionada em sequências de data e carimbo de data/hora
- [SPARK-40019] [SQL] Refatorar o comentário do containsNull do ArrayType e refatorar a lógica equivocada na expressão do collectionOperator sobre
containsNull
- [SPARK-39989] [SQL] Suporte à estimativa de estatísticas de coluna se ela for uma expressão dobrável
- [SPARK-39926] [SQL] Corrigir bug no suporte padrão de coluna para varreduras não vetorizadas em Parquet
- [SPARK-40052] [SQL] Manipular buffers de bytes diretos no VectorizedDeltaBinaryPackedReader
- [SPARK-40044] [SQL] Corrigir o tipo de intervalo de destino em erros de estouro de elenco
- [SPARK-39835] [SQL] Corrigir EliminateSorts para remover a classificação global abaixo da classificação local
- [SPARK-40002] [SQL] Não empurre o limite inferior pela janela usando ntile
- [SPARK-39976] [SQL] ArrayIntersect deve tratar corretamente o nulo na expressão à esquerda
- [SPARK-39985] [SQL] Habilitar valores de coluna padrão implícitos em inserções de DataFrames
- [SPARK-39776] [SQL] as strings verbosas de junção devem adicionar o tipo de junção
- [SPARK-38901] [SQL] O DS V2 oferece suporte a outras funções push down
- [SPARK-40028] [SQL][followup] Aprimorar exemplos de funções de strings
- [SPARK-39983] [CORE] [sql] Não armazene relações de transmissão não serializadas no driver
- [SPARK-39812] [SQL] Simplifique o código que constrói
AggregateExpression
comtoAggregateExpression
- [SPARK-40028] [SQL] Adicionar exemplos binários para expressões de strings
- [SPARK-39981] [SQL] Lança a exceção QueryExecutionErrors.castingCauseOverflowErrorInTableInsert em Cast
- [SPARK-40007] [Python][sql] Adicionar 'mode' às funções
- [SPARK-40008] [SQL] Suporte à conversão de integrais para intervalos ANSI
- [SPARK-40003] [Python][sql] Adicionar 'median' às funções
- [SPARK-39952] [SQL] SaveIntoDataSourceCommand deve armazenar novamente a relação de resultados
- [SPARK-39951] [SQL] Atualização da verificação colunar do Parquet V2 para campos aninhados
- [SPARK-39775] [CORE][avro] Desabilitar a validação dos valores de default ao analisar os esquemas de Avro
- [SPARK-33236] [shuffle] Backport para DBR 11.x: Habilitar o serviço de shuffle baseado em push para armazenar o estado no banco de dados de nível NM para reinicialização com preservação do trabalho
- [SPARK-39836] [SQL] Simplifique o V2ExpressionBuilder extraindo um método comum.
- [SPARK-39867] [SQL] O limite global não deve herdar o OrderPreservingUnaryNode
- [SPARK-39873] [SQL] Remova
OptimizeLimitZero
e merge emEliminateLimits
- [SPARK-39961] [SQL] DS V2 push-down translate Cast se o cast for seguro
- [SPARK-39872] [SQL] Alteração para usar
BytePackerForLong#unpack8Values
com a API de entrada Array emVectorizedDeltaBinaryPackedReader
- [SPARK-39858] [SQL] Remover
AliasHelper
ouPredicateHelper
desnecessários para algumas regras - [SPARK-39962] [WARMFIX][es-393486][Python][sql] Aplicar projeção quando os atributos do grupo estiverem vazios
- [SPARK-39900] [SQL] Abordar condição parcial ou negada no pushdown de predicado do formato binário
- [SPARK-39904] [SQL] Renomear inferDate para prefersDate e esclarecer a semântica da opção em CSV fonte de dados
- [SPARK-39958] [SQL] Adicionar aviso log quando não for possível carregar o objeto métricas personalizado
- [SPARK-39936] [SQL] Armazenar o esquema nas propriedades da visualização Spark
- [SPARK-39932] [SQL] O WindowExec deve limpar o buffer da partição final
- [SPARK-37194] [SQL] Evite a classificação desnecessária na gravação v1 se não for uma partição dinâmica
- [SPARK-39902] [SQL] Adicionar detalhes da varredura ao nó de varredura do plano do Spark no SparkUI
- [SPARK-39865] [SQL] Mostrar mensagens de erro adequadas sobre os erros de estouro de inserção de tabela
- [SPARK-39940] [SS] atualizar tabela de catálogo em consulta de transmissão com DSv1 sink
- [SPARK-39827] [SQL] Use a classe de erro
ARITHMETIC_OVERFLOW
no estouro de int emadd_months()
- [SPARK-39914] [SQL] Adicionar filtro DS V2 à conversão de filtro V1
- [SPARK-39857] [SQL] Manual DBR 11.x backport; V2ExpressionBuilder usa o tipo de dados LiteralValue errado para o predicado In #43454
- [SPARK-39840] [SQL][Python] Fatorar PythonArrowInput como uma simetria para PythonArrowOutput
- [SPARK-39651] [SQL] Eliminar a condição de filtro se a comparação com rand for determinística
- [SPARK-39877] [Python] Adicionar unpivot a PySpark DataFrame API
- [SPARK-39847] [WARMFIX] [ss] Corrige a condição de corrida em rockSDBLoader.loadLibrary () se o thread do chamador for interrompido
- [SPARK-39909] [SQL] Organizar a verificação de informações push down para o JDBCV2Suite
- [SPARK-39834] [SQL][ss] Incluir as estatísticas e restrições de origem para o LogicalRDD se ele for proveniente do DataFrame
- [SPARK-39849] [SQL] dataset.as(StructType) preenche novas colunas ausentes com valor nulo
- [SPARK-39860] [SQL] Mais expressões devem estender o Predicate
- [SPARK-39823] [SQL][Python] Renomear dataset.as como dataset.to e adicionar DataFrame.to em PySpark
- [SPARK-39918] [SQL][minor] Substitua a expressão "não comparável" por "incomparável" na mensagem de erro
- [SPARK-39857] [SQL][3.3] O V2ExpressionBuilder usa o tipo de dados LiteralValue errado para o predicado In
- [SPARK-39862] [SQL] Backport manual para PR 43654 visando o DBR 11.x: Atualizar SQLConf.default para permitir/negar ALTER TABLE... ADICIONAR comando COLUMN separadamente.
- [SPARK-39844] [SQL] Backport manual para PR 43652 visando o DBR 11.x
- [SPARK-39899] [SQL] Corrigir a passagem de parâmetros de mensagem para
InvalidUDFClassException
- [SPARK-39890] [SQL] Make TakeOrderedAndProjectExec inherit AliasAwareOutputOrdering
- [SPARK-39809] [Python] Suporte a CharType em PySpark
- [SPARK-38864] [SQL] Adicionar unpivot / melt ao conjunto de dados
- [SPARK-39864] [SQL] Registro preguiçoso do ExecutionListenerBus
- [SPARK-39808] [SQL] Suporte à função agregada MODE
- [SPARK-39839] [SQL] Trata o caso especial do Decimal de comprimento variável nulo com offsetAndSize diferente de zero na verificação de integridade estrutural do UnsafeRow
- [SPARK-39875] [SQL] Altere o método
protected
na classe final paraprivate
oupackage-visible
- [SPARK-39731] [SQL] Corrigir o problema em CSV e JSON fonte de dados ao analisar datas no formato "yyyyMMdd" com a política de análise de tempo CORRIGIDA
- [SPARK-39805] [SS] Descontinuar Trigger.Once e promover Trigger.AvailableNow
- [SPARK-39784] [SQL] Colocar valores literais no lado direito do filtro da fonte de dados depois de traduzir a expressão Catalyst para o filtro da fonte de dados
- [SPARK-39672] [SQL][3.1] Corrija a remoção do projeto antes do filtro com subconsulta correlacionada
- [SPARK-39552] [SQL] Unificar v1 e v2
DESCRIBE TABLE
- [SPARK-39806] [SQL] Acessar
_metadata
em uma tabela particionada pode travar uma consulta - [SPARK-39810] [SQL] Catalog.tableExists deve tratar o namespace aninhado
- [SPARK-37287] [SQL] Retire a partição dinâmica e a classificação por balde do FileFormatWriter
- [SPARK-39469] [SQL] Inferir tipo de data para inferência de esquema CSV
- [SPARK-39148] [SQL] O push down do agregado DS V2 pode funcionar com OFFSET ou LIMIT
- [SPARK-39818] [SQL] Corrigir bug nos tipos ARRAY, STRUCT, MAP com valores padrão com campo(s) NULL
- [SPARK-39792] [SQL] Adicionar DecimalDivideWithOverflowCheck para média decimal
- [SPARK-39798] [SQL] Replcace
toSeq.toArray
com.toArray[Any]
no construtor doGenericArrayData
- [SPARK-39759] [SQL] Implementar listIndexes em JDBC (dialeto H2)
- [SPARK-39385] [SQL] Suporta push down
REGR_AVGX
eREGR_AVGY
- [SPARK-39787] [SQL] Usar classe de erro no erro de análise da função to_timestamp
- [SPARK-39760] [Python] Suporte a Varchar em PySpark
- [SPARK-39557] [SQL] Backport manual para DBR 11.x: Suporte aos tipos ARRAY, STRUCT e MAP como valores padrão
- [SPARK-39758] [SQL][3.3] Corrija o NPE das funções regexp em padrões inválidos
- [SPARK-39749] [SQL] Modo ANSI SQL: Usar a representação de strings simples ao converter decimais em strings
- [SPARK-39704] [SQL] Implementar createIndex & dropIndex & indexExists em JDBC (dialeto H2)
- [SPARK-39803] [SQL] Use
LevenshteinDistance
em vez deStringUtils.getLevenshteinDistance
- [SPARK-39339] [SQL] Suporte ao tipo TimestampNTZ em JDBC fonte de dados
- [SPARK-39781] [SS] Adicionar suporte para fornecer max_open_files ao provedor rocksdb armazenamento do estado
- [SPARK-39719] [R] Implementar databaseExists/getDatabase no namespace 3L de suporte do SparkR
- [SPARK-39751] [SQL] Renomear o agregado de hash key probes métricas
- [SPARK-39772] [SQL] namespace deve ser nulo quando o banco de dados for nulo nos construtores antigos
- [SPARK-39625] [SPARK-38904][sql] Adicionar dataset.as(StructType)
- [SPARK-39384] [SQL] Compilar funções agregadas de regressão linear integrada para o dialeto JDBC
- [SPARK-39720] [R] Implementar tableExists/getTable no SparkR para o namespace 3L
- [SPARK-39744] [SQL] Adicionar a função
REGEXP_INSTR
- [SPARK-39716] [R] Make currentDatabase/setCurrentDatabase/listCatalogs in SparkR support 3L namespace
- [SPARK-39788] [SQL] Renomear
catalogName
paradialectName
paraJdbcUtils
- [SPARK-39647] [CORE] Registre o executor com o ESS antes de registrar o BlockManager
- [SPARK-39754] [CORE] [sql] Remova
import
não utilizado ou desnecessário{}
- [SPARK-39706] [SQL] Definir coluna ausente com defaultValue como constante em
ParquetColumnVector
- [SPARK-39699] [SQL] Tornar o CollapseProject mais inteligente em relação às expressões de criação de coleções
- [SPARK-39737] [SQL]
PERCENTILE_CONT
ePERCENTILE_DISC
devem oferecer suporte ao filtro agregado - [SPARK-39579] [SQL][Python][R] Tornar ListFunctions/getFunction/functionExists compatível com o namespace de 3 camadas
- [SPARK-39627] [SQL] O pushdown do JDBC V2 deve unificar a API de compilação
- [SPARK-39748] [SQL][ss] Incluir o plano lógico de origem para LogicalRDD se ele for proveniente de DataFrame
- [SPARK-39385] [SQL] Traduzir funções agregadas de regressão linear para pushdown
- [SPARK-39695] [SQL] Adicionar a função
REGEXP_SUBSTR
- [SPARK-39667] [SQL] Adicione outra solução alternativa quando não houver memória suficiente para criar e transmitir a tabela
- [SPARK-39666] [ES-337834] [sql] Use unsafeProjection.create para respeitar
spark.sql.codegen.factoryMode
no ExpressionEncoder - [SPARK-39643] [SQL] Proibir expressões de subconsulta em valores padrão
- [SPARK-38647] [SQL] Adicionar o mix SupportsReportOrdering na interface para Varredura (DataSourceV2)
- [SPARK-39497] [SQL] Melhorar a análise da exceção do mapa ausente da coluna key
- [SPARK-39661] [SQL] Evite criar um registrador SLF4J desnecessário
- [SPARK-39713] [SQL] Modo ANSI: adicionar sugestão de uso de try_element_at para o erro INVALID_ARRAY_INDEX
- [SPARK-38899] [SQL]DS V2 suporta funções push down datetime
- [SPARK-39638] [SQL] Alteração para usar
ConstantColumnVector
para armazenar colunas de partição emOrcColumnarBatchReader
- [SPARK-39653] [SQL] Limpar
ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)
doColumnVectorUtils
- [SPARK-39231] [SQL] Use
ConstantColumnVector
em vez deOn/OffHeapColumnVector
para armazenar colunas de partição emVectorizedParquetRecordReader
- [SPARK-39547] [SQL] O V2SessionCatalog não deve lançar NoSuchDatabaseException em loadNamspaceMetadata
- [SPARK-39447] [SQL] Evite AssertionError em AdaptiveSparkPlanExec.doExecuteBroadcast
- [SPARK-39492] [SQL] Retrabalhar MISSING_COLUMN
- [SPARK-39679] [SQL] O TakeOrderedAndProjectExec deve respeitar a ordem de saída dos filhos
- [SPARK-39606] [SQL] Usar estatísticas filho para estimar o operador de ordem
- [SPARK-39611] [Python][ps] Corrigir aliases errados em array_ufunc
- [SPARK-39656] [SQL][3.3] Corrija o namespace errado em DescribeNamespaceExec
- [SPARK-39675] [SQL] Trocar 'spark.sql.codegen.factoryMode' configuração desde a finalidade do teste até a finalidade interna
- [SPARK-39139] [SQL] DS V2 suporta UDF DS V2 push down
- [SPARK-39434] [SQL] Fornecer contexto de consulta de erro em tempo de execução quando o índice da matriz estiver fora dos limites
- [SPARK-39479] [SQL] DS V2 suporta funções matemáticas push down (não ANSI)
- [SPARK-39618] [SQL] Adicionar a função
REGEXP_COUNT
- [SPARK-39553] [CORE] Multi-thread unregister shuffle não deve gerar NPE ao usar o Scala 2.13
- [SPARK-38755] [Python][3.3] Adicionar arquivo para resolver a falta de funções gerais do site Pandas
- [SPARK-39444] [SQL] Adicionar OptimizeSubqueries à lista nonExcludableRules
- [SPARK-39316] [SQL] mesclar PromotePrecision e CheckOverflow em aritmética binária decimal
- [SPARK-39505] [UI] Escape log conteúdo renderizado na UI
- [SPARK-39448] [SQL] Adicionar
ReplaceCTERefWithRepartition
à listanonExcludableRules
- [SPARK-37961] [SQL] Substituir maxRows/maxRowsPerPartition para alguns operadores lógicos
- [SPARK-35223] Reverter Adicionar link de navegação do problema
- [SPARK-39633] [SQL] Suporte a carimbo de data/hora em segundos para TimeTravel usando opções de Dataframe
- [SPARK-38796] [SQL] Atualizar a documentação para strings de formato de número com as funções {try_}to_number
- [SPARK-39650] [SS] Corrigir esquema de valor incorreto na deduplicação de transmissão com compatibilidade com versões anteriores
- [SPARK-39636] [CORE][ui] Corrigir vários bugs no JsonProtocol, afetando os StorageLevels fora do heap e os ResourceRequests da tarefa/executor
- [SPARK-39432] [SQL] Retorna ELEMENT_AT_BY_INDEX_ZERO from element_at(*, 0)
- [SPARK-39349] Adicionar um método checkError centralizado para controle de qualidade do caminho de erro
- [SPARK-39453] [SQL] O DS V2 oferece suporte a funções não agregadas push down misc (não ANSI)
- [SPARK-38978] [SQL] O DS V2 oferece suporte ao operador OFFSET push down
- [SPARK-39567] [SQL] Suporte a intervalos ANSI nas funções de percentil
- [SPARK-39383] [SQL] Suporte a colunas padrão em ALTER TABLE ALTER COLUMNS to V2 fonte de dados
- [SPARK-39396] [SQL] Corrigir exceção de login LDAP 'código de erro 49 - credenciais inválidas'
- [SPARK-39548] [SQL] O comando CreateView com uma consulta de cláusula de janela atingiu um problema de definição de janela incorreta não encontrada
- [SPARK-39575] [AVRO] adicionar ByteBuffer#rewind após ByteBuffer#get em Avr...
- [SPARK-39543] A opção de DataFrameWriterV2 deve ser passada para as propriedades de armazenamento se o fallback for para v1
- [SPARK-39564] [SS] Expor as informações da tabela de catálogo ao plano lógico na consulta de transmissão
- [SPARK-39582] [SQL] Corrigir o marcador "Since" para
array_agg
- [SPARK-39388] [SQL] Reutilizar
orcSchema
ao fazer push down de predicados Orc - [SPARK-39511] [SQL] Aumentar o limite local 1 para o lado direito do semi/anti join esquerdo se a condição join estiver vazia
- [SPARK-38614] [SQL] Não empurre o limite inferior por meio de uma janela que esteja usando percent_rank
- [SPARK-39551] [SQL] Adicionar verificação de plano inválido do AQE
- [SPARK-39383] [SQL] Suporte a colunas padrão em ALTER TABLE ADD COLUMNS to V2 fonte de dados
- [SPARK-39538] [SQL] Evite criar um registrador SLF4J desnecessário
- [SPARK-39383] [SQL] Backport manual para o DBR 11.x: Refatoração do suporte à coluna padrão para evitar a passagem do Analyzer primário
- [SPARK-39397] [SQL] Relaxe o AliasAwareOutputExpression para suportar alias com expressão
- [SPARK-39496] [SQL] Manipular estrutura nula em
Inline.eval
- [SPARK-39545] [SQL] Substituir o método
concat
paraExpressionSet
no Scala 2.13 para melhorar o desempenho - [SPARK-39340] [SQL] O DS v2 agg pushdown deve permitir pontos no nome das colunas de nível superior
- [SPARK-39488] [SQL] Simplifique o tratamento de erros de TempResolvedColumn
- [SPARK-38846] [SQL] Adicionar mapeamento de dados explícito entre Teradata Numeric Type e Spark DecimalType
- [SPARK-39520] [SQL] Substituir o método
--
paraExpressionSet
no Scala 2.13 - [SPARK-39470] [SQL] Suporte à conversão de intervalos ANSI em decimais
- [SPARK-39477] [SQL] Remova a informação "Number of queries" dos arquivos golden do SQLQueryTestSuite
- [SPARK-39419] [SQL] Corrigir o ArraySort para lançar uma exceção quando o comparador retornar nulo
- [SPARK-39061] [SQL] Definir corretamente o nullable para os atributos de saída do
Inline
- [SPARK-39320] [SQL] Suporte à função de agregação
MEDIAN
- [SPARK-39261] [CORE] Melhore a formatação de novas linhas para mensagens de erro
- [SPARK-39355] [SQL] Uma única coluna usa aspas para construir o UnresolvedAttribute
- [SPARK-39351] [SQL] SHOW CREATE TABLE deve redigir as propriedades
- [SPARK-37623] [SQL] Suporte à função agregada ANSI: regr_intercept
- [SPARK-39374] [SQL] Melhorar a mensagem de erro para a lista de colunas especificada pelo usuário
- [SPARK-39255] [SQL][3.3] Melhore as mensagens de erro
- [SPARK-39321] [SQL] Refatorar o TryCast para usar o RuntimeReplaceable
- [SPARK-39406] [Python] Aceitar NumPy array em createDataFrame
- [SPARK-39267] [SQL] Limpar o símbolo desnecessário dsl
- [SPARK-39171] [SQL] Unificar a expressão Cast
- [SPARK-28330] [SQL] Suporte a ANSI SQL: cláusula de deslocamento de resultado na expressão de consulta
- [SPARK-39203] [SQL] Reescrever o local da tabela para URI absoluto com base no URI do banco de dados
- [SPARK-39313] [SQL]
toCatalystOrdering
deve falhar se a V2Expression não puder ser traduzida - [SPARK-39301] [SQL][Python] Aproveitar o LocalRelation e respeitar o tamanho dos lotes Arrow no createDataFrame com otimização Arrow
- [SPARK-39400] [SQL] spark-sql deve remover o diretório hive recurso em todos os casos
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 11.1.
Ambiente do sistema
- Sistema operacional : Ubuntu 20.04.4 LTS
- Java : Zulu 8.56.0.21-CA-linux64
- Scala : 2.12.14
- Python : 3.9.5
- R : 4.1.3
- Delta Lake : 1.2.1
Instalado Python biblioteca
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
Antergos Linux | 2015.10 (versão ISO) | argônio-2-cffi | 20.1.0 | gerador assíncrono | 1,10 |
atrai | 21.2.0 | chamada de volta | 0.2.0 | backports.pontos de entrada selecionáveis | 1.1.1 |
preto | 22,3,0 | cândida | 4.0.0 | boto3 | 1.21,18 |
botocore | 1,24,18 | certifi | 2021.10.8 | caffi | 1,14.6 |
chardet | 4.0.0 | normalizador de conjuntos de caracteres | 2.0.4 | clique | 8.0.3 |
criptografia | 3.4.8 | ciclador | 0.10.0 | Cython | 0,29,24 |
dbus-Python | 1.2.16 | depurar | 1.4.1 | decorador | 5.1.0 |
xml desfundido | 0.7.1 | distlib | 0.3.5 | informação da distribuição | 0,23 ubuntu 1 |
pontos de entrada | 0,3 | visão geral das facetas | 1.0.0 | bloqueio de arquivo | 3.8.0 |
Índia | 3.2 | ipykernel | 6.12.1 | ipython | 7,32,0 |
ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | jedi | 0,18.0 |
Jinja 2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
esquema json | 3.2.0 | cliente jupyter | 6.1.12 | núcleo jupyter | 4.8.1 |
pigmentos jupyterlab | 0.1.2 | widgets jupyterlab | 1.0.0 | solucionador de kiwi | 1.3.1 |
MarkupSafe | 2.0.1 | Matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 |
confundir | 0,8.4 | extensões mypy | 0.4.3 | cliente nb | 0.5.3 |
nbconvert | 6.1.0 | formato nb | 5.1.3 | nest-assíncio | 1.5.1 |
notebook | 6.4.5 | entorpecido | 1.20.3 | fazendo às malas | 21,0 |
Pandas | 1.3.4 | filtros pandóicos | 1.4.3 | parso | 0.8.2 |
especificação do caminho | 0.9.0 | bode expiatório | 0.5.2 | esperar | 4.8.0 |
picles | 0.7.5 | Travesseiro | 8.4.0 | pip | 21.2.4 |
platformdirs | 2.5.2 | Plotly | 5.9.0 | cliente prometheus | 0.11.0 |
kit de ferramentas de aviso | 3,0.20 | protobuf | 4,21,5 | pistila | 5.8.0 |
psycopg2 | 2.9.3 | processo pty | 0.7.0 | flecha | 7.0.0 |
pycparser | 2,20 | Pigmentos | 2.10.0 | Objeto PYG | 3,36,0 |
pyodbc | 4,0.31 | análise de pipa | 3.0.4 | persistente | 0,18.0 |
Python-apt | 2.0.0+ubuntu0.20.4.7 | Python-dateutil | 2.8.2 | pytz | 2021,3 |
pizma | 22.2.1 | pedidos | 2.26.0 | solicitações - soquete unix | 0.2.0 |
transferência s3 | 0.5.2 | scikit-learn | 0,24,2 | pegajoso | 1.7.1 |
marítimo | 0.11.2 | Enviar 2 lixeiras | 1.8.0 | ferramentas de configuração | 58,0,4 |
seis | 1,16.0 | ID de importação ssh | 5,10 | modelos de estatísticas | 0.12.2 |
tenacidade | 8.0.1 | terminado | 0.9.4 | caminho de teste | 0.5.0 |
threadpool ctl | 2.2.0 | tokenizar-rt | 4.2.1 | tomli | 2.0.1 |
tornado | 6.1 | almôndegas | 5.1.0 | extensões de digitação | 3.10.0.2 |
atualizações autônomas | 0,1 | urllib3 | 1.26.7 | ambiente virtual | 20,8.0 |
largura do wc | 0.2.5 | codificações da web | 0.5.1 | Python wheel | 0,37,0 |
extensão widgetsnb | 3.6.0 |
Instalada a R biblioteca
O R biblioteca é instalado a partir do Snapshot Microsoft CRAN em 2022-08-15.
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
askpass | 1.1 | afirme que | 0.2.1 | portas traseiras | 1.4.1 |
base | 4.1.3 | base64enc | 0,1-3 | pouco | 4.0.4 |
bit64 | 4.0.5 | bolha | 1.2.3 | inicialização | 1,3-28 |
fermentar | 1,0-7 | brio | 1.1.3 | vassoura | 1.0.0 |
babião | 0.4.0 | cachem | 1.0.6 | chamador | 3.7.1 |
cursor | 6,0-93 | guarda de celas | 1.1.0 | crono | 2,3-57 |
Aula | 7,3-20 | CLIPE | 3.3.0 | clipe | 0,8.0 |
Cluster | 2.1.3 | ferramentas de código | 0,2-18 | espaço de cores | 2,0-3 |
marca comum | 1.8.0 | compilador | 4.1.3 | configuração | 0.3.1 |
cpp11 | 0.4.2 | giz de cera | 1.5.1 | Credenciais | 1.3.2 |
cacho | 4.3.2 | data.tabela | 1.14.2 | conjunto de dados | 4.1.3 |
DBI | 1.1.3 | dbplyr | 2.2.1 | desc | 1.4.1 |
ferramentas de desenvolvimento | 2.4.4 | diff | 0.3.5 | digerir | 0,6.29 |
iluminado | 0.4.2 | dplyr | 1.0.9 | dtplyr | 1.2.1 |
e1071 | 1,7-11 | reticências | 0.3.2 | avalie | 0,16 |
fansi | 1.0.3 | colorista | 2.1.1 | mapa rápido | 1.1.0 |
fontawesome | 0.3.0 | para gatos | 0.5.1 | para cada um | 1.5.2 |
estrangeira | 0,8-82 | forjar | 0.2.0 | fs | 1.5.2 |
futuro | 1.27.0 | futuro.aplique | 1.9.0 | gargarejar | 1.2.0 |
genéricas | 0.1.3 | obter | 1.7.0 | ggplot2 | 3.3.6 |
gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4,1-4 |
globais | 0,16.0 | cola | 1.6.2 | google drive | 2.0.0 |
planilhas do Google 4 | 1.0.1 | goleiro | 1.0.0 | gráficos | 4.1.3 |
Dispositivos GR | 4.1.3 | grade | 4.1.3 | Grid Extra | 2.3 |
gsubfn | 0,7 | mesa | 0.3.0 | capacete | 1.2.0 |
refúgio | 2.5.0 | mais alto | 0,9 | HMS | 1.1.1 |
ferramentas html | 0.5.3 | widgets html | 1.5.4 | http.uv | 1.6.5 |
httr | 1.4.3 | IDs | 1.0.1 | mini | 0.3.1 |
ipred | 0,9-13 | isóbanda | 0.2.5 | iteradores | 1,0.14 |
jquerylib | 0.1.4 | jsonlite | 1.8.0 | Kern Smooth | 2,23-20 |
tricotar | 1,39 | rótulo | 0.4.2 | posteriormente | 1.3.0 |
treliça | 0,20-45 | lava | 1.6.10 | ciclo de vida | 1.0.1 |
ouvindo | 0,8.0 | lubrificar | 1.8.0 | magritter | 2.0.3 |
Markdown | 1.1 | MASSA | 7,3-56 | Matriz | 1,4-1 |
memoise | 2.0.1 | métodos | 4.1.3 | mgcv | 1,8-40 |
mímica | 0,12 | Mini UI | 0.1.1.1 | Métricas do modelo | 1.2.2.2 |
modelar | 0.1.8 | munsell | 0.5.0 | nome | 3,1-157 |
net | 7,3-17 | Número Deriv | 2016,8-1,1 | openssl | 2.0.2 |
paralelo | 4.1.3 | paralelamente | 1,32,1 | pilar | 1.8.0 |
pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
carregamento de pacotes | 1.3.0 | plogr | 0.2.0 | plyr | 1.8.7 |
elogio | 1.0.0 | unidades bonitas | 1.1.1 | ProC | 1,18.0 |
processa | 3.7.0 | prodlim | 13/11/2019 | profvis | 0.3.7 |
progresso | 1.2.2 | progressista | 0.10.1 | promessas | 1.2.0.1 |
proto | 1.0.0 | proxy | 0,4-27 | ps | 1.7.1 |
ronronar | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
trapo | 1.2.2 | Floresta aleatória | 4,7-1,1 | corredeiras | 0.3.3 |
rcmdcheck | 1.4.0 | Cervejaria RColor | 1,1-3 | Rcpp | 1.0.9 |
RCP Pegen | 0.3.3.9.2 | leitor | 2.1.2 | readxl | 1.4.0 |
receitas | 1.0.1 | revanche | 1.0.1 | revanche 2 | 2.1.2 |
controles remotos | 2.4.2 | reprex | 2.0.1 | remodelar 2 | 1.4.4 |
rlang | 1.0.4 | rmarkdown | 2,14 | RODBC | 1,3-19 |
roxigênio2 | 7.2.1 | rpartem | 4.1.16 | rprojroot | 2.0.3 |
Reservar | 1,8-11 | RSQLite | 2.2.15 | API do estúdio | 0,13 |
reversões | 2.1.1 | colete | 1.0.2 | atrevimento | 0.4.2 |
escala | 1.2.0 | seletor | 0,4-2 | informações da sessão | 1.2.2 |
forma | 1.4.6 | brilhante | 1.7.2 | ferramentas de origem | 0.1.7 |
Sparklyr | 1.7.7 | SparkR | 3.3.0 | espacial | 7,3-11 |
splines | 4.1.3 | sqldf | 0,4-11 | QUADRADO | 2021,1 |
estatísticas | 4.1.3 | estatísticas4 | 4.1.3 | stringi | 1.7.8 |
longarina | 1.4.0 | sobrevivência | 3,2-13 | diz | 3.4 |
fontes do sistema | 1.0.4 | tcltk | 4.1.3 | teste isso | 3.1.4 |
modelagem de texto | 0.3.6 | petiscar | 3.1.8 | arrumado | 1.2.0 |
seleção arrumada | 1.1.2 | tidyverso | 1.3.2 | Hora/Data | 4021,104 |
tinytex | 0,40 | Ferramentas | 4.1.3 | tzdb | 0.3.0 |
verificador de URL | 1.0.1 | use isso | 2.1.6 | utf 8 | 1.2.2 |
utilidades | 4.1.3 | uuid | 1,1-0 | vctrs | 0.4.1 |
Viridis Lite | 0.4.0 | vadouro | 1.5.7 | waldo | 0.4.0 |
bigode | 0,4 | murchar | 2.5.0 | diversão | 0,32 |
xml2 | 1.3.3 | xopen | 1.0.0 | x estável | 1,8-4 |
yaml | 2.3.5 | compactar | 2.2.0 |
Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)
ID do grupo | ID do artefato | Versão |
---|---|---|
chifre | chifre | 2.7.7 |
com.amazonaws | Amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscale | 1,12.189 |
com.amazonaws | formação de nuvem aws-java-sdk | 1,12.189 |
com.amazonaws | aws-java-sdk-cloudfront | 1,12.189 |
com.amazonaws | aws-java-sdk-cloudhsm | 1,12.189 |
com.amazonaws | aws-java-sdk-cloudsearch | 1,12.189 |
com.amazonaws | aws-java-sdk-cloudtrail | 1,12.189 |
com.amazonaws | aws-java-sdk-cloudwatch | 1,12.189 |
com.amazonaws | métricas aws-java-sdk-cloudwatch | 1,12.189 |
com.amazonaws | aws-java-sdk-codedeploy | 1,12.189 |
com.amazonaws | identidade cognitiva aws-java-sdk | 1,12.189 |
com.amazonaws | aws-java-sdk-cognitosync | 1,12.189 |
com.amazonaws | aws-java-sdk-config | 1,12.189 |
com.amazonaws | aws-java-sdk-core | 1,12.189 |
com.amazonaws | pipeline de dados aws-java-sdk | 1,12.189 |
com.amazonaws | aws-java-sdk-conexão direta | 1,12.189 |
com.amazonaws | diretório aws-java-sdk | 1,12.189 |
com.amazonaws | aws-java-sdk-dynamodb | 1,12.189 |
com.amazonaws | aws-java-sdk-ec2 | 1,12.189 |
com.amazonaws | aws-java-sdk-ecs | 1,12.189 |
com.amazonaws | aws-java-sdk-efs | 1,12.189 |
com.amazonaws | aws-java-sdk-elasticache | 1,12.189 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1,12.189 |
com.amazonaws | balanceamento de carga elástico aws-java-sdk | 1,12.189 |
com.amazonaws | transcodificador elástico aws-java-sdk- | 1,12.189 |
com.amazonaws | aws-java-sdk-emr | 1,12.189 |
com.amazonaws | aws-java-sdk-glacier | 1,12.189 |
com.amazonaws | aws-java-sdk-glue | 1,12.189 |
com.amazonaws | aws-java-sdk-iam | 1,12.189 |
com.amazonaws | aws-java-sdk-importação/exportação | 1,12.189 |
com.amazonaws | aws-java-sdk-kinesis | 1,12.189 |
com.amazonaws | aws-java-sdk-kms | 1,12.189 |
com.amazonaws | aws-java-sdk-lambda | 1,12.189 |
com.amazonaws | aws-java-sdk-logs | 1,12.189 |
com.amazonaws | aws-java-sdk - aprendizado de máquina | 1,12.189 |
com.amazonaws | aws-java-sdk-opsworks | 1,12.189 |
com.amazonaws | aws-java-sdk-rds | 1,12.189 |
com.amazonaws | aws-java-sdk-redshift | 1,12.189 |
com.amazonaws | aws-java-sdk-route53 | 1,12.189 |
com.amazonaws | aws-java-sdk-s3 | 1,12.189 |
com.amazonaws | aws-java-sdk-ses | 1,12.189 |
com.amazonaws | aws-java-sdk-simpledb | 1,12.189 |
com.amazonaws | aws-java-sdk - fluxo de trabalho simples | 1,12.189 |
com.amazonaws | aws-java-sdk-sns | 1,12.189 |
com.amazonaws | aws-java-sdk-sqs | 1,12.189 |
com.amazonaws | aws-java-sdk-ssm | 1,12.189 |
com.amazonaws | gateway de armazenamento aws-java-sdk | 1,12.189 |
com.amazonaws | aws-java-sdk-sts | 1,12.189 |
com.amazonaws | suporte aws-java-sdk | 1,12.189 |
com.amazonaws | aws-java-sdk-swf-biblioteca | 1.11.22 |
com.amazonaws | aws-java-sdk-workspace | 1,12.189 |
com.amazonaws | jmespath-java | 1,12.189 |
com.chuusai | sem forma_2.12 | 2.3.3 |
com.clearspring.analítica | transmissão | 2.9.6 |
com.databricks | Reservar | 1,8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | plugin_2.12 do compilador | 0,4,15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0,4,15-10 |
com.esotérico software | crio-sombreado | 4.0.2 |
com.esotérico software | minlog | 1.3.0 |
com.fasterxml | colega de classe | 1.3.4 |
com.fasterxml.jackson.core | jackson-anotação | 2.13.3 |
com.fasterxml.jackson.core | jackson-core | 2.13.3 |
com.fasterxml.jackson.core | vinculação de dados jackson | 2.13.3 |
formato de dados com.fasterxml.jackson. | formato de dados jackson-cbor | 2.13.3 |
com.fasterxml.jackson.tipo de dados | jackson-datatype-joda | 2.13.3 |
com.fasterxml.jackson.tipo de dados | jackson-datatype-jsr310 | 2.13.3 |
com.fasterxml.jackson.module | parâmetro do módulo jackson | 2.13.3 |
com.fasterxml.jackson.module | jackson-module-Scala.12 | 2.13.3 |
com.github.ben-manes.cafeína | cafeína | 2.3.4 |
com.github.fommil | descarregador | 1.1 |
com.github.fommil.netlib | abdômen | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
com.github.fommil.netlib | sistema_nativo-java | 1.1 |
com.github.fommil.netlib | native_system-java-natives | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.luben | zstd-jni | 1,5.2-1 |
com.github.wendykierp | JTransforma | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.8.6 |
com.google.crypto.tink | eu acho | 1.6.1 |
com.google.flatbuffers | tampões planos-java | 1.12.0 |
com.google.goiaba | goiaba | 15,0 |
com.google.protobuf | protobuf-java | 2.6.1 |
banco de dados com.h2 | h2 | 2,0.204 |
com.helger | perfilador | 1.1.1 |
com.jcraft | jsch | 0,1,50 |
com.jolbox | bonecp | VERSÃO 0.8.0. |
com.lihaoyi | código-fonte_2.12 | 0.1.9 |
com.microsoft.azure | azure-data lake-store-sdk | 2.3.9 |
comendo | comprimir-lzf | 1.1 |
com.sun.mail | javax.mail | 1.5.2 |
com.trunning | JSON | 1,8 |
com.thoughtworks.paranamer | paranâmero | 2.8 |
com.trueaccord.lenses | lentes_2.12 | 0.4.12 |
com.Twitter | chill-java | 0.10.0 |
com.Twitter | chill_2.12 | 0.10.0 |
com.Twitter | util-app_2.12 | 7.1.0 |
com.Twitter | util-core_2.12 | 7.1.0 |
com.Twitter | função-útil_2.12 | 7.1.0 |
com.Twitter | util-jvm_2.12 | 7.1.0 |
com.Twitter | util-lint_2.12 | 7.1.0 |
com.Twitter | util-registry_2.12 | 7.1.0 |
com.Twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | configuração | 1.2.1 |
com.typesafe.Scala-logging | Scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.0 |
com.univocidade | analisadores de univocidade | 2.9.1 |
com.zaxxer | HikaricP | 4.0.3 |
comum-CLI | comum-CLI | 1.5.0 |
codec comum | codec comum | 1,15 |
coleções comuns | coleções comuns | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
upload de arquivo commons | upload de arquivo commons | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.11.0 |
linguagem comum | linguagem comum | 2.6 |
registro de bens comuns | registro de bens comuns | 1.1.3 |
comum-pool | comum-pool | 1.5.4 |
dev.ludovic.netlib | mochila | 2.2.1 |
dev.ludovic.netlib | blás | 2.2.1 |
dev.ludovic.netlib | lapack | 2.2.1 |
hadoop 3 | jets3t-0.7 | liball_deps_2,12 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io. airlift | compressor de ar | 0,21 |
io.delta | delta-compartilhamento-spark_2.12 | 0.5.0 |
io.dropwizard.métricas | núcleo de métricas | 4.1.1 |
io.dropwizard.métricas | métricas-grafite | 4.1.1 |
io.dropwizard.métricas | métricas-healthchecks | 4.1.1 |
io.dropwizard.métricas | métricas-jetty9 | 4.1.1 |
io.dropwizard.métricas | métricas-jmx | 4.1.1 |
io.dropwizard.métricas | métricas-JSON | 4.1.1 |
io.dropwizard.métricas | métricas-JVM | 4.1.1 |
io.dropwizard.métricas | métricas-servlets | 4.1.1 |
io.netty | tudo | 4.1.74. Final |
io.netty | netty-buffer | 4.1.74. Final |
io.netty | codec netty | 4.1.74. Final |
io.netty | netty-common | 4.1.74. Final |
io.netty | manipulador de limpeza | 4.1.74. Final |
io.netty | resolvedor de rede | 4.1.74. Final |
io.netty | classes netty-tcnative | 2.0.48. Final |
io.netty | transporte de urtigas | 4.1.74. Final |
io.netty | netty-transport-classes-epoll | 4.1.74. Final |
io.netty | netty-transport-classes-kqueue | 4.1.74. Final |
io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74. Final |
io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74. Final |
io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74. Final |
io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74. Final |
io.netty | netty-transport-native-unix-common | 4.1.74. Final |
io. prometheus | cliente simples | 0.7.0 |
io. prometheus | simpleclient_common | 0.7.0 |
io. prometheus | simpleclient_dropwizard | 0.7.0 |
io. prometheus | gateway client_push simples | 0.7.0 |
io. prometheus | client_servlet simples | 0.7.0 |
io.prometheus.jmx | coletor | 0.12.0 |
jakarta.anotação | jakarta.anotação-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validação | jakarta.validação-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.ativação | ativação | 1.1.1 |
javax.anotação | javax.anotação-api | 1.3.2 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | API de transação | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolução | javolução | 5.5.1 |
junte-se | junte-se | 2.14.6 |
hora do dia | hora do dia | 2.10.13 |
mvn | hadoop 3 | liball_deps_2,12 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | salmoura | 1.2 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | supercsv | 2.2.0 |
net.snowflake | SDK de ingestão de flocos de neve | 0.9.6 |
net.snowflake | floco de neve-JDBC | 3.13,14 |
net.snowflake | floco de neve faísca_2.12 | 2.10.0-spark_3.2 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | chá remoto - oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4,8 |
org.antlr | modelo de string | 3.2.1 |
org.apache.ant | formiga | 1.9.2 |
org.apache.ant | formiga | 1.9.2 |
org.apache.ant | lançador de formigas | 1.9.2 |
org.apache.arrow | formato de seta | 7.0.0 |
org.apache.arrow | núcleo de memória de seta | 7.0.0 |
org.apache.arrow | rede de memória de seta | 7.0.0 |
org.apache.arrow | vetor de seta | 7.0.0 |
org.apache.avro | AVRO | 1.11.0 |
org.apache.avro | avro-ipc | 1.11.0 |
org.apache.avro | mapeado automaticamente | 1.11.0 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | compressa comum | 1,21 |
org.apache.commons | criptomoeda comum | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | texto comum | 1,9 |
org.apache.curator | curador-cliente | 2.13.0 |
org.apache.curator | estrutura de curador | 2.13.0 |
org.apache.curator | receitas de curadores | 2.13.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | API de cliente hadoop | 3.3.2 - blocos de dados |
org.apache.hadoop | tempo de execução do cliente hadoop | 3.3.2 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | colmeia-CLI | 2.3.9 |
org.apache.hive | hive-JDBC | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-lap-common | 2.3.9 |
org.apache.hive | colmeia | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | API de armazenamento em nuvem | 2.7.2 |
org.apache.hive.shims | calços de colmeia - 0,23 | 2.3.9 |
org.apache.hive.shims | calços de colmeia comuns | 2.3.9 |
org.apache.hive.shims | hive-shims-programador | 2.3.9 |
org.apache.httpcomponents | cliente http | 4.5.13 |
org.apache.httpcomponents | httpcore | 4.4.14 |
org.apache.ivy | hera | 2.5.0 |
org.apache.logging.log4j | log4j-1.2-api | 2.17.2 |
org.apache.logging.log4j | log4j-api | 2.17.2 |
org.apache.logging.log4j | log4j-core | 2.17.2 |
org.apache.logging.log4j | log4j-slf4j-impl | 2.17.2 |
org.apache.mesos | protobuf sombreado em mesos | 1.4.0 |
org.apache.orc | núcleo orc | 1.7.5 |
org.apache.orc | orc-mapreduce | 1.7.5 |
org.apache.orc | calços de orc | 1.7.5 |
org.apache.parquet | coluna de parquete | 1.12.0-databricks-0004 |
org.apache.parquet | parquete comum | 1.12.0-databricks-0004 |
org.apache.parquet | codificação de parquet | 1.12.0-databricks-0004 |
org.apache.parquet | estruturas em formato de parquet | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-jackson | 1.12.0-databricks-0004 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm9-shaded | 4,20 |
org.apache.yetus | audiência-anotação | 0.5.0 |
org.apache.zookeeper | tratador | 3.6.2 |
org.apache.zookeeper | tratador de zoológico - juta | 3.6.2 |
org.checkerframework | xadrez igual | 3.5.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | compilador common | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | núcleo de dados-api-jdo | 4.2.4 |
org.datanucleus | núcleo de dados | 4.1.17 |
org.datanucleus | núcleo de dados-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3,2,0-m3 |
org.Eclipse.jetty | jetty-client | 9.4.46.v20220331 |
org.Eclipse.jetty | continuação do cais | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-http | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-io | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
org.Eclipse.jetty | segurança do cais | 9.4.46.v20220331 |
org.Eclipse.jetty | servidor jetty-server | 9.4.46.v20220331 |
org.Eclipse.jetty | jutty-servlet | 9.4.46.v20220331 |
org.Eclipse.jetty | píer de servlets | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-util | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
org.Eclipse.jetty | aplicativo web jetty- | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
org.Eclipse.jetty.websocket | API de websoquete | 9.4.46.v20220331 |
org.Eclipse.jetty.websocket | cliente websocket | 9.4.46.v20220331 |
org.Eclipse.jetty.websocket | websocket-comum | 9.4.46.v20220331 |
org.Eclipse.jetty.websocket | servidor websocket | 9.4.46.v20220331 |
org.Eclipse.jetty.websocket | servlet websocket | 9.4.46.v20220331 |
org.fusesource.leveldbjni | leveldbjni-tudo | 1,8 |
org.glassfish.hk2 | API hk2 | 2.6.1 |
org.glassfish.hk2 | localizador hk2 | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-recurso-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance - reembalado | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | servlet de contêiner de camisa | 2,34 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2,34 |
org.glassfish.jersey.core | cliente de camisa | 2,34 |
org.glassfish.jersey.core | camiseta comum | 2,34 |
org.glassfish.jersey.core | servidor de camisa | 2,34 |
org.glassfish.jersey.inject | camiseta-hk2 | 2,34 |
org.hibernate.validator | validador de hibernação | 6.1.0. Final |
org.javassist | javassist | 3,25,0 GA |
org.jboss.logging | registro de jboss-logging | 3.3.2. Final |
org.jdbi | jdbi | 2.63,1 |
org.jetbrains | anotação | 17.0.0 |
org.joda | conversor de joda | 1.7 |
org.jodd | núcleo nodular | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3,7,0-M11 |
org.json4s | json4s-core_2.12 | 3,7,0-M11 |
org.json4s | json4s-jackson_2.12 | 3,7,0-M11 |
org.json4s | json4s-scalap_2.12 | 3,7,0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.JDBC | cliente mariadb-java | 2.7.4 |
org.mlflow | faísca de fluxo | 1.27.0 |
org.objenesis | objênese | 2.5.1 |
org.postgresql | PostgreSQL | 42,3.3 |
org.roaringbitmap | Mapa de bits estrondoso | 0,9,25 |
org.roaringbitmap | calços | 0,9,25 |
org.rocksdb | rocksdbjni | 6.24.2 |
org.rosuda.rEngine | Motor | 2.1.0 |
org.Scala-lang | Scala-compiler_2.12 | 2.12.14 |
org.Scala-lang | Scala-biblioteca.12 | 2.12.14 |
org.Scala-lang | Scala-reflect_2.12 | 2.12.14 |
org.Scala-lang.modules | Scala-collection-compat_2.12 | 2.4.3 |
org.Scala-lang.modules | Scala-parser-combinators_2.12 | 1.1.2 |
org.Scala-lang.modules | Scala-xml_2.12 | 1.2.0 |
org.Scala-sbt | interface de teste | 1,0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | breeze-macros_2.12 | 1.2 |
org.scalanlp | breeze_2.12 | 1.2 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1,7,36 |
org.slf4j | jul-a-slf4j | 1,7,36 |
org.slf4j | slf4j-api | 1,7,36 |
org.spark-project.spark | não utilizado | 1.0.0 |
org.threeten | treze e mais | 1.5.0 |
org.tukaani | xz | 1,8 |
org.typelevel | álgebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | macro-compat_2,12 | 1.1.1 |
org.typelevel | spire-macros_2.12 | 0,17.0 |
org.typelevel | spire-platform_2.12 | 0,17.0 |
org.typelevel | spire-util_2.12 | 0,17.0 |
org.typelevel | spire_2.12 | 0,17.0 |
org.wildfly.openssl | wildfly-openssl | 1.0.7. Final |
org.xerial | sqlite-JDBC | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.8.4 |
org.yaml | snakeyaml | 1,24 |
oro | oro | 2.0.8 |
pt.edu.icm | Matrizes JLarge | 1.5 |
software.Amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |