Databricks Runtime 11,0 (EoS)
O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.
As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 11.0, alimentado por Apache Spark 3.3.0. A Databricks lançou essa versão em junho de 2022.
Estas notas sobre a versão podem incluir referências a recursos que não estão disponíveis no Google Cloud a partir desta versão.
Novos recursos e melhorias
- Nova versão do Apache Spark
- Python O notebook agora usa o kernel IPython
- Synapse conector agora write.parquet dados em modo não legado
- O esquema HTTPS agora é aplicado quando o cliente ABFS usa tokens SAS
- SQL:
DESC
agora é um alias paraDESCRIBE
- SQL: Nova função
current_version
gera detalhes da versão - A eliminação de uma restrição de tabela Delta ausente agora gera um erro
- SQL: A nova cláusula
EXCEPT
na declaraçãoSELECT
exclui colunas da seleção - Suporte para eliminação de colunas em tabelas Delta (visualização pública)
COPY INTO
melhorias
Nova versão do Apache Spark
O Databricks Runtime 11.0 e o Databricks Runtime 11.0 Photon incluem o Apache Spark 3.3.0. Para obter detalhes, consulte Apache Spark.
Python O notebook agora usa o kernel IPython
Em Databricks Runtime 11.0 e acima, o Python Notebook usa o kernel IPython para executar o código Python. Veja o kernel do IPython.
Synapse conector agora dados em modo não legado write.parquet
O conector Azure Synapse agora write.parquet dados no modo não legado. Ele preserva o formato de registro de data e hora INT96
ao usar o PolyBase e COPY
comando para cargas de trabalho de lotes e transmissão.
O esquema HTTPS agora é aplicado quando o cliente ABFS usa tokens SAS
Quando o cliente do sistema de arquivos Azure Blob (ABFS) usa tokens de assinatura de acesso compartilhado (SAS), o esquema HTTPS agora é aplicado.
SQL: DESC
agora é um alias para DESCRIBE
Agora você pode usar DESC
como um alias para DESCRIBE
ao descrever locais externos ou credenciais de armazenamento. Por exemplo:
-- Describe an external location.
DESC EXTERNAL LOCATION location_name;
-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;
SQL: Nova função current_version
gera detalhes da versão
A nova função current_version
gera a versão atual do Databricks Runtime, se disponível, a versão atual do Databricks SQL, se disponível, e outros detalhes de versão relacionados. Use essa nova função para consultar informações relacionadas à versão. Veja a funçãocurrent_version
.
A eliminação de uma restrição de tabela Delta ausente agora gera um erro
Se o senhor tentar eliminar uma restrição da tabela Delta por nome e essa restrição não existir, receberá um erro. Para obter o comportamento anterior, que não gera um erro se a restrição não existir, agora você deve usar a instrução IF EXISTS
. Consulte ALTER TABLE.
SQL: A nova cláusula EXCEPT
na declaração SELECT
exclui colunas da seleção
SELECT
as declarações agora suportam a cláusula EXCEPT
para excluir colunas da seleção. Por exemplo, SELECT * EXCEPT (x) FROM table
retorna todas as colunas de table
, exceto x
. Colunas aninhadas também são permitidas. Por exemplo, SELECT * EXCEPT (x.a) FROM table
retorna todas as colunas de table
, mas omite o campo a
da estrutura x
.
Suporte para eliminação de colunas em tabelas Delta (visualização pública)
O senhor pode usar ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name>
ou ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *)
para eliminar uma coluna ou uma lista de colunas, respectivamente, de uma tabela Delta como uma operação somente de metadados. As colunas são efetivamente "soft-deleted", pois ainda estão nos arquivos Parquet subjacentes, mas não são mais visíveis na tabela Delta.
Você pode usar REORG TABLE <table-name> APPLY (PURGE)
para acionar uma reescrita de arquivo nos arquivos que contêm dados excluídos de forma reversível, como colunas eliminadas.
Você pode usar VACUUM
para remover os arquivos excluídos do armazenamento físico, incluindo os arquivos antigos que contêm colunas eliminadas e foram reescritos por REORG TABLE
.
COPY INTO
melhorias
Agora o senhor pode criar tabelas Delta de espaço reservado vazias para que o esquema seja inferido posteriormente durante um comando COPY INTO
:
CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];
COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');
A declaração SQL anterior é idempotente e pode ser programada para ser executada para ingerir dados exatamente uma vez em uma tabela Delta.
A tabela Delta vazia não pode ser usada fora do site COPY INTO
. O senhor não pode usar INSERT INTO
e MERGE INTO
para gravar dados em tabelas Delta sem esquema. Depois que os dados são inseridos na tabela com COPY INTO
, a tabela pode ser consultada.
Se os dados que você está ingerindo não puderem ser lidos devido a algum problema de corrupção, você pode ignorar os arquivos corrompidos definindo ignoreCorruptFiles
a true
no FORMAT_OPTIONS
:
COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')
O comando COPY INTO
retorna o número de arquivos que foram ignorados devido à corrupção na coluna num_skipped_corrupt_files
. Essa métrica também aparece na coluna operationMetrics
sob numSkippedCorruptFiles
depois que o senhor executa DESCRIBE HISTORY
na tabela Delta.
Os arquivos corrompidos não são rastreados pelo site COPY INTO
, portanto, podem ser recarregados em uma execução subsequente se a corrupção for corrigida. Você pode ver quais arquivos estão corrompidos executando COPY INTO
no modo VALIDATE
.
Mudanças de comportamento
- SQL: as funções
lpad
erpad
agora suportam sequências de bytes - O formato das cadeias de caracteres em
format_string
eprintf
não permite mais que o%0$
- Os valores nulos nos arquivos CSV agora são escritos como strings vazios sem aspas pelo default
- A propriedade da tabela
external
agora está reservada - O Log4j é atualizado do Log4j 1 para o Log4j 2
- biblioteca instalada a partir de Maven agora são resolvidos em seu plano compute pelo default
SQL: as funções lpad
e rpad
agora suportam sequências de bytes
As funções lpad e rpad foram atualizadas para adicionar suporte a sequências de bytes, além de strings.
O formato das cadeias de caracteres em format_string
e printf
não permite mais que o %0$
A especificação do formato %0$
nas funções format_string
e printf
agora gera um erro em default. Essa alteração é para preservar o comportamento esperado com versões anteriores do Databricks Runtime e bancos de dados comuns de terceiros. O primeiro argumento deve sempre fazer referência a %1$
quando você usa um índice de argumentos para indicar a posição do argumento na lista de argumentos.
Os valores nulos nos arquivos CSV agora são escritos como strings vazios sem aspas pelo default
Os valores nulos em arquivos CSV eram escritos anteriormente como strings vazias entre aspas. Com esta versão, os valores nulos nos arquivos CSV agora são gravados como strings vazio sem aspas por default. Para voltar ao comportamento anterior, defina a opção nullValue
como ""
para operações de gravação.
A propriedade da tabela external
agora está reservada
A propriedade external
agora é uma propriedade de tabela reservada por default. As exceções agora são lançadas quando você usa a propriedade external
com as cláusulas CREATE TABLE ... TBLPROPERTIES
e ALTER TABLE ... SET TBLPROPERTIES
.
O Log4j é atualizado do Log4j 1 para o Log4j 2
O Log4j 1 está sendo atualizado para o Log4j 2. As dependências legadas do Log4j 1 estão sendo removidas.
Se o senhor depender das classes Log4j 1 que foram incluídas anteriormente no Databricks Runtime, essas classes não existirão mais. Você deve atualizar suas dependências para o Log4j 2.
Se você tiver plug-ins personalizados ou arquivos de configuração que dependem do Log4j 2, eles podem não funcionar mais com a versão do Log4j 2 nesta versão. Para obter assistência, entre em contato com a equipe Databricks account .
biblioteca instalada a partir de Maven agora são resolvidos em seu plano compute pelo default
Maven A biblioteca agora é resolvida no seu plano compute por default quando o senhor instala a biblioteca em um cluster. O clustering do senhor deve ter acesso ao Maven Central. Como alternativa, o senhor pode reverter o comportamento anterior definindo a propriedade de configuração do Spark:
spark.databricks.libraries.enableMavenResolution false
Correções de bugs
- A compatibilidade binária para
LeafNode
,UnaryNode
eBinaryNode
entre o Apache Spark e o Databricks Runtime foi corrigida e as classes agora são compatíveis com o Apache Spark 3.3.0 e acima. Se o senhor encontrar a mensagem a seguir ou uma mensagem semelhante ao usar um pacote de terceiros com o Databricks Runtime, recompile o pacote com o Apache Spark 3.3.0 ou acima:Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected
.
Atualizações da biblioteca
-
Atualizado Python biblioteca:
- platformdirs de 2.5.1 a 2.5.2
- protobuf de 3.20.0 a 3.20.1
-
Biblioteca R atualizada:
- blob de 1.2.2 a 1.2.3
- vassoura de 0.7.12 a 0.8.0
- cursor de 6,0-91 a 6,0-92
- CLI De 3.2.0 para 3.3.0
- dplyr de 1.0.8 a 1.0.9
- futuro de 1.24.0 a 1.25.0
- future.apply de 1.8.1 a 1.9.0
- vá de 1.5.0 para 1.6.0
- ggplot2 de 3.3.5 a 3.3.6
- glmnet de 4.1-3 a 4.1-4
- paraíso de 2.4.3 a 2.5.0
- httr de 1.4.2 a 1.4.3
- knitr de 1,38 a 1,39
- magrittr de 2.0.2 a 2.0.3
- paralelamente de 1.30.0 a 1.31.1
- ps de 1.6.0 a 1.7.0
- RColorBrewer de 1.1-2 a 1.1-3
- RCPPeigen de 0.3.3.9.1 a 0.3.3.9.2
- readxl de 1.3.1 a 1.4.0
- rmarkdown da versão 2.13 para a 2.14
- rprojroot de 2.0.2 a 2.0.3
- RSQLite de 2.2.11 a 2.2.13
- escala de 1.1.1 para 1.2.0
- testthat a partir da versão 3.1.2 para 3.1.4
- tibble a partir de 3.1.6 para 3.1.7
- tinytex de 0,37 a 0,38
- tzdb de 0.2.0 a 0.3.0
- uuid de 1.0-4 a 1.1-0
- vctrs de 0.3.8 a 0.4.1
-
Atualizado Java biblioteca:
- com.fasterxml.jackson.core.jackson-anotação de 2.13.0 a 2.13.3
- com.fasterxml.jackson.core.jackson-core de 2.13.0 a 2.13.3
- com.fasterxml.jackson.core.jackson-databind de 2.13.0 a 2.13.3
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.13.0 a 2.13.3
- com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.13.0 a 2.13.3
- com.fasterxml.jackson.module.jackson-module-paranamer de 2.13.0 a 2.13.3
- com.fasterxml.jackson.module.jackson-module-Scala.12 de 2.13.0 para 2.13.3
- com.google.crypto.tink.tink de 1.6.0 a 1.6.1
- com.ning.compress-lzf de 1.0.3 a 1.1
- dev.ludovic.netlib.arpack de 2.2.0 a 2.2.1
- dev.ludovic.netlib.blas de 2.2.0 a 2.2.1
- dev.ludovic.netlib.lapack de 2.2.0 a 2.2.1
- io.netty.netty-all de 4.1.73.Final a 4.1.74.Final
- io.netty.netty-buffer de 4.1.73.Final a 4.1.74.Final
- codec io.netty.netty de 4.1.73.Final a 4.1.74.Final
- io.netty.netty-common de 4.1.73.Final a 4.1.74.Final
- io.netty.netty-handler de 4.1.73.Final a 4.1.74.Final
- io.netty.netty-resolver de 4.1.73.Final a 4.1.74.Final
- io.netty.netty-tcnative-classes de 2.0.46.Final a 2.0.48.Final
- io.netty.netty-transport de 4.1.73.Final a 4.1.74.Final
- io.netty.netty-transport-classes-epoll de 4.1.73.Final a 4.1.74.Final
- io.netty.netty-transport-classes-kqueue de 4.1.73.Final a 4.1.74.Final
- io.netty.netty-transport-native-epoll-linux-aarch_64 de 4.1.73.Final a 4.1.74.Final
- io.netty.netty-transport-native-epoll-linux-x86_64 de 4.1.73.Final a 4.1.74.Final
- io.netty.netty-transport-native-kqueue-osx-aarch_64 de 4.1.73.Final a 4.1.74.Final
- io.netty.netty-transport-native-kqueue-osx-x86_64 de 4.1.73.Final a 4.1.74.Final
- io.netty.netty-transport-native-unix-common de 4.1.73.Final a 4.1.74.Final
- joda-time.joda-time de 2.10.12 a 2.10.13
- org.apache.commons.commons-math3 de 3.4.1 a 3.6.1
- org.apache.httpcomponents.httpcore de 4.4.12 a 4.4.14
- org.apache.orc.orc-core de 1.7.3 a 1.7.4
- org.apache.orc.orc-mapreduce de 1.7.3 a 1.7.4
- org.apache.orc.orc-shims de 1.7.3 a 1.7.4
- org.Eclipse.jetty.jetty-client de 9.4.43.v20210629 a 9.4.46.v20220331
- org.Eclipse.jetty.jetty-continuation de 9.4.43.v20210629 a 9.4.46.v20220331
- org.Eclipse.jetty.jetty-http de 9.4.43.v20210629 a 9.4.46.v20220331
- org.Eclipse.jetty.jetty-io de 9.4.43.v20210629 a 9.4.46.v20220331
- org.Eclipse.jetty.jetty-jndi de 9.4.43.v20210629 a 9.4.46.v20220331
- org.Eclipse.jetty.jetty-plus de 9.4.43.v20210629 a 9.4.46.v20220331
- org.Eclipse.jetty.jetty-proxy de 9.4.43.v20210629 a 9.4.46.v20220331
- org.Eclipse.jetty.jetty-security de 9.4.43.v20210629 a 9.4.46.v20220331
- org.Eclipse.jetty.jetty-server de 9.4.43.v20210629 a 9.4.46.v20220331
- org.Eclipse.jetty.jetty-servlet de 9.4.43.v20210629 a 9.4.46.v20220331
- org.Eclipse.jetty.jetty-servlets de 9.4.43.v20210629 a 9.4.46.v20220331
- org.Eclipse.jetty.jetty-util de 9.4.43.v20210629 a 9.4.46.v20220331
- org.Eclipse.jetty.jetty-util-ajax de 9.4.43.v20210629 a 9.4.46.v20220331
- org.Eclipse.jetty.jetty-webapp de 9.4.43.v20210629 a 9.4.46.v20220331
- org.Eclipse.jetty.jetty-xml de 9.4.43.v20210629 a 9.4.46.v20220331
- org.Eclipse.jetty.websocket.websocket-api de 9.4.43.v20210629 a 9.4.46.v20220331
- org.Eclipse.jetty.websocket.websocket-client de 9.4.43.v20210629 a 9.4.46.v20220331
- org.Eclipse.jetty.websocket.websocket-common de 9.4.43.v20210629 a 9.4.46.v20220331
- org.Eclipse.jetty.websocket.websocket-server de 9.4.43.v20210629 a 9.4.46.v20220331
- org.Eclipse.jetty.websocket.websocket-servlet de 9.4.43.v20210629 a 9.4.46.v20220331
- org.mariadb.JDBC.mariadb-java-client de 2.2.5 a 2.7.4
- org.postgresql.postgresql de 42.2.19 a 42.3.3
- org.roaringbitmap.RoaringBitmap de 0.9.23 a 0.9.25
- org.roaringbitmap.shims de 0.9.23 a 0.9.25
- org.rocksdb.rocksdbjni de 6.20.3 a 6.24.2
- org.slf4j.jcl-sobre-slf4j de 1.7.32 a 1.7.36
- org.slf4j.jul-para-slf4j de 1.7.32 a 1.7.36
- org.slf4j.slf4j-api de 1.7.30 a 1.7.36
Apache Spark
O Databricks Runtime 11.0 inclui o Apache Spark 3.3.0.
Nesta secção:
Spark SQL e Core
Modo ANSI
- Novas regras explícitas de sintaxe de conversão no modo ANSI (SPARK-33354)
- Elt () deve retornar nulo se o índice for nulo no modo ANSI (SPARK-38304)
- Opcionalmente, retorne o resultado nulo se o elemento não existir na matriz/mapa (SPARK-37750)
- Permitir a conversão entre o tipo numérico e o tipo de carimbo de data/hora (SPARK-37714)
- Desativar palavras-chave reservadas ANSI em default (SPARK-37724)
- Use regras de atribuição de armazenamento para resolver a invocação de funções (SPARK-37438)
- Adicione uma configuração para permitir a transmissão entre Datetime e Numeric (SPARK-37179)
- Adicione uma configuração para aplicar opcionalmente palavras-chave reservadas ANSI (SPARK-37133)
- Não permitir operações binárias entre Intervalo e strings literais(SPARK-36508)
aprimoramentos de recursos
- Suporte aos tipos ANSI SQL INTERVAL(SPARK-27790)
- Melhorias nas mensagens de erro (SPARK-38781)
- Suporte a metadados de arquivos ocultos para Spark SQL(SPARK-37273)
- Suporte a literal de strings brutas(SPARK-36371)
- Classe auxiliar para lotes dataset.observe() (SPARK-34806)
- Suporte para especificar o número inicial da partição para rebalanceamento (SPARK-38410)
- Suporte ao modo cascata para a API
dropNamespace
(SPARK-37929) - Permitir atribuição de armazenamento e conversão implícita entre tipos de data e hora (SPARK-37707)
- Colete, a primeira e a última devem ser funções agregadas determinísticas (SPARK-32940)
- Adicione o ExpressionBuilder para funções com sobrecargas complexas (SPARK-37164)
- Adicionar suporte de matriz à união por nome (SPARK-36546)
- Adicione df.withMetadata: um açúcar de sintaxe para atualizar os metadados de um dataframe (SPARK-36642)
- Suporte a literal de strings brutas(SPARK-36371)
- Use CAST na análise de datas/carimbos de data/hora com o padrão default (SPARK-36418)
- Suporte à classe de valor em esquema aninhado para conjunto de dados(SPARK-20384)
- Adicionar suporte à sintaxe AS OF (SPARK-37219)
- Adicionar REPEATABLE em TABLESAMPLE para especificar a semente(SPARK-37165)
- Adicione a sintaxe ansi
set catalog xxx
para alterar o catálogo atual (SPARK-36841) - Suporte ILIKE (TUDO | QUALQUER | ALGUNS) - LIKE que não diferencia maiúsculas de minúsculas (SPARK-36674, SPARK-36736, SPARK-36778)
- passo query de suporte mostra estatísticas Runtime no modo de explicação formatado (SPARK-38322)
- Adicionar métricas de tamanho de derramamento para classificar merge join (SPARK-37726)
- Atualizar a sintaxe SQL de SHOW FUNCTIONS(SPARK-37777)
- Suporta a sintaxe DROP COLUMN [SE EXISTIR] (SPARK-38939)
- Novas funções integradas e suas extensões(SPARK-38783)
-
Data e hora
- Adicione a função TIMESTAMPADD () (SPARK-38195)
- Adicione a função TIMESTAMPDIFF () (SPARK-38284)
- Adicione o alias
DATEDIFF()
paraTIMESTAMPDIFF()
(SPARK-38389) - Adicione o alias
DATEADD()
paraTIMESTAMPADD()
(SPARK-38332) - Adicione a
convert\_timezone()
função (SPARK-37552, SPARK-37568) - Expor a expressão make_date em funções.Scala (SPARK-36554)
-
Funções AES (SPARK-12567)
- Adicione as funções integradas aes_encrypt e aes_decrypt (SPARK-12567)
- Apoie o modo GCM em
aes\_encrypt()
/aes\_decrypt()
(SPARK-37591) - Defina
GCM
como o modo default emaes\_encrypt()
/aes\_decrypt()
(SPARK-37666) - Adicione os argumentos
mode
epadding
aaes\_encrypt()
/aes\_decrypt()
(SPARK-37586)
-
Função de agregação ANSI (SPARK-37671)
- Suporte a função agregada ANSI: regr_count (SPARK-37613)
- Suporte a função agregada ANSI: regr_avgx & regr_avgy (SPARK-37614)
- Função de agregação ANSI de suporte: percentile_cont(SPARK-37676, SPARK-38219)
- Suporte a função de agregação ANSI: percentile_disc (SPARK-37691)
- Suporte a função agregada ANSI: regr_count (SPARK-37613)
- Suporte a função agregada ANSI: array_agg (SPARK-27974)
- Suporte a função agregada ANSI: regr_r2 (SPARK-37641)
- Nova função SQL: try_avg(SPARK-38589)
-
Coleções
- Introduzir a função SQL ARRAY_SIZE(SPARK-38345)
- Nova função SQL: map_contains_key(SPARK-37584)
- Nova função SQL: try_element_at(SPARK-37533)
- Nova função SQL: try_sum(SPARK-38548)
-
Formato
- Adicionar uma nova função SQL to_binary(SPARK-37507, SPARK-38796)
- Nova função SQL: try_to_binary(SPARK-38590, SPARK-38796)
- Funções de formatação do tipo de dados:
to\_number
(SPARK-28137)
-
strings/Binário
- Adicionar a função de cadeias de caracteres CONTAINS()(SPARK-37508)
- Adicionar as funções
startswith()
eendswith()
strings(SPARK-37520) - Adicionar as funções lpad e rpad para strings binárias(SPARK-37047)
- Suporte a função split_part (SPARK-38063)
-
Adicionar parâmetro de escala às funções de piso e teto(SPARK-37475)
-
Novas funções SQL: try_subtract e try_multiply(SPARK-38164)
-
Implementa a função de agregação histogram_numérica que suporta agregação parcial (SPARK-16280)
-
Adicionar novas funções integradas SQL: SEC e CSC(SPARK-36683)
-
array_intersect lida com Double.nan e Float.nan duplicados (SPARK-36754)
-
Adicionar cot como funções Scala e Python(SPARK-36660)
-
Aprimoramentos de desempenho
-
Geração de código em todo o estágio
- Adicionar geração de código para classificar agregados sem chave de agrupamento(SPARK-37564)
- Adicionar geração de código para classificação externa completa merge join (SPARK-35352)
- Adicionar geração de código para hash embaralhado externo completo join (SPARK-32567)
- Adicionar geração de código para o tipo de existência merge join (SPARK-37316)
-
Empurre para baixo (filtros)
- Empurre filtros para baixo por meio de partições de reequilíbrio (SPARK-37828)
- Filtro de coluna booleano push down(SPARK-36644)
- Empurre para baixo o limite 1 para o lado direito do semi/anti esquerdo join se a condição join estiver vazia(SPARK-37917)
- Traduza mais funções agregadas padrão para pushdown (SPARK-37527)
- Suporte para propagar relações vazias por meio de agregação/união (SPARK-35442)
- Filtragem Runtime em nível de linha(SPARK-32268)
- Suporte ao Left Semi join em filtros de tempo de execução em nível de linha(SPARK-38565)
- Ofereça suporte à redução de predicados e à poda de coluna para CTEs desduplicados (SPARK-37670)
-
Vetorização
- Implementar um ConstantColumnVector e melhorar o desempenho dos metadados de arquivos ocultos(SPARK-37896)
- Habilitar leitura vetorizada para VectorizedPlainValuesReader.readBooleans (SPARK-35867)
-
Combinar/remover/substituir nós
- Combine sindicatos se houver um projeto entre eles (SPARK-37915)
- Combine com um elenco se pudermos aprimorar dois moldes com segurança (SPARK-37922)
- Remova o Sort se ele for filho de RepartitionByExpression (SPARK-36703)
- Remove o join externo se ele tiver apenas DISTINCT no lado da transmissão com alias(SPARK-37292)
- Substitua o hash pelo agregado de classificação se o filho já estiver classificado (SPARK-37455)
- Somente colapse projetos se não duplicarmos expressões caras (SPARK-36718)
- Remova aliases redundantes após reescrever PredicateSubquery (SPARK-36280)
- mesclar subconsultas escalares não correlacionadas(SPARK-34079)
-
Particionamento
-
unir-se
- Lógica de ajuste fino para rebaixar o hash de transmissão join em DynamicJoinSelection(SPARK-37753)
- Ignorar chave join duplicada ao criar relação para hash embaralhado SEMI/ANTI join (SPARK-36794)
- Suporte para otimização de join enviesado, mesmo se introduzir embaralhamento extra(SPARK-33832)
-
AQE
-
Aggregate.groupOnly suporta expressões dobráveis (SPARK-38489)
-
Adicionar poda padrão de árvore à regra de substituição CTE (SPARK-37379)
-
Adicione mais Simplificações para operadores de Not (SPARK-36665)
-
Suporte ao tipo booleano na comparação binária UnwrapCast (SPARK-36607)
-
Coalesça e elimine todas as expressões após a primeira expressão não anulável (SPARK-36359)
-
Adicione um visitante do plano lógico para propagar os atributos distintos (SPARK-36194)
aprimoramentos do conector integrado
-
Geral
- Serialização leniente de data e hora da fonte de dados (SPARK-38437)
- Trate a localização da tabela como absoluta quando a primeira letra de seu caminho for barra em create/alter table (SPARK-38236)
- Remova os zeros iniciais da partição vazia do tipo de número estático (SPARK-35561)
- Suporte a
ignoreCorruptFiles
eignoreMissingFiles
nas opções de fonte de dados(SPARK-38767) - Adicionar o comando
SHOW CATALOGS
(SPARK-35973)
-
PARQUET
- Habilitar a correspondência de nomes de colunas do esquema por IDs de campo (SPARK-38094)
- Remover o nome do campo de verificação ao ler/gravar dados em Parquet (SPARK-27442)
- Suporte a valores booleanos de leitura vetorizada usando codificação RLE com Parquet DataPage V2(SPARK-37864)
- Suporte à codificação de página de dados Parquet v2 (DELTA_BINARY_PACKED) para o caminho vetorizado(SPARK-36879)
- Rebase de timestamps no fuso horário da sessão salvo nos metadados do Parquet/Avro(SPARK-37705)
- Pressione grupo por coluna de partição para agregado (SPARK-36646)
- Agregado (Mín/Máx/Contagem) push down para Parquet(SPARK-36645)
- Parquet: habilitar a correspondência de colunas de esquema por id de campo(SPARK-38094)
- Reduzir o tamanho da página default em LONG_ARRAY_OFFSET se G1GC e ON_HEAP forem usados(SPARK-37593)
- Implementar codificações vetorizadas DELTA_BYTE_ARRAY e DELTA_LENGTH_BYTE_ARRAY para suporte ao Parquet V2(SPARK-37974)
- Suporte a tipos complexos para o leitor vetorizado Parquet(SPARK-34863)
-
ORC
- Remova o nome do campo de verificação ao ler/gravar dados existentes em Orc (SPARK-37965)
- Agregado empurrado para baixo para ORC(SPARK-34960)
- Suporte à leitura e gravação de intervalos ANSI de/para fontes de dados ORC(SPARK-36931)
- Suporte a nomes de colunas somente com números em ORC fonte de dados(SPARK-36663)
-
JSON
- Respeitar allowNonNumericNumbers ao analisar valores citados de NaN e infinito no leitor JSON(SPARK-38060)
- Use CAST para datetime em CSV/JSON por default (SPARK-36536)
- Alinhar mensagem de erro para tipos key não suportados em MapType no leitor JSON (SPARK-35320)
-
CSV
- Correção referente à coluna de registro corrompida do CSV(SPARK-38534)
- Os valores nulos devem ser salvos como nada em vez de strings vazias entre aspas "" por default (SPARK-37575).
-
JDBC
-
Hive
- Suporte à gravação de tabela de balde do Hive (formatos de arquivo do Hive com hash do Hive)(SPARK-32712)
- Usar expressões para filtrar partições do Hive no lado do cliente(SPARK-35437)
- Suporta a remoção dinâmica de partições para HiveTableScanExec (SPARK-36876)
- O InsertIntoHiveDir deve usar a fonte de dados se for conversível(SPARK-38215)
- Suporte à gravação da tabela de baldes do Hive (formato Parquet/ORC com hash do Hive)(SPARK-32709)
Desativação do nodo
- O FallbackStorage não deve tentar resolver o nome de host “remoto” arbitrário (SPARK-38062)
- ExecutorMonitor.onExecutorRemoved deve tratar ExecutorDecommission conforme concluído (SPARK-38023)
Outras mudanças notáveis
- Adicione bloqueio refinado ao BlockInfoManager (SPARK-37356)
- Suporte ao mapeamento dos tipos de recurso Spark gpu/fpga para o tipo de recurso YARN personalizado(SPARK-37208)
- Relate o tamanho preciso do bloco aleatório se estiver inclinado (SPARK-36967)
- Suporte ao Netty Logging na camada de rede (SPARK-36719)
transmissão estruturada
Recurso principal
- Introduzir o Trigger.AvailableNow para executar consultas de transmissão como o Trigger.Once em vários lotes(SPARK-36533)
Outras mudanças notáveis
- Use StatefulOpClusteredDistribution para operadores com estado respeitando a compatibilidade com versões anteriores (SPARK-38204)
- Correção do tempo limite do flatMapGroupsWithState em lotes com dados para key (SPARK-38320)
- Corrigir o problema de correção na transmissão-transmissão externa join com o provedor RocksDB armazenamento do estado(SPARK-38684)
- Suporte a Trigger.AvailableNow em Kafka fonte de dados(SPARK-36649)
- Otimizar o caminho de gravação no provedor RocksDB armazenamento do estado(SPARK-37224)
- Introduzir uma nova fonte de dados para fornecer um conjunto consistente de linhas por microbatch(SPARK-37062)
- Use HashClusteredDistribution para operadores com estado respeitando a compatibilidade com versões anteriores (SPARK-38204)
PySpark
API do Pandas no Spark
Grandes melhorias
- Otimização do índice de "sequência distribuída" com o site default (SPARK-36559, SPARK-36338)
- Suporte para especificar o tipo e o nome do índice em Pandas API em Spark (SPARK-36709)
- Mostrar o tipo de índice default nos planos SQL para Pandas API em Spark (SPARK-38654)
Recurso principal
- Implementar o ps.merge nativo do SparkSQL(SPARK-36813)
- Suporte a TimedeltaIndex em Pandas API em Spark (SPARK-37525)
- Suporte ao timedelta do Python(SPARK-37275, SPARK-37510)
- Implemente funções em CategoricalAccessor/CategoricalIndex (SPARK-36185)
- Usa o formatador de strings padrão do site Pythonpara SQL API em Pandas API em Spark (SPARK-37436)
- Suporte às operações básicas do timedelta Series/Index(SPARK-37510)
- Suporte PS.MultiIndex.DTypes (SPARK-36930)
- Implemente Index.map (SPARK-36469)
- Série de implementos. xor e Series. exor (SPARK-36653 )
- Implemente o operador unário
invert
da integral ps.series/Index (SPARK-36003) - Implemente DataFrame.cov (SPARK-36396)
- Suporte str e timestamp para (series|dataframe) .describe () (SPARK-37657)
- Suporta o parâmetro lambda
column
deDataFrame.rename
(SPARK-38763)
Outras mudanças notáveis
Alterações importantes
- Eliminar referências ao suporte do Python 3.6 nos documentos e Python/docs(SPARK-36977)
- Remover o hack namedtuple substituindo o pickle integrado pelo cloudpickle(SPARK-32079)
- Aumentar a versão mínima do Pandas para 1.0.5(SPARK-37465)
- Grandes melhorias
- Fornecer um criador de perfil para UDFs Python/Pandas(SPARK-37443)
- Usa o formatador de strings padrão do site Pythonpara SQL API em PySpark (SPARK-37516)
- Expor o estado do SQL e a classe de erro nas exceções do PySpark(SPARK-36953)
- Tente capturar o faulthanlder quando um Python worker travar(SPARK-36062)
Recurso principal
- Implementar DataFrame.mapInArrow em Python(SPARK-37228)
- Usa o formatador de strings padrão do site Pythonpara SQL API em PySpark (SPARK-37516)
- Adicionar df.withMetadata PySpark API (SPARK-36642)
- Suporte ao timedelta do Python(SPARK-37275)
- Expor tableExists em PySpark.sql.catalog(SPARK-36176)
- Expor databaseExists em PySpark.sql.catalog(SPARK-36207)
- Exposição de functionExists no catálogo PySpark sql(SPARK-36258)
- Adicionar Dataframe.observation ao PySpark(SPARK-36263)
- Adicionar a API max_by/min_by ao PySpark(SPARK-36972)
- Suporte para inferir o dict aninhado como um struct ao criar um DataFrame(SPARK-35929)
- Adicionar APIs de bit/octet_length ao Scala, Python e R(SPARK-36751)
- Suporte à API ILIKE no Python(SPARK-36882)
- Adicionar o método isEmpty para a API do Python DataFrame(SPARK-37207)
- Adicionar várias colunas adicionando suporte (SPARK-35173)
- Adicionar SparkContext.addArchive no PySpark(SPARK-38278)
- Tornar as repetições do tipo SQL passíveis de avaliação (SPARK-18621)
- Dicas de tipo inline para fpm.py em Python/PySpark/MLlib (SPARK-37396)
- Implemente o parâmetro
dropna
deSeriesGroupBy.value_counts
(SPARK-38837)
MLlib
Recurso principal
- Adicionar parâmetro DistanceMeasure ao TrainKMeansModel (SPARK-37118)
- Exponha LogisticRegression.setInitialModel, como KMeans et al fazem (SPARK-36481)
- Suporte ao CrossValidatorModel para obter o desvio padrão das métricas para cada paramMap(SPARK-36425)
Grandes melhorias
- Otimizar alguns treeAggregates no MLlib atrasando as alocações(SPARK-35848)
- Reescreva _shared_params_code_gen.py para obter dicas de tipo embutidas para ml/param/shared.py (SPARK-37419)
Outras mudanças notáveis
- Atualização para o breeze 1.2 (SPARK-35310)
SparkR
- Migrar os documentos do SparkR para o pkgdown(SPARK-37474)
- Exponha a expressão make_date em R (SPARK-37108)
- Adicionar a API max_by/min_by ao SparkR(SPARK-36976)
- Suporte à API ILIKE no R(SPARK-36899)
- Adicione sec e csc como funções R (SPARK-36824)
- Adicionar APIs de bit/octet_length ao Scala, Python e R(SPARK-36751)
- Adicionar custo como uma função R (SPARK-36688)
UI
- Resumo das métricas de especulação em nível de estágio(SPARK-36038)
- Tempo de bloqueio de leitura aleatória unificado para tempo de espera de leitura aleatória no StagePage(SPARK-37469)
- Adicionar configurações modificadas para execução de SQL na UI(SPARK-34735)
- Fazer com que o ThriftServer reconheça o spark.sql.redaction.strings.regex(SPARK-36400)
- Anexar e iniciar o manipulador após o aplicativo começar na UI(SPARK-36237)
- Adicionar commit duração a SQL tab 's gráfico node(SPARK-34399)
- Suporte ao backend RocksDB no servidor Spark história(SPARK-37680)
- Mostrar opções da API do Pandas no Spark na interface do usuário(SPARK-38656)
- Renomear 'SQL' para 'SQL / DataFrame' na página SQL UI(SPARK-38657)
Construir
- Migrando do log4j 1 para o log4j 2 (SPARK-37814)
- Atualize log4j2 para 2.17.2 (SPARK-38544)
- Atualize para Py4J 0.10.9.5 (SPARK-38563)
- Atualize o ORC para a versão 1.7.4(SPARK-38866)
- Atualizar tabelas de dados para 1.10.25 (SPARK-38924)
Atualizações de manutenção
Consulte Databricks Runtime 11.0 (EoS).
Ambiente do sistema
- Sistema operacional : Ubuntu 20.04.4 LTS
- Java : Zulu 8.56.0.21-CA-linux64
- Scala : 2.12.14
- Python : 3.9.5
- R : 4.1.3
- Delta Lake : 1.2.1
Instalado Python biblioteca
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
Antergos Linux | 2015.10 (versão ISO) | argônio-2-cffi | 20.1.0 | gerador assíncrono | 1,10 |
atrai | 21.2.0 | chamada de volta | 0.2.0 | backports.pontos de entrada selecionáveis | 1.1.1 |
cândida | 4.0.0 | boto3 | 1.21,18 | botocore | 1,24,18 |
certifi | 2021.10.8 | caffi | 1,14.6 | chardet | 4.0.0 |
normalizador de conjuntos de caracteres | 2.0.4 | ciclador | 0.10.0 | Cython | 0,29,24 |
dbus-Python | 1.2.16 | depurar | 1.4.1 | decorador | 5.1.0 |
xml desfundido | 0.7.1 | distlib | 0.3.4 | informação da distribuição | 0,23 ubuntu 1 |
pontos de entrada | 0,3 | visão geral das facetas | 1.0.0 | bloqueio de arquivo | 3.6.0 |
Índia | 3.2 | ipykernel | 6.12.1 | ipython | 7,32,0 |
ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | jedi | 0,18.0 |
Jinja 2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
esquema json | 3.2.0 | cliente jupyter | 6.1.12 | núcleo jupyter | 4.8.1 |
pigmentos jupyterlab | 0.1.2 | widgets jupyterlab | 1.0.0 | solucionador de kiwi | 1.3.1 |
MarkupSafe | 2.0.1 | Matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 |
confundir | 0,8.4 | cliente nb | 0.5.3 | nbconvert | 6.1.0 |
formato nb | 5.1.3 | nest-assíncio | 1.5.1 | notebook | 6.4.5 |
entorpecido | 1.20.3 | fazendo às malas | 21,0 | Pandas | 1.3.4 |
filtros pandóicos | 1.4.3 | parso | 0.8.2 | bode expiatório | 0.5.2 |
esperar | 4.8.0 | picles | 0.7.5 | Travesseiro | 8.4.0 |
pip | 21.2.4 | platformdirs | 2.5.2 | Plotly | 5.6.0 |
cliente prometheus | 0.11.0 | kit de ferramentas de aviso | 3,0.20 | protobuf | 3.20.1 |
pistila | 5.8.0 | psycopg2 | 2.9.3 | processo pty | 0.7.0 |
flecha | 7.0.0 | pycparser | 2,20 | Pigmentos | 2.10.0 |
Objeto PYG | 3,36,0 | pyodbc | 4,0.31 | análise de pipa | 3.0.4 |
persistente | 0,18.0 | Python-apt | 2.0.0+ubuntu0.20.4.7 | Python-dateutil | 2.8.2 |
pytz | 2021,3 | pizma | 22.2.1 | pedidos | 2.26.0 |
solicitações - soquete unix | 0.2.0 | transferência s3 | 0.5.2 | scikit-learn | 0,24,2 |
pegajoso | 1.7.1 | marítimo | 0.11.2 | Enviar 2 lixeiras | 1.8.0 |
ferramentas de configuração | 58,0,4 | seis | 1,16.0 | ID de importação ssh | 5,10 |
modelos de estatísticas | 0.12.2 | tenacidade | 8.0.1 | terminado | 0.9.4 |
caminho de teste | 0.5.0 | threadpool ctl | 2.2.0 | tornado | 6.1 |
almôndegas | 5.1.0 | atualizações autônomas | 0,1 | urllib3 | 1.26.7 |
ambiente virtual | 20,8.0 | largura do wc | 0.2.5 | codificações da web | 0.5.1 |
Python wheel | 0,37,0 | extensão widgetsnb | 3.6.0 |
Instalada a R biblioteca
As bibliotecas R são instaladas a partir do Snapshot Microsoft CRAN em 2022-05-06.
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
askpass | 1.1 | afirme que | 0.2.1 | portas traseiras | 1.4.1 |
base | 4.1.3 | base64enc | 0,1-3 | pouco | 4.0.4 |
bit64 | 4.0.5 | bolha | 1.2.3 | inicialização | 1,3-28 |
fermentar | 1,0-7 | brio | 1.1.3 | vassoura | 0,8.0 |
babião | 0.3.1 | cachem | 1.0.6 | chamador | 3.7.0 |
cursor | 6,0-92 | guarda de celas | 1.1.0 | crono | 2,3-56 |
Aula | 7,3-20 | CLIPE | 3.3.0 | clipe | 0,8.0 |
Cluster | 2.1.3 | ferramentas de código | 0,2-18 | espaço de cores | 2,0-3 |
marca comum | 1.8.0 | compilador | 4.1.3 | configuração | 0.3.1 |
cpp11 | 0.4.2 | giz de cera | 1.5.1 | Credenciais | 1.3.2 |
cacho | 4.3.2 | data.tabela | 1.14.2 | conjunto de dados | 4.1.3 |
DBI | 1.1.2 | dbplyr | 2.1.1 | desc | 1.4.1 |
ferramentas de desenvolvimento | 2.4.3 | diff | 0.3.5 | digerir | 0,6.29 |
dplyr | 1.0.9 | dtplyr | 1.2.1 | e1071 | 1,7-9 |
reticências | 0.3.2 | avalie | 0,15 | fansi | 1.0.3 |
colorista | 2.1.0 | mapa rápido | 1.1.0 | fontawesome | 0.2.2 |
para gatos | 0.5.1 | para cada um | 1.5.2 | estrangeira | 0,8-82 |
forjar | 0.2.0 | fs | 1.5.2 | futuro | 1,25.0 |
futuro.aplique | 1.9.0 | gargarejar | 1.2.0 | genéricas | 0.1.2 |
obter | 1.6.0 | ggplot2 | 3.3.6 | gh | 1.3.0 |
gitcreds | 0.1.1 | glmnet | 4,1-4 | globais | 0.14.0 |
cola | 1.6.2 | google drive | 2.0.0 | planilhas do Google 4 | 1.0.0 |
goleiro | 1.0.0 | gráficos | 4.1.3 | Dispositivos GR | 4.1.3 |
grade | 4.1.3 | Grid Extra | 2.3 | gsubfn | 0,7 |
mesa | 0.3.0 | capacete | 0.2.0 | refúgio | 2.5.0 |
mais alto | 0,9 | HMS | 1.1.1 | ferramentas html | 0.5.2 |
widgets html | 1.5.4 | http.uv | 1.6.5 | httr | 1.4.3 |
IDs | 1.0.1 | mini | 0.3.1 | ipred | 0,9-12 |
isóbanda | 0.2.5 | iteradores | 1,0.14 | jquerylib | 0.1.4 |
jsonlite | 1.8.0 | Kern Smooth | 2,23-20 | tricotar | 1,39 |
rótulo | 0.4.2 | posteriormente | 1.3.0 | treliça | 0,20-45 |
lava | 1.6.10 | ciclo de vida | 1.0.1 | ouvindo | 0,8.0 |
lubrificar | 1.8.0 | magritter | 2.0.3 | Markdown | 1.1 |
MASSA | 7,3-56 | Matriz | 1,4-1 | memoise | 2.0.1 |
métodos | 4.1.3 | mgcv | 1,8-40 | mímica | 0,12 |
Métricas do modelo | 1.2.2.2 | modelar | 0.1.8 | munsell | 0.5.0 |
nome | 3,1-157 | net | 7,3-17 | Número Deriv | 2016,8-1,1 |
openssl | 2.0.0 | paralelo | 4.1.3 | paralelamente | 1,31,1 |
pilar | 1.7.0 | pkgbuild | 1.3.1 | pkgconfig | 2.0.3 |
carregamento de pacotes | 1.2.4 | plogr | 0.2.0 | plyr | 1.8.7 |
elogio | 1.0.0 | unidades bonitas | 1.1.1 | ProC | 1,18.0 |
processa | 3.5.3 | prodlim | 13/11/2019 | progresso | 1.2.2 |
progressista | 0.10.0 | promessas | 1.2.0.1 | proto | 1.0.0 |
proxy | 0,4-26 | ps | 1.7.0 | ronronar | 0.3.4 |
r2d3 | 0.2.6 | R6 | 2.5.1 | Floresta aleatória | 4,7-1 |
corredeiras | 0.3.3 | rcmdcheck | 1.4.0 | Cervejaria RColor | 1,1-3 |
Rcpp | 1.0.8.3 | RCP Pegen | 0.3.3.9.2 | leitor | 2.1.2 |
readxl | 1.4.0 | receitas | 0.2.0 | revanche | 1.0.1 |
revanche 2 | 2.1.2 | controles remotos | 2.4.2 | reprex | 2.0.1 |
remodelar 2 | 1.4.4 | rlang | 1.0.2 | rmarkdown | 2,14 |
RODBC | 1,3-19 | roxigênio2 | 7.1.2 | rpartem | 4.1.16 |
rprojroot | 2.0.3 | Reservar | 1,8-10 | RSQLite | 2.2.13 |
API do estúdio | 0,13 | reversões | 2.1.1 | colete | 1.0.2 |
atrevimento | 0.4.1 | escala | 1.2.0 | seletor | 0,4-2 |
informações da sessão | 1.2.2 | forma | 1.4.6 | brilhante | 1.7.1 |
ferramentas de origem | 0.1.7 | Sparklyr | 1.7.5 | SparkR | 3.3.0 |
espacial | 7,3-11 | splines | 4.1.3 | sqldf | 0,4-11 |
QUADRADO | 2021,1 | estatísticas | 4.1.3 | estatísticas4 | 4.1.3 |
stringi | 1.7.6 | longarina | 1.4.0 | sobrevivência | 3,2-13 |
diz | 3.4 | tcltk | 4.1.3 | teste isso | 3.1.4 |
petiscar | 3.1.7 | arrumado | 1.2.0 | seleção arrumada | 1.1.2 |
tidyverso | 1.3.1 | Hora/Data | 3043,102 | tinytex | 0,38 |
Ferramentas | 4.1.3 | tzdb | 0.3.0 | use isso | 2.1.5 |
utf 8 | 1.2.2 | utilidades | 4.1.3 | uuid | 1,1-0 |
vctrs | 0.4.1 | Viridis Lite | 0.4.0 | vadouro | 1.5.7 |
waldo | 0.4.0 | bigode | 0,4 | murchar | 2.5.0 |
diversão | 0,30 | xml2 | 1.3.3 | xopen | 1.0.0 |
x estável | 1,8-4 | yaml | 2.3.5 | compactar | 2.2.0 |
Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)
ID do grupo | ID do artefato | Versão |
---|---|---|
chifre | chifre | 2.7.7 |
com.amazonaws | Amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscale | 1,12.189 |
com.amazonaws | formação de nuvem aws-java-sdk | 1,12.189 |
com.amazonaws | aws-java-sdk-cloudfront | 1,12.189 |
com.amazonaws | aws-java-sdk-cloudhsm | 1,12.189 |
com.amazonaws | aws-java-sdk-cloudsearch | 1,12.189 |
com.amazonaws | aws-java-sdk-cloudtrail | 1,12.189 |
com.amazonaws | aws-java-sdk-cloudwatch | 1,12.189 |
com.amazonaws | métricas aws-java-sdk-cloudwatch | 1,12.189 |
com.amazonaws | aws-java-sdk-codedeploy | 1,12.189 |
com.amazonaws | identidade cognitiva aws-java-sdk | 1,12.189 |
com.amazonaws | aws-java-sdk-cognitosync | 1,12.189 |
com.amazonaws | aws-java-sdk-config | 1,12.189 |
com.amazonaws | aws-java-sdk-core | 1,12.189 |
com.amazonaws | pipeline de dados aws-java-sdk | 1,12.189 |
com.amazonaws | aws-java-sdk-conexão direta | 1,12.189 |
com.amazonaws | diretório aws-java-sdk | 1,12.189 |
com.amazonaws | aws-java-sdk-dynamodb | 1,12.189 |
com.amazonaws | aws-java-sdk-ec2 | 1,12.189 |
com.amazonaws | aws-java-sdk-ecs | 1,12.189 |
com.amazonaws | aws-java-sdk-efs | 1,12.189 |
com.amazonaws | aws-java-sdk-elasticache | 1,12.189 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1,12.189 |
com.amazonaws | balanceamento de carga elástico aws-java-sdk | 1,12.189 |
com.amazonaws | transcodificador elástico aws-java-sdk- | 1,12.189 |
com.amazonaws | aws-java-sdk-emr | 1,12.189 |
com.amazonaws | aws-java-sdk-glacier | 1,12.189 |
com.amazonaws | aws-java-sdk-glue | 1,12.189 |
com.amazonaws | aws-java-sdk-iam | 1,12.189 |
com.amazonaws | aws-java-sdk-importação/exportação | 1,12.189 |
com.amazonaws | aws-java-sdk-kinesis | 1,12.189 |
com.amazonaws | aws-java-sdk-kms | 1,12.189 |
com.amazonaws | aws-java-sdk-lambda | 1,12.189 |
com.amazonaws | aws-java-sdk-logs | 1,12.189 |
com.amazonaws | aws-java-sdk - aprendizado de máquina | 1,12.189 |
com.amazonaws | aws-java-sdk-opsworks | 1,12.189 |
com.amazonaws | aws-java-sdk-rds | 1,12.189 |
com.amazonaws | aws-java-sdk-redshift | 1,12.189 |
com.amazonaws | aws-java-sdk-route53 | 1,12.189 |
com.amazonaws | aws-java-sdk-s3 | 1,12.189 |
com.amazonaws | aws-java-sdk-ses | 1,12.189 |
com.amazonaws | aws-java-sdk-simpledb | 1,12.189 |
com.amazonaws | aws-java-sdk - fluxo de trabalho simples | 1,12.189 |
com.amazonaws | aws-java-sdk-sns | 1,12.189 |
com.amazonaws | aws-java-sdk-sqs | 1,12.189 |
com.amazonaws | aws-java-sdk-ssm | 1,12.189 |
com.amazonaws | gateway de armazenamento aws-java-sdk | 1,12.189 |
com.amazonaws | aws-java-sdk-sts | 1,12.189 |
com.amazonaws | suporte aws-java-sdk | 1,12.189 |
com.amazonaws | aws-java-sdk-swf-biblioteca | 1.11.22 |
com.amazonaws | aws-java-sdk-workspace | 1,12.189 |
com.amazonaws | jmespath-java | 1,12.189 |
com.chuusai | sem forma_2.12 | 2.3.3 |
com.clearspring.analítica | transmissão | 2.9.6 |
com.databricks | Reservar | 1,8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | plugin_2.12 do compilador | 0,4,15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0,4,15-10 |
com.esotérico software | crio-sombreado | 4.0.2 |
com.esotérico software | minlog | 1.3.0 |
com.fasterxml | colega de classe | 1.3.4 |
com.fasterxml.jackson.core | jackson-anotação | 2.13.3 |
com.fasterxml.jackson.core | jackson-core | 2.13.3 |
com.fasterxml.jackson.core | vinculação de dados jackson | 2.13.3 |
formato de dados com.fasterxml.jackson. | formato de dados jackson-cbor | 2.13.3 |
com.fasterxml.jackson.tipo de dados | jackson-datatype-joda | 2.13.3 |
com.fasterxml.jackson.module | parâmetro do módulo jackson | 2.13.3 |
com.fasterxml.jackson.module | jackson-module-Scala.12 | 2.13.3 |
com.github.ben-manes.cafeína | cafeína | 2.3.4 |
com.github.fommil | descarregador | 1.1 |
com.github.fommil.netlib | abdômen | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
com.github.fommil.netlib | sistema_nativo-java | 1.1 |
com.github.fommil.netlib | native_system-java-natives | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.luben | zstd-jni | 1,5.2-1 |
com.github.wendykierp | JTransforma | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.8.6 |
com.google.crypto.tink | eu acho | 1.6.1 |
com.google.flatbuffers | tampões planos-java | 1.12.0 |
com.google.goiaba | goiaba | 15,0 |
com.google.protobuf | protobuf-java | 2.6.1 |
banco de dados com.h2 | h2 | 2,0.204 |
com.helger | perfilador | 1.1.1 |
com.jcraft | jsch | 0,1,50 |
com.jolbox | bonecp | VERSÃO 0.8.0. |
com.lihaoyi | código-fonte_2.12 | 0.1.9 |
com.microsoft.azure | azure-data lake-store-sdk | 2.3.9 |
comendo | comprimir-lzf | 1.1 |
com.sun.mail | javax.mail | 1.5.2 |
com.trunning | JSON | 1,8 |
com.thoughtworks.paranamer | paranâmero | 2.8 |
com.trueaccord.lenses | lentes_2.12 | 0.4.12 |
com.Twitter | chill-java | 0.10.0 |
com.Twitter | chill_2.12 | 0.10.0 |
com.Twitter | util-app_2.12 | 7.1.0 |
com.Twitter | util-core_2.12 | 7.1.0 |
com.Twitter | função-útil_2.12 | 7.1.0 |
com.Twitter | util-jvm_2.12 | 7.1.0 |
com.Twitter | util-lint_2.12 | 7.1.0 |
com.Twitter | util-registry_2.12 | 7.1.0 |
com.Twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | configuração | 1.2.1 |
com.typesafe.Scala-logging | Scala-logging_2.12 | 3.7.2 |
com.univocidade | analisadores de univocidade | 2.9.1 |
com.zaxxer | HikaricP | 4.0.3 |
comum-CLI | comum-CLI | 1.5.0 |
codec comum | codec comum | 1,15 |
coleções comuns | coleções comuns | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
upload de arquivo commons | upload de arquivo commons | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.11.0 |
linguagem comum | linguagem comum | 2.6 |
registro de bens comuns | registro de bens comuns | 1.1.3 |
comum-pool | comum-pool | 1.5.4 |
dev.ludovic.netlib | mochila | 2.2.1 |
dev.ludovic.netlib | blás | 2.2.1 |
dev.ludovic.netlib | lapack | 2.2.1 |
hive-2.3__hadoop-3.2 | jets3t-0.7 | liball_deps_2,12 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io. airlift | compressor de ar | 0,21 |
io.delta | delta-compartilhamento-spark_2.12 | 0.4.0 |
io.dropwizard.métricas | núcleo de métricas | 4.1.1 |
io.dropwizard.métricas | métricas-grafite | 4.1.1 |
io.dropwizard.métricas | métricas-healthchecks | 4.1.1 |
io.dropwizard.métricas | métricas-jetty9 | 4.1.1 |
io.dropwizard.métricas | métricas-jmx | 4.1.1 |
io.dropwizard.métricas | métricas-JSON | 4.1.1 |
io.dropwizard.métricas | métricas-JVM | 4.1.1 |
io.dropwizard.métricas | métricas-servlets | 4.1.1 |
io.netty | tudo | 4.1.74. Final |
io.netty | netty-buffer | 4.1.74. Final |
io.netty | codec netty | 4.1.74. Final |
io.netty | netty-common | 4.1.74. Final |
io.netty | manipulador de limpeza | 4.1.74. Final |
io.netty | resolvedor de rede | 4.1.74. Final |
io.netty | classes netty-tcnative | 2.0.48. Final |
io.netty | transporte de urtigas | 4.1.74. Final |
io.netty | netty-transport-classes-epoll | 4.1.74. Final |
io.netty | netty-transport-classes-kqueue | 4.1.74. Final |
io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74. Final |
io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74. Final |
io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74. Final |
io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74. Final |
io.netty | netty-transport-native-unix-common | 4.1.74. Final |
io. prometheus | cliente simples | 0.7.0 |
io. prometheus | simpleclient_common | 0.7.0 |
io. prometheus | simpleclient_dropwizard | 0.7.0 |
io. prometheus | gateway client_push simples | 0.7.0 |
io. prometheus | client_servlet simples | 0.7.0 |
io.prometheus.jmx | coletor | 0.12.0 |
jakarta.anotação | jakarta.anotação-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validação | jakarta.validação-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.ativação | ativação | 1.1.1 |
javax.anotação | javax.anotação-api | 1.3.2 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | API de transação | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolução | javolução | 5.5.1 |
junte-se | junte-se | 2.14.6 |
hora do dia | hora do dia | 2.10.13 |
Maven-árvores | hive-2.3__hadoop-3.2 | liball_deps_2,12 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | salmoura | 1.2 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | supercsv | 2.2.0 |
net.snowflake | SDK de ingestão de flocos de neve | 0.9.6 |
net.snowflake | floco de neve-JDBC | 3.13,14 |
net.snowflake | floco de neve faísca_2.12 | 2.10.0-spark_3.1 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | chá remoto - oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4,8 |
org.antlr | modelo de string | 3.2.1 |
org.apache.ant | formiga | 1.9.2 |
org.apache.ant | formiga | 1.9.2 |
org.apache.ant | lançador de formigas | 1.9.2 |
org.apache.arrow | formato de seta | 7.0.0 |
org.apache.arrow | núcleo de memória de seta | 7.0.0 |
org.apache.arrow | rede de memória de seta | 7.0.0 |
org.apache.arrow | vetor de seta | 7.0.0 |
org.apache.avro | AVRO | 1.11.0 |
org.apache.avro | avro-ipc | 1.11.0 |
org.apache.avro | mapeado automaticamente | 1.11.0 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | compressa comum | 1,21 |
org.apache.commons | criptomoeda comum | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | texto comum | 1,9 |
org.apache.curator | curador-cliente | 2.13.0 |
org.apache.curator | estrutura de curador | 2.13.0 |
org.apache.curator | receitas de curadores | 2.13.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | API de cliente hadoop | 3.3.2 - blocos de dados |
org.apache.hadoop | tempo de execução do cliente hadoop | 3.3.2 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | colmeia-CLI | 2.3.9 |
org.apache.hive | hive-JDBC | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-lap-common | 2.3.9 |
org.apache.hive | colmeia | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | API de armazenamento em nuvem | 2.7.2 |
org.apache.hive.shims | calços de colmeia - 0,23 | 2.3.9 |
org.apache.hive.shims | calços de colmeia comuns | 2.3.9 |
org.apache.hive.shims | hive-shims-programador | 2.3.9 |
org.apache.httpcomponents | cliente http | 4.5.13 |
org.apache.httpcomponents | httpcore | 4.4.14 |
org.apache.ivy | hera | 2.5.0 |
org.apache.logging.log4j | log4j-1.2-api | 2.17.2 |
org.apache.logging.log4j | log4j-api | 2.17.2 |
org.apache.logging.log4j | log4j-core | 2.17.2 |
org.apache.logging.log4j | log4j-slf4j-impl | 2.17.2 |
org.apache.mesos | protobuf sombreado em mesos | 1.4.0 |
org.apache.orc | núcleo orc | 1.7.4 |
org.apache.orc | orc-mapreduce | 1.7.4 |
org.apache.orc | calços de orc | 1.7.4 |
org.apache.parquet | coluna de parquete | 1.12.0-databricks-0004 |
org.apache.parquet | parquete comum | 1.12.0-databricks-0004 |
org.apache.parquet | codificação de parquet | 1.12.0-databricks-0004 |
org.apache.parquet | estruturas em formato de parquet | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-jackson | 1.12.0-databricks-0004 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm9-shaded | 4,20 |
org.apache.yetus | audiência-anotação | 0.5.0 |
org.apache.zookeeper | tratador | 3.6.2 |
org.apache.zookeeper | tratador de zoológico - juta | 3.6.2 |
org.checkerframework | xadrez igual | 3.5.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | compilador common | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | núcleo de dados-api-jdo | 4.2.4 |
org.datanucleus | núcleo de dados | 4.1.17 |
org.datanucleus | núcleo de dados-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3,2,0-m3 |
org.Eclipse.jetty | jetty-client | 9.4.46.v20220331 |
org.Eclipse.jetty | continuação do cais | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-http | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-io | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
org.Eclipse.jetty | segurança do cais | 9.4.46.v20220331 |
org.Eclipse.jetty | servidor jetty-server | 9.4.46.v20220331 |
org.Eclipse.jetty | jutty-servlet | 9.4.46.v20220331 |
org.Eclipse.jetty | píer de servlets | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-util | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
org.Eclipse.jetty | aplicativo web jetty- | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
org.Eclipse.jetty.websocket | API de websoquete | 9.4.46.v20220331 |
org.Eclipse.jetty.websocket | cliente websocket | 9.4.46.v20220331 |
org.Eclipse.jetty.websocket | websocket-comum | 9.4.46.v20220331 |
org.Eclipse.jetty.websocket | servidor websocket | 9.4.46.v20220331 |
org.Eclipse.jetty.websocket | servlet websocket | 9.4.46.v20220331 |
org.fusesource.leveldbjni | leveldbjni-tudo | 1,8 |
org.glassfish.hk2 | API hk2 | 2.6.1 |
org.glassfish.hk2 | localizador hk2 | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-recurso-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance - reembalado | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | servlet de contêiner de camisa | 2,34 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2,34 |
org.glassfish.jersey.core | cliente de camisa | 2,34 |
org.glassfish.jersey.core | camiseta comum | 2,34 |
org.glassfish.jersey.core | servidor de camisa | 2,34 |
org.glassfish.jersey.inject | camiseta-hk2 | 2,34 |
org.hibernate.validator | validador de hibernação | 6.1.0. Final |
org.javassist | javassist | 3,25,0 GA |
org.jboss.logging | registro de jboss-logging | 3.3.2. Final |
org.jdbi | jdbi | 2.63,1 |
org.jetbrains | anotação | 17.0.0 |
org.joda | conversor de joda | 1.7 |
org.jodd | núcleo nodular | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3,7,0-M11 |
org.json4s | json4s-core_2.12 | 3,7,0-M11 |
org.json4s | json4s-jackson_2.12 | 3,7,0-M11 |
org.json4s | json4s-scalap_2.12 | 3,7,0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.JDBC | cliente mariadb-java | 2.7.4 |
org.objenesis | objênese | 2.5.1 |
org.postgresql | PostgreSQL | 42,3.3 |
org.roaringbitmap | Mapa de bits estrondoso | 0,9,25 |
org.roaringbitmap | calços | 0,9,25 |
org.rocksdb | rocksdbjni | 6.24.2 |
org.rosuda.rEngine | Motor | 2.1.0 |
org.Scala-lang | Scala-compiler_2.12 | 2.12.14 |
org.Scala-lang | Scala-biblioteca.12 | 2.12.14 |
org.Scala-lang | Scala-reflect_2.12 | 2.12.14 |
org.Scala-lang.modules | Scala-collection-compat_2.12 | 2.4.3 |
org.Scala-lang.modules | Scala-parser-combinators_2.12 | 1.1.2 |
org.Scala-lang.modules | Scala-xml_2.12 | 1.2.0 |
org.Scala-sbt | interface de teste | 1,0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | breeze-macros_2.12 | 1.2 |
org.scalanlp | breeze_2.12 | 1.2 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1,7,36 |
org.slf4j | jul-a-slf4j | 1,7,36 |
org.slf4j | slf4j-api | 1,7,36 |
org.spark-project.spark | não utilizado | 1.0.0 |
org.threeten | treze e mais | 1.5.0 |
org.tukaani | xz | 1,8 |
org.typelevel | álgebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | macro-compat_2,12 | 1.1.1 |
org.typelevel | spire-macros_2.12 | 0,17.0 |
org.typelevel | spire-platform_2.12 | 0,17.0 |
org.typelevel | spire-util_2.12 | 0,17.0 |
org.typelevel | spire_2.12 | 0,17.0 |
org.wildfly.openssl | wildfly-openssl | 1.0.7. Final |
org.xerial | sqlite-JDBC | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.8.4 |
org.yaml | snakeyaml | 1,24 |
oro | oro | 2.0.8 |
pt.edu.icm | Matrizes JLarge | 1.5 |
software.Amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |