Pular para o conteúdo principal

Databricks Runtime 9,0 (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

As notas a seguir sobre a versão fornecem informações sobre Databricks Runtime 9.0 e Databricks Runtime 9.0 Photon, alimentado por Apache Spark 3.1.2. A Databricks lançou essa versão em agosto de 2021. O Photon está em visualização pública.

nota

Estas notas sobre a versão podem incluir referências a recursos que não estão disponíveis no Google Cloud a partir desta versão.

Correção​

Uma versão anterior dessas notas sobre a versão informava incorretamente que as dependências do Apache Parquet foram atualizadas da versão 1.10 para a 1.12. De fato, as dependências do Parquet permanecem na versão 1.10. As notas incorretas sobre a versão foram removidas.

Novos recursos e melhorias​

Novo API para estatísticas resumidas do conjunto de dados (visualização pública)​

O novo comando dbutils.data.summarize em Databricks utilidades permite que o senhor inicie um trabalho Spark que calcula automaticamente as estatísticas resumidas nas colunas de um arquivo Spark DataFrame e, em seguida, exibe os resultados de forma interativa. Essa função está disponível em Scala e Python. Consulte Utilidades de dados (dbutils.data).

Configuração mais fácil da fonte de dados externa para o conector Azure Synapse​

A nova opção externalDataSource no conector Query data in Azure Synapse Analytics permite que o senhor use uma fonte de dados externa de pré-provisionamento para ler de um banco de dados Azure Synapse. A opção externalDataSource elimina a necessidade da permissão CONTROL anteriormente exigida.

Ao definir externalDataSource, a fonte externa de dados e a opção tempDir usada para configurar o armazenamento temporário devem fazer referência ao mesmo contêiner no armazenamento account.

Opcionalmente, limite a sessão a uma duração especificada para o conector do Amazon Redshift​

A nova opção fs.s3a.assumed.role.session.duration no conector Query Amazon Redshift using Databricks permite que o senhor defina opcionalmente uma duração para a sessão quando o Redshift estiver acessando o bucket S3 temporário com uma função assumida.

Auto Loader​

Lista otimizada de arquivos​

As otimizações do Auto Loader proporcionam melhorias de desempenho e economia de custos ao listar diretórios aninhados no armazenamento em nuvem, incluindo o AWS S3, o Azure Data Lake Storage Gen2 (ADLS Gen2) e o Google Cloud Storage (GCS).

Por exemplo, se o senhor tivesse arquivos sendo carregados como /some/path/YYYY/MM/DD/HH/fileName, para encontrar todos os arquivos nesses diretórios, o Auto Loader costumava fazer uma listagem paralela de todos os subdiretórios, causando 365 (por dia) * 24 (por hora) = 8760 LIST API chamadas de diretório para o armazenamento subjacente para cada diretório anual. Ao receber uma resposta achatada desses sistemas de armazenamento, o Auto Loader reduz o número de chamadas à API para o número de arquivos no sistema de armazenamento dividido pelo número de resultados retornados por cada chamada à API (1.000 para S3, 5.000 para ADLS Gen2 e 1.024 para GCS), reduzindo consideravelmente seus custos de nuvem.

Armazenamento otimizado de dados de imagem​

O Auto Loader agora pode detectar automaticamente os dados de imagem que estão sendo ingeridos e otimizar seu armazenamento em tabelas Delta para melhorar o desempenho de leitura e gravação. Consulte Ingerir dados binários ou de imagem no Delta Lake para ML.

Miniaturas de imagens para arquivos binários (visualização pública)​

As imagens no formato binaryFile carregadas ou salvas como tabelas Delta usando Auto Loader têm anotações anexadas para que as miniaturas das imagens apareçam quando o senhor exibir a tabela em um Notebook Databricks. Para obter mais informações, consulte Imagens.

Os eventosDirectoryRename permitem o processamento atômico de vários arquivos​

Auto Loader A transmissão criada em Databricks Runtime 9.0 e acima em Azure Data Lake Storage Gen2 configurou as notificações de eventos de arquivos para incluir renomeações de diretórios e ouvir os eventos RenameDirectory. O senhor pode usar renomeações de diretório para fazer com que vários arquivos apareçam atomicamente no Auto Loader.

SQL​

Excluir colunas em SELECT * (Pré-visualização pública)​

SELECT * agora oferece suporte à palavra-chave EXCEPT, que permite excluir colunas especificadas de nível superior da expansão. Por exemplo, SELECT * EXCEPT (b) FROM tbl de uma tabela com o esquema (a, b, c) se expande para (a, c).

Funções escalares do SQL (visualização pública)​

CREATE FUNCTION agora suporta funções escalares SQL. Você pode criar funções escalares que usam um conjunto de argumentos e retornam um único valor do tipo escalar. O corpo da função SQL pode ser qualquer expressão. Por exemplo:

SQL
CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Para obter detalhes, consulte CREATE FUNCTION (SQL e Python).

Faça referência a aliases e colunas anteriores nas subconsultas FROM (visualização pública)​

As subconsultas na cláusula FROM de uma consulta agora podem ser precedidas pela palavra-chave LATERAL, que permite referenciar aliases e colunas nos itens FROM anteriores. Por exemplo:

SQL
SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

A palavra-chave LATERAL suporta INNER, CROSS e LEFT (OUTER) JOIN.

Consulte Parâmetros e parâmetros.

Suporte R​

Notebook-scoped R biblioteca (visualização pública)​

Notebook-scoped biblioteca permite que o senhor instale o biblioteca e crie um ambiente com escopo para uma sessão do Notebook. Essas bibliotecas não afetam outros Notebooks em execução no mesmo cluster. As bibliotecas estão disponíveis nos nós do driver e do worker, portanto, o senhor pode fazer referência a elas em funções definidas pelo usuário. NotebookConsulte -scoped R biblioteca.

Mensagens de aviso no R Notebook​

O valor default da opção warn agora é definido como 1 no R Notebook. Como resultado, todos os avisos agora são expostos como parte do resultado do comando. Para saber mais sobre a opção warn, consulte Configurações de opções.

Evite refazer especificando o estado inicial para o processamento com estado da transmissão estruturada​

Agora é possível especificar um estado inicial definido pelo usuário para o processamento de transmissão estruturada com estado usando o operador [flat]MapGroupsWithState.

Consulte Especificar o estado inicial para mapGroupsWithState.

Instalar a biblioteca a partir de CRAN​

Agora, o senhor pode instalar o biblioteca com escopo de cluster a partir de CRAN. Para obter detalhes, consulte o pacote CRAN.

Uma implementação de baixo embaralhamento do comando Delta MERGE INTO já está disponível (visualização pública)​

O comando Delta MERGE INTO tem uma nova implementação disponível que reduz o embaralhamento de linhas não modificadas. Isso melhora o desempenho do comando e ajuda a preservar o clustering existente na mesa, como o Z-ordering. Para ativar o embaralhamento baixo merge, defina spark.databricks.delta.merge.enableLowShuffle como true. Veja Low shuffle merge em Databricks.

Correções de bugs​

  • O senhor não pode mais sobrescrever um view criando um view com o mesmo nome.

Atualizações da biblioteca​

  • Atualizado Python biblioteca:

    • certificado de 30/05/2021 a 2020.12.5
    • chardet de 3.0.4 a 4.0.0
    • Cython de 0.29.21 a 0.29.23
    • decorador de 4.4.2 a 5.0.6
    • ipython de 7.19.0 a 7.22.0
    • joblib de 0.17.0 a 1.0.1
    • jupyter-client de 6.1.7 a 6.1.12
    • jupyter-core de 4.6.3 a 4.7.1
    • kiwisolver de 1.3.0 a 1.3.1
    • matplotlib de 3.2.2 a 3.4.2
    • Pandas de 1.1.5 para 1.2.4
    • pip de 20.2.4 a 21.0.1
    • prompt-toolkit de 3.0.8 a 3.0.17
    • protobuf de 3.17.3 a 3.17.2
    • ptyprocess de 0.6.0 a 0.7.0
    • pyarrow de 1.0.1 a 4.0.0
    • Pigmentos de 2.7.2 a 2.8.1
    • pyzmq de 19.0.2 a 20.0.0
    • solicitações de 2.24.0 a 2.25.1
    • s3transfer de 0.3.6 para 0.3.7
    • scikit-learn de 0.23.2 para 0.24.1
    • scipy de 1.5.2 a 1.6.2
    • seaborn de 0.10.0 a 0.11.1
    • ferramentas de configuração de 50.3.1 a 52.0.0
    • modelos de estatísticas de 0.12.0 a 0.12.2
    • tornado de 6.0.4 para 6.1
    • virtualenv de 20.2.1 a 20.4.1
    • Python wheel de 0.35.1 a 0.36.2

  • Biblioteca R atualizada:

    • Matriz de 1,3-3 a 1,3-4

Apache Spark​

O Databricks Runtime 9.0 inclui o Apache Spark 3.1.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.4 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-35886] [SQL][3.1] PromotePrecision não deve sobrescrever GenCodePromotePrecision não deve sobrescrever GenCode
  • [SPARK-35879] [CORE][shuffle] Corrige a regressão de desempenho causada por collectFetchRequests
  • [SPARK-35817] [SQL][3.1] Restaurar o desempenho de consultas em tabelas Avro amplas
  • [SPARK-35841] [SQL] A conversão de strings para o tipo decimal não funciona se o...
  • [SPARK-35783] [SQL] Defina a lista de colunas de leitura na configuração da tarefa para reduzir a leitura de dados ORC
  • [SPARK-35576] [SQL][3.1] Reduzir as informações confidenciais no resultado do comando Set
  • [SPARK-35449] [SQL][3.1] Extraia somente expressões comuns dos valores de CaseWhen se ElseValue estiver definido
  • [SPARK-35288] [SQL] StaticInvoke deve encontrar o método sem correspondência exata entre as classes de argumentos
  • [SPARK-34794] [SQL] Corrigir problemas de nome de variável lambda em funções DataFrame aninhadas
  • [SPARK-35278] [SQL] O Invoke deve encontrar o método com o número correto de parâmetros
  • [SPARK-35226] [SQL] Suporte à opção refreshKrb5Config em fontes de dados JDBC
  • [SPARK-35244] [SQL] O Invoke deve lançar a exceção original
  • [SPARK-35213] [SQL] Mantém a ordem correta dos structs aninhados em operações withField encadeadas
  • [SPARK-35087] [UI] Algumas colunas da tabela Aggregated métricas by executor da página stage-detail são exibidas incorretamente.
  • [SPARK-35168] [SQL] mapred.reduce.tarefa deve ser shuffle.partitions e não adaptive.coalescePartitions.initialPartitionNum
  • [SPARK-35127] [UI] Quando alternamos entre diferentes páginas de detalhes do estágio, o item de entrada na página recém-aberta pode ficar em branco
  • [SPARK-35142] [Python][ml] Corrigir o tipo de retorno incorreto para rawPredictionUDF em OneVsRestModel
  • [SPARK-35096] [SQL] O SchemaPruning deve aderir ao spark.sql.caseSensitive configuração
  • [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias não deve criar UnresolvedAlias
  • [SPARK-35080] [SQL] Só permite um subconjunto de predicados de igualdade correlacionados quando uma subconsulta é agregada
  • [SPARK-35117] [UI] Alterar a barra de progresso de volta para destacar a proporção da tarefa em andamento
  • [SPARK-35136] Remova o valor nulo inicial de Livestage.info
  • [SPARK-34834] [REDE] Corrija um possível vazamento de memória do Netty no TransportResponseHandler
  • [SPARK-35045] [SQL] Adicionar uma opção interna para controlar o buffer de entrada em univocidade
  • [SPARK-35014] Corrija o padrão PhysicalAggregation para não reescrever expressões dobráveis
  • [SPARK-35019] [Python][sql] Corrigir incompatibilidades de dicas de tipo em PySpark.sql.*
  • [SPARK-34926] [SQL][3.1] partitioningUtils.getPathFragment () deve respeitar que o valor da partição é nulo
  • [SPARK-34630] [Python] Adicionar typehint para PySpark .version
  • [SPARK-34963] [SQL] Corrigir a poda de colunas aninhadas para extrair o campo struct sem distinção entre maiúsculas e minúsculas da matriz de struct
  • [SPARK-34988] [NÚCLEO] [3,1] Atualize o Jetty para CVE-2021-28165
  • [SPARK-34922] [SQL][3.1] Use uma função de comparação de custos relativos no CBO
  • [SPARK-34970] [SQL][security][3.1] Redija as opções do tipo de mapa na saída de explain ()
  • [SPARK-34923] [SQL] A saída de metadados deve estar vazia para mais planos
  • [SPARK-34949] [CORE] Evitar que o BlockManager seja registrado novamente quando o executor estiver sendo desligado
  • [SPARK-34939] [CORE] Lança uma exceção de falha de busca quando não é possível desserializar os status do mapa transmitido
  • [SPARK-34909] [SQL] Corrigir a conversão de negativo para não assinado em conv()
  • [SPARK-34845] [CORE] ProcfsMetricsGetter não deve retornar métricas parciais de procfs
  • [SPARK-34814] [SQL] LikeSimplification deve lidar com NULL
  • [SPARK-34876] [SQL] Preencher defaultResult de agregados não nulos
  • [SPARK-34829] [SQL] Corrigir resultados de funções de ordem superior
  • [SPARK-34840] [SHUFFLE] Corrige casos de corrupção na mesclagem de embaralhamento ...
  • [SPARK-34833] [SQL] Aplicar corretamente o preenchimento à direita para subconsultas correlacionadas
  • [SPARK-34630] [Python][sql] Adicionado typehint para PySpark.sql.Column.contains
  • [SPARK-34763] [SQL] col(), $"name" e df("name") devem tratar corretamente os nomes de colunas entre aspas
  • [SPARK-33482] [SPARK-34756] [SQL] Corrigir a verificação de igualdade do FileScan
  • [SPARK-34790] [CORE] Desabilitar a busca de blocos embaralhados em lotes quando a criptografia io estiver habilitada
  • [SPARK-34803] [PySpark] Passar o ImportError levantado se Pandas ou pyarrow falharem na importação
  • [SPARK-34225] [CORE] Não codificar mais quando uma string de formulário URI for passada para addFile ou addJar
  • [SPARK-34811] [CORE] Reduzir fs.s3a.access.key como segredo e tokens
  • [SPARK-34796] [SQL][3.1] Inicialize a variável contadora para geração de código LIMIT em doProduce ()
  • [SPARK-34128] [SQL] Suprimir avisos indesejáveis de TTransportException envolvidos no THRIFT-4805
  • [SPARK-34776] [SQL] A poda de colunas aninhadas não deve podar os atributos produzidos pela janela
  • [SPARK-34087] [3.1] [sql] Corrige vazamento de memória do ExecutionListenerBus
  • [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords deveria usar o carregador de classe do Spark em vez do contexto
  • [SPARK-34719] [SQL][3.1] Resolver corretamente a consulta view com nomes de coluna duplicados
  • [SPARK-34766] [SQL][3.1] Não capturar a configuração do Maven para visualização
  • [SPARK-34731] [CORE] Evite ConcurrentModificationException ao editar propriedades em EventLoggingListener
  • [SPARK-34737] [SQL][3.1] Converta a flutuação de entrada para dobrar TIMESTAMP_SECONDS
  • [SPARK-34749] [SQL][3.1] Simplifique ResolveCreateNamedStruct
  • [SPARK-34768] [SQL] Respeitar o tamanho do buffer de entrada do default em Univocity
  • [SPARK-34770] [SQL] InMemoryCatalog.tableExists não deve falhar se o banco de dados não existir
  • [SPARK-34504] [SQL] Evite a resolução desnecessária da visualização temporária SQL para o comando DDL
  • [SPARK-34727] [SQL] Corrigir discrepância na conversão de float para timestamp
  • [SPARK-34723] [SQL] Corrigir o tipo de parâmetro para eliminação de subexpressão em estágio completo
  • [SPARK-34724] [SQL] Corrigir avaliação interpretada ao usar getMethod em vez de getDeclaredMethod
  • [SPARK-34713] [SQL] Corrigir grupo por CreateStruct com ExtractValue
  • [SPARK-34697] [SQL] Permitir que DESCRIBE FUNCTION e SHOW FUNCTIONS expliquem sobre || (operador de concatenação de strings)
  • [SPARK-34682] [SQL] Usar PrivateMethodTester em vez de reflexão
  • [SPARK-34682] [SQL] Corrigir regressão na verificação de erro de canonização no CustomShuffleReaderExec
  • [SPARK-34681] [SQL] Corrigir bug no hash embaralhado externo completo join ao construir o lado esquerdo com condição não igual
  • [SPARK-34545] [SQL] Corrigir problemas com o recurso valueCompare do pyrolite
  • [SPARK-34607] [SQL][3.1] Adicione Utils.isMemberClass para corrigir um erro de nome de classe malformado no jdk8u
  • [SPARK-34596] [SQL] Use Utils.getSimpleName para evitar o acerto de um nome de classe malformado em NewInstance.doGenCode
  • [SPARK-34613] [SQL] Corrigir view não captura a configuração da dica de desativação
  • [SPARK-32924] [WEBUI] Fazer com que a coluna de duração na UI principal seja classificada na ordem correta
  • [SPARK-34482] [SS] Corrigir a SparkSession ativa para StreamExecution.logicalPlan
  • [SPARK-34567] [SQL] CreateTableAsSelect deve atualizar as métricas também
  • [SPARK-34599] [SQL] Corrigir o problema de o INSERT INTO OVERWRITE não ser compatível com colunas de partição contendo ponto para DSv2
  • [SPARK-34577] [SQL] Corrigir colunas drop/add em um dataset de DESCRIBE NAMESPACE
  • [SPARK-34584] [SQL] A partição estática também deve seguir StoreAssignmentPolicy ao inserir em tabelas v2
  • [SPARK-34555] [SQL] Resolver a saída de metadados do DataFrame
  • [SPARK-34534] Corrige a ordem BlockIds ao usar fetchShuffleBlocks para buscar blocos
  • [SPARK-34547] [SQL] Usar colunas de metadados para resolução apenas como último recurso
  • [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap falha quando o nome da coluna tem um ponto
  • [SPARK-34561] [SQL] Corrigir colunas drop/add de/para um dataset da v2 DESCRIBE TABLE
  • [SPARK-34556] [SQL] A verificação de colunas de partição estática duplicadas deve respeitar as maiúsculas e minúsculas.
  • [SPARK-34392] [SQL] Suporte a ZoneOffset +h em DateTimeUtils. Obter ID de zona
  • [SPARK-34550] [SQL] Ignorar o valor nulo do InSet durante o filtro push para Hive metastore
  • [SPARK-34543] [SQL] Respeite a configuração spark.sql.caseSensitive ao resolver a especificação de partição na v1 SET LOCATION
  • [SPARK-34436] [SQL] Suporte DPP à expressão LIKE ANY/ALL
  • [SPARK-34531] [CORE] Remover a tag Experimental API no PrometheusServlet
  • [SPARK-34497] [SQL] Corrigir os provedores de conexão JDBC integrados para restaurar as alterações no contexto de segurança JVM
  • [SPARK-34515] [SQL] Corrigir NPE se InSet contiver valor nulo durante getPartitionsByFilter
  • [SPARK-34490] [SQL] a análise deve falhar se o view fizer referência a uma tabela descartada
  • [SPARK-34473] [SQL] Evitar NPE em DataFrameReader.schema(StructType)
  • [SPARK-34384] [CORE] Adicionar documentos que faltam para as APIs do ResourceProfile
  • [SPARK-34373] [SQL] HiveThriftServer2 startWithContext pode travar com um problema de corrida
  • [SPARK-20977] [CORE] Use um campo não final para o estado do CollectionAccumulator
  • [SPARK-34421] [SQL] Resolver funções temporárias e visualizar na visualização com CTEs
  • [SPARK-34431] [CORE] Carregue hive-site.xml apenas uma vez
  • [SPARK-34405] [CORE] Corrige o valor médio de TimersLabels na classe PrometheusServlet
  • [SPARK-33438] [SQL] Inicializar objetos com Confs SQL definidas para o comando set -v
  • [SPARK-34158] URL incorreta do único desenvolvedor Matei em pom.xml
  • [SPARK-34346] [NÚCLEO] [sql] [3,1] io.file.buffer.size definido por spark.buffer.size será substituído ao carregar hive-site.xml acidentalmente, pode causar regressão de desempenho
  • [SPARK-34359] [SQL][3.1] Adicionar uma configuração herdada para restaurar o esquema de saída do SHOW DATABASES
  • [SPARK-34331] [SQL] Acelerar a resolução de col de metadados DS v2
  • [SPARK-34318] [SQL][3.1] dataset.colRegex deve funcionar com nomes de colunas e qualificadores que contenham novas linhas
  • [SPARK-34326] [CORE] [sql] Corrige UTs adicionados ao SPARK-31793 dependendo do comprimento do caminho temporário
  • [SPARK-34319] [SQL] Resolver atributos duplicados para FlatMapCoGroupsInPandas/MapInPandas
  • [SPARK-34310] [CORE] [sql] Substitui map and flatten por flatMap
  • [SPARK-34083] [SQL][3.1] Usando as definições originais do TPCDS para colunas char/varchar
  • [SPARK-34233] [SQL][3.1] FIX NPE para preenchimento de caracteres na comparação binária
  • [SPARK-34270] [SS] Combine StateStoreMetrics não deve substituir StateStoreCustomMetric
  • [SPARK-34144] [SQL] Exceção lançada ao tentar gravar valores de LocalDate e Instant em uma relação JDBC
  • [SPARK-34273] [CORE] Não registre novamente o BlockManager quando o SparkContext for interrompido
  • [SPARK-34262] [SQL][3.1] atualiza os dados em cache da tabela v1 em ALTER TABLE .. SET LOCATION
  • [SPARK-34275] [CORE][sql][MLlib] Substitui filtro e tamanho por contagem
  • [SPARK-34260] [SQL] Corrigir UnresolvedException ao criar view temporário duas vezes
  • [SPARK-33867] [SQL] Os valores Instant e LocalDate não são tratados ao gerar consultas SQL
  • [SPARK-34193] [CORE] Gerenciador de blocos TorrentBroadcast descomissionando race fix
  • [SPARK-34221] [WEBUI] Verifique se um estágio falhar na página da interface do usuário, a mensagem de erro correspondente pode ser exibida corretamente
  • [SPARK-34236] [SQL] Corrigir v2 Overwrite w/ null static partition raise Cannot translate expression to source filter: null
  • [SPARK-34212] [SQL] Corrigir leitura decimal incorreta de arquivos Parquet
  • [SPARK-34244] [SQL] Remover a versão da função Scala de regexp_extract_all
  • [SPARK-34235] [SS] Tornar o spark.sql.hive um pacote privado
  • [SPARK-34232] [CORE] Reduzir o evento SparkListenerEnvironmentUpdate em log
  • [SPARK-34229] [SQL] O Avro deve ler valores decimais com o esquema de arquivo
  • [SPARK-34223] [SQL] CORRIGIR NPE para partição estática com null em InsertIntoHadoopFsRelationCommand
  • [SPARK-34192] [SQL] Mova o preenchimento de caracteres para o lado da gravação e remova a verificação de comprimento também no lado da leitura
  • [SPARK-34203] [SQL] Converta os valores da partição null para __HIVE_DEFAULT_PARTITION__ no catálogo v1 In-Memory
  • [SPARK-33726] [SQL] Correção para nomes de campos duplicados durante a agregação
  • [SPARK-34133] [AVRO] Respeitar a sensibilidade a maiúsculas e minúsculas ao realizar a correspondência de campos do Catalyst-to-Avro
  • [SPARK-34187] [SS] Use a faixa de deslocamento disponível obtida durante a pesquisa ao verificar a validação de deslocamento
  • [SPARK-34052] [SQL][3.1] Armazene o texto de SQL para um view temporário criado usando "CACHE TABLE ... AS SELECT ..."
  • [SPARK-34213] [SQL] atualizar dados em cache da tabela v1 em LOAD DATA
  • [SPARK-34191] [Python][sql] Adicionar digitação para sobrecarga de udf
  • [SPARK-34200] [SQL] Referência de coluna ambígua deve considerar a disponibilidade do atributo
  • [SPARK-33813] [SQL][3.1] Corrigir o problema de que a fonte JDBC não pode tratar os tipos espaciais do MS SQL Server
  • [SPARK-34178] [SQL] Copiar tags para o novo nó criado por MultiInstanceRelation.newInstance
  • [SPARK-34005] [NÚCLEO] [3,1] Atualizar as métricas de memória de pico para cada executor na tarefa end
  • [SPARK-34115] [CORE] Marque SPARK_TESTING como um val lento para evitar lentidão
  • [SPARK-34153] [SQL][3.1][3.0] Remova getRawTable() não utilizado de HiveExternalCatalog.alterPartitions()
  • [SPARK-34130] [SQL] Impove preformace para preenchimento de char varchar e verificação de comprimento com StaticInvoke
  • [SPARK-34027] [SQL][3.1] atualizar o cache em ALTER TABLE .. RECOVER PARTITIONS
  • [SPARK-34151] [SQL] Substitui java.io.File.toURL por java.io.File.toURI.toURL
  • [SPARK-34140] [SQL][3.1] Mover QueryCompilationErrors.Scala para org/apache/spark/sql/errors
  • [SPARK-34080] [ML][Python] Adicionar UnivariateFeatureSelector
  • [SPARK-33790] [NÚCLEO] [3,1] Reduza a chamada rpc de getFileStatus em SingleFileEventLogFileReader
  • [SPARK-34118] [NÚCLEO] [sql] [3,1] Substitui o filtro e verifica se está vazio por exists ou forall
  • [SPARK-34114] [SQL] não deve cortar à direita para verificação do comprimento do caractere do lado da leitura e preenchimento
  • [SPARK-34086] [SQL][3.1] RaiseError gera muito código e pode falhar na verificação de comprimento do codegen para char varchar
  • [SPARK-34075] [SQL][core] Diretórios ocultos estão sendo listados para inferência de partição
  • [SPARK-34076] [SQL] SQLContext.dropTempTable falha se o cache não estiver vazio
  • [SPARK-34084] [SQL][3.1] Corrige a atualização automática das estatísticas da tabela em ALTER TABLE .. ADD PARTITION
  • [SPARK-34090] [SS] Resultado do cache HadoopDelegationTokenManager.isServiceEnabled usado em KafkaTokenUtil.NeedTokenUpdate
  • [SPARK-34069] [CORE] A tarefa de eliminar a barreira deve respeitar o SPARK_JOB_INTERRUPT_ON_CANCEL
  • [SPARK-34091] [SQL] A busca de lotes aleatórios deve poder ser desativada após ter sido ativada
  • [SPARK-34059] [SQL][core][3.1] Use for/foreach em vez de mapear para garantir que seja executado com avidez
  • [SPARK-34002] [SQL] Corrigir o uso do codificador no ScalaUDF
  • [SPARK-34060] [SQL][3.1] Corrigir o cache da tabela Hive ao atualizar as estatísticas por ALTER TABLE .. DROP PARTITION
  • [SPARK-31952] [SQL] Corrigir métricas incorretas de derramamento de memória ao fazer Aggregate
  • [SPARK-33591] [SQL][3.1] Reconheça null nos valores de especificação de partição
  • [SPARK-34055] [SQL][3.1] atualizar o cache em ALTER TABLE .. ADD PARTITION
  • [SPARK-34039] [SQL][3.1] replaceTable deve invalidar o cache
  • [SPARK-34003] [SQL] Corrigir conflitos de regras entre PaddingAndLengthCheckForCharVarchar e ResolveAggregateFunctions
  • [SPARK-33938] [SQL][3.1] Otimize como qualquer/tudo ao curtir a simplificação
  • [SPARK-34021] [R] Corrigir hiperlinks na documentação do SparkR para envio ao CRAN
  • [SPARK-34011] [SQL][3.1][3.0] atualizar o cache em ALTER TABLE .. RENAME TO PARTITION
  • [SPARK-33948] [SQL] Corrigir erro de CodeGen do método MapObjects.doGenCode no Scala 2.13
  • [SPARK-33635] [SS] Ajuste a ordem de verificação em kafkaTokenUtil.needTokenUpdate para corrigir a regressão de desempenho
  • [SPARK-33029] [CORE][webui] Corrigir a página do executor da interface do usuário que marca incorretamente o driver como excluído
  • [SPARK-34015] [R] Corrigindo o tempo de entrada no gapply
  • [SPARK-34012] [SQL] Manter o comportamento consistente quando conf spark.sql.legacy.parser.havingWithoutGroupByAsWhere for verdadeiro com o guia de migração
  • [SPARK-33844] [SQL][3.1] O comando InsertIntoHiveDir também deve verificar o nome da coluna
  • [SPARK-33935] [SQL] Corrigir a função de custo CBO
  • [SPARK-33100] [SQL] Ignorar um ponto e vírgula dentro de um comentário entre colchetes no spark-sql
  • [SPARK-34000] [CORE] Corrigir tentativa de estágio em tarefas especulativas java.util.NoSuchElementException
  • [SPARK-33992] [SQL] substituir transformUpWithNewOutput para adicionar allowInvokingTransformsInAnalyzer
  • [SPARK-33894] [SQL] Alterar a visibilidade das classes de casos privados em MLlib para evitar erros de compilação em tempo de execução com Scala 2.13
  • [SPARK-33950] [SQL][3.1][3.0] atualizar o cache na v1 ALTER TABLE .. DROP PARTITION
  • [SPARK-33980] [SS] Invalidar char/varchar em spark.readstream.schema
  • [SPARK-33945] [SQL][3.1] Manipula uma semente aleatória que consiste em uma árvore expr
  • [SPARK-33398] Correção do carregamento de modelos de árvore anteriores ao Spark 3.0
  • [SPARK-33963] [SQL] Canonizar HiveTableRelation sem estatísticas de tabela
  • [SPARK-33906] [WEBUI] Corrigir o bug da página do executor da interface do usuário travada devido ao peakMemoryMetrics indefinido
  • [SPARK-33944] [SQL] Registro incorreto para a chave do depósito nas opções do SharedState
  • [SPARK-33936] [SQL][3.1] Adicione a versão quando as interfaces do conector foram adicionadas
  • [SPARK-33916] [CORE] Corrige o deslocamento do armazenamento de fallback e melhora a cobertura do teste do codec de compressão
  • [SPARK-33899] [SQL][3.1] Correção de falha de afirmação na v1 SHOW TABLES/view on spark_catalog
  • [SPARK-33901] [SQL] Corrigir erro de exibição de Char e Varchar após DDLs
  • [SPARK-33897] [SQL] Não é possível definir a opção 'cross' no método join
  • [SPARK-33907] [SQL][3.1] Remova as colunas de JSONToStructs somente se as opções de análise estiverem vazias
  • [SPARK-33621] [SPARK-33784] [SQL][3.1] Adicionar uma maneira de injetar regras de reescrita na fonte de dados
  • [SPARK-33900] [WEBUI] Mostrar corretamente o tamanho da leitura aleatória / registros quando apenas remotebytesread estiver disponível
  • [SPARK-33892] [SQL] Exibir char/varchar em DESC e SHOW CREATE TABLE
  • [SPARK-33895] [SQL] Char e Varchar falham na MetaOperação do ThriftServer
  • [SPARK-33659] [SS] Documentar o comportamento atual da API DataStreamWriter.toTable
  • [SPARK-33893] [CORE] Excluir o gerenciador de blocos de fallback da executorList
  • [SPARK-33277] [PySpark][sql] Use o ContextAwareIterator para interromper o consumo após o término da tarefa
  • [SPARK-33889] [SQL][3.1] Corrija o NPE de SHOW PARTITIONS nas tabelas V2
  • [SPARK-33879] [SQL] Valores Char Varchar falham com erro de correspondência como colunas de partição
  • [SPARK-33877] [SQL] Documentos de referência SQL para INSERT com uma lista de colunas
  • [SPARK-33876] [SQL] Adicionar verificação de comprimento para leitura de char/varchar de tabelas com local externo
  • [SPARK-33846] [SQL] Incluir comentários para um esquema aninhado em StructType.toDDL
  • [SPARK-33860] [SQL] Fazer com que CatalystTypeConverters.convertToCatalyst corresponda a um valor de matriz especial
  • [SPARK-33834] [SQL] Verificar ALTER TABLE CHANGE COLUMN com Char e Varchar
  • [SPARK-33853] [SQL] EXPLAIN CODEGEN e BenchmarkQueryTest não mostram o código da subconsulta
  • [SPARK-33836] [SS][Python] Expor DataStreamReader.table e DataStreamWriter.toTable
  • [SPARK-33829] [SQL][3.1] Renomear tabelas v2 deve recriar o cache
  • [SPARK-33756] [SQL] Tornar o MapIterator do BytesToBytesMap idempotente
  • [SPARK-33850] [SQL] EXPLAIN FORMATTED não mostra o plano para subconsultas se o AQE estiver ativado
  • [SPARK-33841] [NÚCLEO] [3,1] Corrigir o problema de desaparecimento intermitente do trabalho no SHS sob alta carga
  • [SPARK-33593] [SQL] O leitor de vetores obteve dados incorretos com valor de partição binária
  • [SPARK-26341] [WEBUI] Exponha executor métricas de memória no nível do estágio, nos Estágios tab
  • [SPARK-33831] [UI] Atualização para o jetty 9.4.34
  • [SPARK-33822] [SQL] Use o método CastSupport.cast em HashJoin
  • [SPARK-33774] [UI][core] Back to Master" retorna erro 500 em clustering autônomo
  • [SPARK-26199] [SPARK-31517] [R] Corrigir estratégia para lidar com... nomes em mutação
  • [SPARK-33819] [NÚCLEO] [3,1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader deve ser package private
  • [SPARK-33697] [SQL] RemoveRedundantProjects deve exigir a ordenação de colunas por default
  • [SPARK-33752] [SQL][3.1] Evite o GetSimpleMessage of AnalysisException adiciona ponto e vírgula repetidamente
  • [SPARK-33788] [SQL][3.1][3.0][2.4] Lance NoSuchPartitionsException de hiveExternalCatalog.dropPartitions ()
  • [SPARK-33803] [SQL] Classificar propriedades da tabela por key em DESCRIBE TABLE comando
  • [SPARK-33786] [SQL] O nível de armazenamento de um cache deve ser respeitado quando um nome de tabela é alterado
  • [SPARK-33273] [SQL] Corrigir uma condição de corrida na execução de subconsultas
  • [SPARK-33653] [SQL][3.1] DSv2: REFRESH TABLE deve armazenar novamente em cache a própria tabela
  • [SPARK-33777] [SQL] Classificar a saída do V2 SHOW PARTITIONS
  • [SPARK-33733] [SQL] PullOutNondeterministic deve verificar e coletar o campo determinístico
  • [SPARK-33764] [SS] Fazer armazenamento do intervalo de manutenção do estado como SQL config
  • [SPARK-33729] [SQL] Ao atualizar o cache, o Spark não deve usar o plano em cache ao recuperar os dados
  • [SPARK-33742] [SQL][3.1] Lance PartitionsAlreadyExistException de hiveExternalCatalog.createPartitions ()
  • [SPARK-33706] [SQL] Exigir identificador de partição totalmente especificado em partitionExists()
  • [SPARK-33740] [SQL] As configurações do hadoop no hive-site.xml podem substituir as configurações pré-existentes do hadoop
  • [SPARK-33692] [SQL] a visualização deve usar o catálogo e o namespace capturados para a função de pesquisa
  • [SPARK-33669] Mensagem de erro incorreta do monitor de estado do aplicativo YARN quando sc.stop está no modo cliente yarn
  • [SPARK-32110] [SQL] normalizar números flutuantes especiais no HyperLogLog++
  • [SPARK-33677] [SQL] Ignorar a regra LikeSimplification se o padrão contiver qualquer escapeChar
  • [SPARK-33693] [SQL] depreciar spark.sql.hive.convertCTAS
  • [SPARK-33641] [SQL] Invalidar novos tipos char/varchar em APIs públicas que produzem resultados incorretos
  • [SPARK-32680] [SQL] Não pré-processar CTAS V2 com consulta não resolvida
  • [SPARK-33676] [SQL] Exigir a correspondência exata da especificação da partição com o esquema em V2 ALTER TABLE .. ADD/DROP PARTITION
  • [SPARK-33670] [SQL] Verifique se o provedor de partição é o Hive em v1 SHOW TABLE EXTENDED
  • [SPARK-33663] [SQL] A remoção de cache não deve ser chamada em uma visualização temporária inexistente
  • [SPARK-33667] [SQL] Respeite a configuração spark.sql.caseSensitive ao resolver a especificação de partição na v1 SHOW PARTITIONS
  • [SPARK-33652] [SQL] DSv2: DeleteFrom deve refresh cache

Atualizações de manutenção​

Consulte Atualizações de manutenção do Databricks Runtime 9.0.

Ambiente do sistema​

  • Sistema operacional : Ubuntu 20.04.2 LTS
  • Java : Zulu 8.54.0.21-CA-linux64
  • Scala : 2.12.10
  • Python : 3.8.10
  • R : 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Instalado Python biblioteca​

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

Antergos Linux

2015.10 (versão ISO)

apronta

1.4.4

chamada de volta

0.2.0

boto3

1,16.7

botocore

1.19,7

certifi

2020.12,5

chardet

4.0.0

ciclador

0.10.0

Cython

0,29,23

dbus-Python

1.2.16

decorador

5.0.6

distlib

0.3.2

informação da distribuição

0,23 ubuntu 1

visão geral das facetas

1.0.0

bloqueio de arquivo

3.0.12

Índia

2,10

ipykernel

5.3.4

ipython

7.22,0

ipython-genutils

0.2.0

jedi

0,17.2

jmespath

0.10.0

joblib

1.0.1

cliente jupyter

6.1.12

núcleo jupyter

4.7.1

solucionador de kiwi

1.3.1

coalas

1.8.1

Matplotlib

3.4.2

entorpecido

1.19.2

Pandas

1.2.4

parso

0.7.0

bode expiatório

0.5.1

esperar

4.8.0

picles

0.7.5

Travesseiro

8.2.0

pip

21.0.1

Plotly

4.14.3

kit de ferramentas de aviso

3.0.17

protobuf

3.17.2

psycopg2

2.8.5

processo pty

0.7.0

flecha

4.0.0

Pigmentos

2.8.1

Objeto PYG

3,36,0

análise de pipa

2.4.7

Python-apt

2.0.0+ubuntu0.20.4.5

Python-dateutil

2.8.1

pytz

2020,5

pizma

20.0.0

pedidos

2.25.1

solicitações - soquete unix

0.2.0

tentando novamente

1.3.3

transferência s3

0.3.7

scikit-learn

0,24,1

pegajoso

1.6.2

marítimo

0.11.1

ferramentas de configuração

52,0,0

seis

1,15.0

ID de importação ssh

5,10

modelos de estatísticas

0.12.2

threadpool ctl

2.1.0

tornado

6.1

almôndegas

5.0.5

atualizações autônomas

0,1

urllib3

1,25.11

ambiente virtual

20.4.1

largura do wc

0.2.5

Python wheel

0,36,2

Instalada a R biblioteca​

O R biblioteca é instalado a partir do Snapshot Microsoft CRAN em 2021-07-28.

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

askpass

1.1

afirme que

0.2.1

portas traseiras

1.2.1

base

4.1.0

base64enc

0,1-3

POR

1,72,0-3

pouco

4.0.4

bit64

4.0.5

bolha

1.2.1

inicialização

1,3-28

fermentar

1,0-6

brio

1.1.0

vassoura

0.7.2

chamador

3.5.1

cursor

6,0-86

guarda de celas

1.1.0

crono

2,3-56

Aula

7,3-19

CLIPE

2.2.0

clipe

0.7.1

Cluster

2.1.2

ferramentas de código

0,2-18

espaço de cores

2,0-0

marca comum

1.7

compilador

4.1.0

configuração

0,3

capa

3.5.1

cpp11

0.2.4

giz de cera

1.3.4

Credenciais

1.3.0

diafonia

1.1.0.1

cacho

4.3

data.tabela

1,13.4

conjunto de dados

4.1.0

DBI

1.1.0

dbplyr

2.0.0

desc

1.2.0

ferramentas de desenvolvimento

2.3.2

diff

0.3.2

digerir

0,6.27

dplyr

1.0.2

DT

0,16

reticências

0.3.1

avalie

0,14

fansi

0.4.1

colorista

2.0.3

mapa rápido

1.0.1

para gatos

0.5.0

para cada um

1.5.1

estrangeira

0,8-81

forjar

0.2.0

fs

1.5.0

futuro

1,21,0

genéricas

0.1.0

obter

1.0.2

ggplot2

3.3.2

gh

1.2.0

gitcreds

0.1.1

glmnet

4,0-2

globais

0.14.0

cola

1.4.2

goleiro

0.2.2

gráficos

4.1.0

Dispositivos GR

4.1.0

grade

4.1.0

Grid Extra

2.3

gsubfn

0,7

mesa

0.3.0

refúgio

2.3.1

mais alto

0,8

HMS

0.5.3

ferramentas html

0.5.0

widgets html

1.5.3

http.uv

1.5.4

httr

1.4.2

escritor

1.3.2

HWriter Plus

1,0-3

mini

0.3.1

ipred

0,9-9

isóbanda

0.2.3

iteradores

1,0.13

jsonlite

1.7.2

Kern Smooth

2,23-20

tricotar

1,30

rótulo

0.4.2

posteriormente

1.1.0.1

treliça

0,20-44

lava

1.6.8.1

preguiçoso

0.2.2

ciclo de vida

0.2.0

ouvindo

0,8.0

lubrificar

1.7.9.2

magritter

2.0.1

Markdown

1.1

MASSA

7,3-54

Matriz

1,3-4

memoise

1.1.0

métodos

4.1.0

mgcv

1,8-36

mímica

0,9

Métricas do modelo

1.2.2.2

modelar

0.1.8

munsell

0.5.0

nome

3,1-152

net

7,3-16

Número Deriv

2016,8-1,1

openssl

1.4.3

paralelo

4.1.0

paralelamente

1,22,0

pilar

1.4.7

pkgbuild

1.1.0

pkgconfig

2.0.3

carregamento de pacotes

1.1.0

plogr

0.2.0

plyr

1.8.6

elogio

1.0.0

unidades bonitas

1.1.1

ProC

1.16.2

processa

3.4.5

prodlim

13/11/2019

progresso

1.2.2

promessas

1.1.1

proto

1.0.0

ps

1.5.0

ronronar

0.3.4

r2d3

0.2.3

R6

2.5.0

Floresta aleatória

4,6-14

corredeiras

0.3.1

rcmdcheck

1.3.3

Cervejaria RColor

1,1-2

Rcpp

1.0.5

leitor

1.4.0

readxl

1.3.1

receitas

0,1,15

revanche

1.0.1

revanche 2

2.1.2

controles remotos

2.2.0

reprex

0.3.0

remodelar 2

1.4.4

rex

1.2.0

rlang

0.4.9

rmarkdown

2.6

RODBC

1,3-17

roxigênio2

7.1.1

rpartem

4,1-15

rprojroot

2.0.2

Reservar

1,8-8

RSQLite

2.2.1

API do estúdio

0,13

reversões

2.0.2

colete

0.3.6

escala

1.1.1

seletor

0,4-2

informações da sessão

1.1.1

forma

1.4.5

brilhante

1.5.0

ferramentas de origem

0.1.7

Sparklyr

1.5.2

SparkR

3.1.1

espacial

7,3-11

splines

4.1.0

sqldf

0,4-11

QUADRADO

2020,5

estatísticas

4.1.0

estatísticas4

4.1.0

stringi

1.5.3

longarina

1.4.0

sobrevivência

3,2-11

diz

3.4

tcltk

4.1.0

Demonstrações de ensino

2,10

teste isso

3.0.0

petiscar

3.0.4

arrumado

1.1.2

seleção arrumada

1.1.0

tidyverso

1.3.0

Hora/Data

3043,102

tinytex

0,28

Ferramentas

4.1.0

use isso

2.0.0

utf 8

1.1.4

utilidades

4.1.0

uuid

0,1-4

vctrs

0.3.5

Viridis Lite

0.3.0

waldo

0.2.3

bigode

0,4

murchar

2.3.0

diversão

0,19

xml2

1.3.2

xopen

1.0.0

x estável

1,8-4

yaml

2.2.1

compactar

2.1.1

Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)​

ID do grupo

ID do artefato

Versão

chifre

chifre

2.7.7

com.amazonaws

Amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscale

1,11.655

com.amazonaws

formação de nuvem aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-cloudfront

1,11.655

com.amazonaws

aws-java-sdk-cloudhsm

1,11.655

com.amazonaws

aws-java-sdk-cloudsearch

1,11.655

com.amazonaws

aws-java-sdk-cloudtrail

1,11.655

com.amazonaws

aws-java-sdk-cloudwatch

1,11.655

com.amazonaws

métricas aws-java-sdk-cloudwatch

1,11.655

com.amazonaws

aws-java-sdk-codedeploy

1,11.655

com.amazonaws

identidade cognitiva aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-cognitosync

1,11.655

com.amazonaws

aws-java-sdk-config

1,11.655

com.amazonaws

aws-java-sdk-core

1,11.655

com.amazonaws

pipeline de dados aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-conexão direta

1,11.655

com.amazonaws

diretório aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-dynamodb

1,11.655

com.amazonaws

aws-java-sdk-ec2

1,11.655

com.amazonaws

aws-java-sdk-ecs

1,11.655

com.amazonaws

aws-java-sdk-efs

1,11.655

com.amazonaws

aws-java-sdk-elasticache

1,11.655

com.amazonaws

aws-java-sdk-elasticbeanstalk

1,11.655

com.amazonaws

balanceamento de carga elástico aws-java-sdk

1,11.655

com.amazonaws

transcodificador elástico aws-java-sdk-

1,11.655

com.amazonaws

aws-java-sdk-emr

1,11.655

com.amazonaws

aws-java-sdk-glacier

1,11.655

com.amazonaws

aws-java-sdk-glue

1,11.655

com.amazonaws

aws-java-sdk-iam

1,11.655

com.amazonaws

aws-java-sdk-importação/exportação

1,11.655

com.amazonaws

aws-java-sdk-kinesis

1,11.655

com.amazonaws

aws-java-sdk-kms

1,11.655

com.amazonaws

aws-java-sdk-lambda

1,11.655

com.amazonaws

aws-java-sdk-logs

1,11.655

com.amazonaws

aws-java-sdk - aprendizado de máquina

1,11.655

com.amazonaws

análise de comércio eletrônico aws-java-sdk-marketplace

1,11.655

com.amazonaws

serviço de medição de mercado aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-opsworks

1,11.655

com.amazonaws

aws-java-sdk-rds

1,11.655

com.amazonaws

aws-java-sdk-redshift

1,11.655

com.amazonaws

aws-java-sdk-route53

1,11.655

com.amazonaws

aws-java-sdk-s3

1,11.655

com.amazonaws

aws-java-sdk-ses

1,11.655

com.amazonaws

aws-java-sdk-simpledb

1,11.655

com.amazonaws

aws-java-sdk - fluxo de trabalho simples

1,11.655

com.amazonaws

aws-java-sdk-sns

1,11.655

com.amazonaws

aws-java-sdk-sqs

1,11.655

com.amazonaws

aws-java-sdk-ssm

1,11.655

com.amazonaws

gateway de armazenamento aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-sts

1,11.655

com.amazonaws

suporte aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-swf-biblioteca

1.11.22

com.amazonaws

aws-java-sdk-workspace

1,11.655

com.amazonaws

jmespath-java

1,11.655

com.chuusai

sem forma_2.12

2.3.3

com.clearspring.analítica

transmissão

2.9.6

com.databricks

Reservar

1,8-3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

plugin_2.12 do compilador

0,4,15-10

com.databricks.scalapb

scalapb-runtime_2.12

0,4,15-10

com.esotérico software

crio-sombreado

4.0.2

com.esotérico software

minlog

1.3.0

com.fasterxml

colega de classe

1.3.4

com.fasterxml.jackson.core

jackson-anotação

2.10.0

com.fasterxml.jackson.core

jackson-core

2.10.0

com.fasterxml.jackson.core

vinculação de dados jackson

2.10.0

formato de dados com.fasterxml.jackson.

formato de dados jackson-cbor

2.10.0

com.fasterxml.jackson.tipo de dados

jackson-datatype-joda

2.10.0

com.fasterxml.jackson.module

parâmetro do módulo jackson

2.10.0

com.fasterxml.jackson.module

jackson-module-Scala.12

2.10.0

com.github.ben-manes.cafeína

cafeína

2.3.4

com.github.fommil

descarregador

1.1

com.github.fommil.netlib

abdômen

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-nativos

1.1

com.github.fommil.netlib

sistema_nativo-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.joshelser

dropwizard-métricas-hadoop-metrics2-reporter

0.1.2

com.github.luben

zstd-jni

1,4,8-1

com.github.wendykierp

JTransforma

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.2.4

com.google.flatbuffers

tampões planos-java

1.9.0

com.google.goiaba

goiaba

15,0

com.google.protobuf

protobuf-java

2.6.1

banco de dados com.h2

h2

1,4,195

com.helger

perfilador

1.1.1

com.jcraft

jsch

0,1,50

com.jolbox

bonecp

VERSÃO 0.8.0.

com.lihaoyi

código-fonte_2.12

0.1.9

com.microsoft.azure

azure-data lake-store-sdk

2.3.9

com.microsoft.sqlserver

mssql-JDBC

9.2.1. jre8

comendo

comprimir-lzf

1.0.3

com.sun.mail

javax.mail

1.5.2

com.trunning

JSON

1,8

com.thoughtworks.paranamer

paranâmero

2.8

com.trueaccord.lenses

lentes_2.12

0.4.12

com.Twitter

chill-java

0,9.5

com.Twitter

chill_2.12

0,9.5

com.Twitter

util-app_2.12

7.1.0

com.Twitter

util-core_2.12

7.1.0

com.Twitter

função-útil_2.12

7.1.0

com.Twitter

util-jvm_2.12

7.1.0

com.Twitter

util-lint_2.12

7.1.0

com.Twitter

util-registry_2.12

7.1.0

com.Twitter

util-stats_2.12

7.1.0

com.typesafe

configuração

1.2.1

com.typesafe.Scala-logging

Scala-logging_2.12

3.7.2

com.univocidade

analisadores de univocidade

2.9.1

com.zaxxer

HikaricP

3.1.0

folhas de feijão comum

folhas de feijão comum

1.9.4

comum-CLI

comum-CLI

1.2

codec comum

codec comum

1,10

coleções comuns

coleções comuns

3.2.2

configuração comum

configuração comum

1,6

commons-dbcp

commons-dbcp

1.4

digestor comum

digestor comum

1,8

upload de arquivo commons

upload de arquivo commons

1.3.3

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2,4

linguagem comum

linguagem comum

2.6

registro de bens comuns

registro de bens comuns

1.1.3

commons-net

commons-net

3.1

comum-pool

comum-pool

1.5.4

hive-2.3__hadoop-2.7

jets3t-0.7

liball_deps_2,12

hive-2.3__hadoop-2.7

tratador do zoológico-3.4

liball_deps_2,12

info.ganglia.gmetric4j

gmetric4j

1.0.10

io. airlift

compressor de ar

0,10

io.delta

delta-compartilhamento-spark_2.12

0.1.0

io.dropwizard.métricas

núcleo de métricas

4.1.1

io.dropwizard.métricas

métricas-grafite

4.1.1

io.dropwizard.métricas

métricas-healthchecks

4.1.1

io.dropwizard.métricas

métricas-jetty9

4.1.1

io.dropwizard.métricas

métricas-jmx

4.1.1

io.dropwizard.métricas

métricas-JSON

4.1.1

io.dropwizard.métricas

métricas-JVM

4.1.1

io.dropwizard.métricas

métricas-servlets

4.1.1

io.netty

tudo

4.1.51.Final

io. prometheus

cliente simples

0.7.0

io. prometheus

simpleclient_common

0.7.0

io. prometheus

simpleclient_dropwizard

0.7.0

io. prometheus

gateway client_push simples

0.7.0

io. prometheus

client_servlet simples

0.7.0

io.prometheus.jmx

coletor

0.12.0

jakarta.anotação

jakarta.anotação-api

1.3.5

jakarta.validação

jakarta.validação-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.ativação

ativação

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

jsp-api

2.1

javax.transaction

jta

1.1

javax.transaction

API de transação

1.1

javax.xml.bind

jaxb-api

2.2.2

javax.xml.transmissão

stax-api

1,0-2

javolução

javolução

5.5.1

junte-se

junte-se

2.14.6

hora do dia

hora do dia

2.10.5

log4j

apache-log4j-extras

1.2.17

log4j

log4j

1.2.17

Maven-árvores

hive-2.3__hadoop-2.7

liball_deps_2,12

net.java.dev.jna

jna

5.8.0

net.razorvine

pirolita

4,30

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

supercsv

2.2.0

net.snowflake

SDK de ingestão de flocos de neve

0.9.6

net.snowflake

floco de neve-JDBC

3.13.3

net.snowflake

floco de neve faísca_2.12

2.9.0-spark_3.1

net.sourceforge.f2j

arpack_combined_all

0,1

org.acplt.remotetea

chá remoto - oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4,8-1

org.antlr

modelo de string

3.2.1

org.apache.ant

formiga

1.9.2

org.apache.ant

formiga

1.9.2

org.apache.ant

lançador de formigas

1.9.2

org.apache.arrow

formato de seta

2.0.0

org.apache.arrow

núcleo de memória de seta

2.0.0

org.apache.arrow

rede de memória de seta

2.0.0

org.apache.arrow

vetor de seta

2.0.0

org.apache.avro

AVRO

1.8.2

org.apache.avro

avro-ipc

1.8.2

org.apache.avro

avro-mapred-hadoop2

1.8.2

org.apache.commons

compressa comum

1,20

org.apache.commons

criptomoeda comum

1.1.0

org.apache.commons

commons-lang3

3.10

org.apache.commons

commons-math3

3.4.1

org.apache.commons

texto comum

1,6

org.apache.curator

curador-cliente

2.7.1

org.apache.curator

estrutura de curador

2.7.1

org.apache.curator

receitas de curadores

2.7.1

org.apache.derby

derby

10.12.1.1

org.apache.directory.api

api-asn1-api

1,0,0-M20

org.apache.directory.api

utilitário de API

1,0,0-M20

org.apache.directory.server

apacheds-i18n

2,0,0-M15

org.apache.directory.server

codec apacheds-kerberos

2,0,0-M15

org.apache.hadoop

hadoop-anotação

2.7.4

org.apache.hadoop

autenticação hadoop

2.7.4

org.apache.hadoop

cliente hadoop

2.7.4

org.apache.hadoop

hadoop-comum

2.7.4

org.apache.hadoop

hadoop-HDFS

2.7.4

org.apache.hadoop

aplicativo cliente hadoop mapreduce

2.7.4

org.apache.hadoop

hadoop-mapreduce-client-common

2.7.4

org.apache.hadoop

núcleo do cliente hadoop-mapreduce

2.7.4

org.apache.hadoop

hadoop-mapreduce-client-jobclient

2.7.4

org.apache.hadoop

hadoop-mapreduce-client-shuffle

2.7.4

org.apache.hadoop

API hadoop yarn

2.7.4

org.apache.hadoop

cliente hadoop-yarn

2.7.4

org.apache.hadoop

hadoop-yarn-common

2.7.4

org.apache.hadoop

servidor hadoop-yarn-comum

2.7.4

org.apache.hive

hive-beeline

2.3.7

org.apache.hive

colmeia-CLI

2.3.7

org.apache.hive

hive-JDBC

2.3.7

org.apache.hive

hive-llap-client

2.3.7

org.apache.hive

hive-lap-common

2.3.7

org.apache.hive

colmeia

2.3.7

org.apache.hive

hive-shims

2.3.7

org.apache.hive

API de armazenamento em nuvem

2.7.2

org.apache.hive.shims

calços de colmeia - 0,23

2.3.7

org.apache.hive.shims

calços de colmeia comuns

2.3.7

org.apache.hive.shims

hive-shims-programador

2.3.7

org.apache.htrace

htrace-core

3.1.0 - incubação

org.apache.httpcomponents

cliente http

4.5.6

org.apache.httpcomponents

httpcore

4.4.12

org.apache.ivy

hera

2.4.0

org.apache.mesos

protobuf sombreado em mesos

1.4.0

org.apache.orc

núcleo orc

1.5.12

org.apache.orc

orc-mapreduce

1.5.12

org.apache.orc

calços de orc

1.5.12

org.apache.parquet

coluna de parquete

1.10.1 - blocos de dados 9

org.apache.parquet

parquete comum

1.10.1 - blocos de dados 9

org.apache.parquet

codificação de parquet

1.10.1 - blocos de dados 9

org.apache.parquet

formato de parquet

2.4.0

org.apache.parquet

parquet-hadoop

1.10.1 - blocos de dados 9

org.apache.parquet

parquet-jackson

1.10.1 - blocos de dados 9

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.xbean

xbean-asm7-shaded

4,15

org.apache.yetus

audiência-anotação

0.5.0

org.apache.zookeeper

tratador

3.4.14

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-jaxers

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.jackson

jackson-xc

1.9.13

org.codehaus.janino

compilador common

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

núcleo de dados-api-jdo

4.2.4

org.datanucleus

núcleo de dados

4.1.17

org.datanucleus

núcleo de dados-rdbms

4.1.19

org.datanucleus

javax.jdo

3,2,0-m3

org.Eclipse.jetty

jetty-client

9.4.36.v20210114

org.Eclipse.jetty

continuação do cais

9.4.36.v20210114

org.Eclipse.jetty

jetty-http

9.4.36.v20210114

org.Eclipse.jetty

jetty-io

9.4.36.v20210114

org.Eclipse.jetty

jetty-jndi

9.4.36.v20210114

org.Eclipse.jetty

jetty-plus

9.4.36.v20210114

org.Eclipse.jetty

jetty-proxy

9.4.36.v20210114

org.Eclipse.jetty

segurança do cais

9.4.36.v20210114

org.Eclipse.jetty

servidor jetty-server

9.4.36.v20210114

org.Eclipse.jetty

jutty-servlet

9.4.36.v20210114

org.Eclipse.jetty

píer de servlets

9.4.36.v20210114

org.Eclipse.jetty

jetty-util

9.4.36.v20210114

org.Eclipse.jetty

jetty-util-ajax

9.4.36.v20210114

org.Eclipse.jetty

aplicativo web jetty-

9.4.36.v20210114

org.Eclipse.jetty

jetty-xml

9.4.36.v20210114

org.fusesource.leveldbjni

leveldbjni-tudo

1,8

org.glassfish.hk2

API hk2

2.6.1

org.glassfish.hk2

localizador hk2

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-recurso-locator

1.0.3

org.glassfish.hk2.external

aopalliance - reembalado

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

servlet de contêiner de camisa

2,30

org.glassfish.jersey.containers

jersey-container-servlet-core

2,30

org.glassfish.jersey.core

cliente de camisa

2,30

org.glassfish.jersey.core

camiseta comum

2,30

org.glassfish.jersey.core

servidor de camisa

2,30

org.glassfish.jersey.inject

camiseta-hk2

2,30

org.glassfish.jersey.media

jersey-media-jaxb

2,30

org.hibernate.validator

validador de hibernação

6.1.0. Final

org.javassist

javassist

3,25,0 GA

org.jboss.logging

registro de jboss-logging

3.3.2. Final

org.jdbi

jdbi

2.63,1

org.joda

conversor de joda

1.7

org.jodd

núcleo nodular

3.5.2

org.json4s

json4s-ast_2.12

3,7,0 M5

org.json4s

json4s-core_2.12

3,7,0 M5

org.json4s

json4s-jackson_2.12

3,7,0 M5

org.json4s

json4s-scalap_2.12

3,7,0 M5

org.lz4

lz4-java

1.7.1

org.mariadb.JDBC

cliente mariadb-java

2.2.5

org.objenesis

objênese

2.5.1

org.postgresql

PostgreSQL

42,14

org.roaringbitmap

Mapa de bits estrondoso

0,9.14

org.roaringbitmap

calços

0,9.14

org.rocksdb

rocksdbjni

6.20.3

org.rosuda.rEngine

Motor

2.1.0

org.Scala-lang

Scala-compiler_2.12

2.12.10

org.Scala-lang

Scala-biblioteca.12

2.12.10

org.Scala-lang

Scala-reflect_2.12

2.12.10

org.Scala-lang.modules

Scala-collection-compat_2.12

2.1.1

org.Scala-lang.modules

Scala-parser-combinators_2.12

1.1.2

org.Scala-lang.modules

Scala-xml_2.12

1.2.0

org.Scala-sbt

interface de teste

1,0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

breeze-macros_2.12

1,0

org.scalanlp

breeze_2.12

1,0

org.scalatest

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1,7.30

org.slf4j

jul-a-slf4j

1,7.30

org.slf4j

slf4j-api

1,7.30

org.slf4j

slf4j-log4j12

1,7.30

org.spark-project.spark

não utilizado

1.0.0

org.springframework

núcleo de mola

4.1.4. LANÇAMENTO

org.springframework

teste de primavera

4.1.4. LANÇAMENTO

org.threeten

treze e mais

1.5.0

org.tukaani

xz

1.5

org.typelevel

álgebra_2.12

2,0,0-M2

org.typelevel

cats-kernel_2.12

2,0,0-M4

org.typelevel

maquinista_2.12

0.6.8

org.typelevel

macro-compat_2,12

1.1.1

org.typelevel

spire-macros_2.12

0,17.0-M1

org.typelevel

spire-platform_2.12

0,17.0-M1

org.typelevel

spire-util_2.12

0,17.0-M1

org.typelevel

spire_2.12

0,17.0-M1

org.wildfly.openssl

wildfly-openssl

1.0.7. Final

org.xerial

sqlite-JDBC

3.8.11.2

org.xerial.snappy

snappy-java

1.1.8.2

org.yaml

snakeyaml

1,24

oro

oro

2.0.8

pt.edu.icm

Matrizes JLarge

1.5

software.Amazon.ion

ion-java

1.0.2

stax

stax-api

1.0.1

xmlenc

xmlenc

0,52

Última atualização em