Pular para o conteúdo principal

Databricks Runtime 9.1 LTS

As notas a seguir sobre a versão fornecem informações sobre Databricks Runtime 9.1 LTS e Databricks Runtime 9.1 LTS Photon, alimentado por Apache Spark 3.1.2. A Databricks lançou essa versão em setembro de 2021. O Photon está em visualização pública.

nota

LTS significa que essa versão está sob suporte de longo prazo . Consulte o ciclo de vida da versão do Databricks Runtime LTS.

dica

Para ver as notas sobre a versão das versões do site Databricks Runtime que chegaram ao fim do suporte (EoS), consulte Fim do suporte Databricks Runtime notas sobre a versão. As versões do EoS Databricks Runtime foram retiradas e podem não ser atualizadas.

Novos recursos e melhorias​

As dicas de esquema do Auto Loader agora funcionam com tipos de matriz e mapa​

Os tipos de matriz e mapa são suportados em Override schema inference with schema hints for Auto Loader ( Substituir inferência de esquema com dicas de esquema para o Auto Loader).

Exemplos de dicas de esquema para matrizes incluem:

  1. arr Array<TYPE> altera o tipo de matriz.
  2. arr.element TYPE altera o tipo de matriz (usando a palavra-chave element).
  3. arr.element.x TYPE altera um tipo de campo aninhado em uma matriz de estruturas.

Os dois primeiros exemplos são dicas para alterar o tipo de matriz arr para TYPE, mas eles usam uma sintaxe diferente. No terceiro exemplo, arr é uma matriz de estruturas com um campo x. Este exemplo mostra como alterar o tipo de x para TYPE.

Exemplos de dicas de esquema para mapas incluem:

  1. m Map<KEY-TYPE, VALUE-TYPE> altera o mapa key e os tipos de valores.
  2. m.key TYPE altera o tipo de chave do mapa.
  3. m.value TYPE altera o tipo de valores do mapa.
  4. m.key.x TYPE altera o tipo de campo em um mapa key.
  5. m.value.x TYPE altera o tipo de campo de um valor de mapa.

O primeiro exemplo altera os tipos key e value do mapa m para KEY_TYPE e VALUE_TYPE, respectivamente. O segundo e o terceiro exemplos podem ser usados se apenas o tipo key ou apenas o tipo de valor precisar ser alterado. No quarto e quinto exemplos, m é um mapa com key e valor de tipos de estrutura com um campo x. Este exemplo mostra como alterar o tipo de x para TYPE.

Avro Suporte de arquivo para o esquema merge​

O formato de arquivo Avro agora suporta a opção mergeSchema ao ler arquivos. A definição de mergeSchema como true ao ler arquivos Avro inferirá um esquema de um conjunto de arquivos Avro em vez de um único arquivo. Isso melhora a usabilidade ao inferir um esquema que pode ser capaz de ler todos os arquivos, mesmo que seus esquemas individuais sejam diferentes. Consulte Configuração.

Suporte à listagem incremental do Auto Loader (visualização pública)​

No caso de arquivos gerados lexicograficamente, o que é o Auto Loader? agora aproveita a ordenação lexical de arquivos e as APIs otimizadas existentes para tornar a listagem de diretórios mais eficiente, listando arquivos previamente aninhados em vez de listar o diretório inteiro. Auto Loader detecta automaticamente se um determinado diretório é adequado para listagem incremental pelo site default. Para controlar esse comportamento explicitamente, defina a nova opção cloudFiles.useIncrementalListing como ativada (true), desativada (false) ou automática (auto). Se o senhor definir esse comportamento como true, também poderá definir a opção cloudFiles.backfillInterval para programar backfills regulares sobre os dados, para garantir que todos os dados sejam completamente ingeridos.

O Delta agora oferece suporte a replaceWhere arbitrário​

Em combinação com o modo de substituição, a opção replaceWhere pode ser usada para substituir simultaneamente dados que correspondam a um predicado definido na opção. Anteriormente, replaceWhere suportava um predicado somente em colunas de partição, mas agora ele pode ser uma expressão arbitrária. Consulte Escrever em uma tabela.

O Auto Loader para Google Cloud agora oferece suporte a notificações de arquivos (visualização pública)​

O Auto Loader agora suporta o modo de notificação de arquivos no Google Cloud. Defina .option("cloudFiles.useNotifications", "true") para permitir que Auto Loader configure automaticamente o recurso Google Cloud Pub/Sub para o senhor. Com o modo de notificação de arquivos, novos arquivos são detectados e ingeridos à medida que chegam, sem listar o diretório de entrada. Consulte Configurar a transmissão Auto Loader no modo de notificação de arquivo.

O CREATE FUNCTION agora suporta a criação de funções de tabela​

Além de criar uma função escalar que retorna um valor escalar, agora você pode criar uma função de tabela que retorna um conjunto de linhas. Consulte CREATE FUNCTION (SQL e Python).

Kafka transmissão O Source agora informa métricas estimatedTotalBytesBehindLatest​

A fonte de transmissão Kafka agora informa uma estimativa de quantos bytes o consumidor está atrás do último byte disponível após cada lote. O senhor pode usar essas métricas para acompanhar o progresso da transmissão. Consulte Recuperar métricas do Kafka.

Exemplo de saída de métricas:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

Para structs dentro de matrizes, o Delta MERGE INTO agora resolve os campos de struct por nome e evolui os esquemas de struct​

Delta MERGE INTO agora suporta a resolução de campos de struct por nome e a evolução automática do esquema para matrizes de structs. Quando a evolução automática do esquema for ativada pela configuração de spark.databricks.delta.schema.autoMerge.enabled como true, as cláusulas UPDATE e INSERT resolverão os campos struct dentro de um array por nome, convertendo-os para o tipo de dados correspondente definido no array de destino e preenchendo os campos adicionais ou ausentes na origem ou no destino com valores nulos. Quando a evolução automática do esquema estiver desativada, as cláusulas UPDATE e INSERT resolverão os campos struct dentro de uma matriz por nome, mas não poderão evoluir os campos adicionais. Consulte Atualizar o esquema da tabela Delta Lake.

Correções de bugs​

  • Foi corrigido um vazamento de memória no conector Amazon S3 que poderia ocorrer em um trabalho ou serviço de longa duração, causado pela funcionalidade JVM DeleteOnExit .

Atualizações da biblioteca​

  • Atualizado Python biblioteca:

    • plotly de 4.14.3 a 5.1.0

  • Biblioteca R atualizada:

    • base de 4.1.0 para 4.1.1
    • bslib de 0.2.5.1 a 0.3.0
    • cachem de 1.0.5 a 1.0.6
    • compilador a partir de 4.1.0 para 4.1.1
    • conjunto de dados da versão 4.1.0 para 4.1.1
    • futuro de 1.21.0 a 1.22.1
    • vá de 1.3.1 para 1.3.2
    • gráficos da 4.1.0 para 4.1.1
    • GRDevices da versão 4.1.0 para 4.1.1
    • grade a partir de 4.1.0 para 4.1.1

  • Atualizado Java biblioteca:

    • org.Eclipse.jetty de 9.4.36.v20210114 para 9.4.42.v20210604

Apache Spark​

O Databricks Runtime 9.1 LTS inclui o Apache Spark 3.1.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 9.0 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-36674][SQL][CHERRY-PICK] Suporte ILIKE - LIKE sem distinção entre maiúsculas e minúsculas
  • [SPARK-36353][SQL][3.1] RemoveNoopOperators deve manter o esquema de saída
  • [SPARK-35876][SQL][3.1] O ArraysZip deve manter os nomes dos campos para evitar que sejam reescritos pelo analisador/otimizador
  • [SPARK-36398][SQL] Reduzir informações confidenciais em Spark Thrift Server log
  • [SPARK-36498][SQL] Reordenar os campos internos da consulta de entrada na gravação byName V2
  • [SPARK-36614][CORE][UI] Corrige o motivo da perda do executor causada pela desativação na UI
  • [SPARK-36012][SQL] Adicionar sinalizador nulo em SHOW CREATE TABLE
  • [SPARK-36509][CORE] Corrige o problema de o executor nunca ser reprogramado se o worker parar com o clustering autônomo
  • [SPARK-36603] [CORE] Use WeakReference e não SoftReference em LevelDB
  • [SPARK-36564] [CORE] Corrija a exceção NullPointerException em LiverDDDistribution.toAPI
  • [SPARK-36086][SQL][3.1] O alias de substituição do projeto CollapseProject deve usar o nome da coluna de origem
  • [SPARK-33527][SQL] Amplie a função de decodificação para que seja consistente com os bancos de dados convencionais
  • [SPARK-36400][SPARK-36398][SQL][WEBUI] Fazer o ThriftServer reconhecer spark.sql.redaction.strings.regex
  • [SPARK-34054] [CORE] Limpeza do código do Block Manager Descomissionador
  • [SPARK-36500][CORE] Corrige o vazamento do arquivo temp_shuffle quando uma tarefa é interrompida
  • [SPARK-36489][SQL] Funções agregadas sem chave de agrupamento, em tabelas com um único intervalo, retornam várias linhas
  • [SPARK-36464] [CORE] Corrija a inicialização da variável de tamanho subjacente em ChunkedByteBufferOutputStream para gravar mais de 2 GB de dados
  • [SPARK-36339][SQL][3.0] Referências a agrupamentos que não fazem parte da agregação devem ser substituídas
  • [SPARK-36354][CORE] EventLogFileReader deve ignorar o evento de rolagem log diretórios sem logs
  • [SPARK-36242] [NÚCLEO][3,1] Certifique-se de que o arquivo de vazamento seja fechado antes de definir success = true em externalSorter.spillMemoryIteratorToDisk método
  • [SPARK-36211][Python] Digitação correta do valor de retorno de udf
  • [SPARK-34222][SQL] Aprimorar a regra de simplificação booleana
  • [SPARK-35027] [CORE] Feche o InputStream no FileAppender ao escrever...
  • [SPARK-36269][SQL] Corrigir apenas colunas de dados definidas para a configuração de nomes de colunas do Hive
  • [SPARK-36213][SQL] Normalize PartitionSpec for Describe Table comando with PartitionSpec
  • [SPARK-36210][SQL] Preservar a ordem de inserção da coluna em dataset.withColumns
  • [SPARK-36079][SQL] A estimativa do filtro baseado em nulo deve estar sempre no intervalo [0, 1]
  • [SPARK-28266][SQL] convertToLogicalRelation não deve interpretar a propriedade path ao ler tabelas Hive

Atualizações de manutenção​

Consulte as atualizações de manutenção do Databricks Runtime 9.1 LTS.

Ambiente do sistema​

  • Sistema operacional : Ubuntu 20.04.4 LTS
  • Java : Zulu 8.56.0.21-CA-linux64
  • Scala : 2.12.10
  • Python : 3.8.10
  • R : 4.1.1
  • Delta Lake : 1.0.0

Instalado Python biblioteca​

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

Antergos Linux

2015.10 (versão ISO)

apronta

1.4.4

chamada de volta

0.2.0

boto3

1,16.7

botocore

1.19,7

certifi

2020.12,5

chardet

4.0.0

ciclador

0.10.0

Cython

0,29,23

dbus-Python

1.2.16

decorador

5.0.6

distlib

0.3.2

informação da distribuição

0,23 ubuntu 1

visão geral das facetas

1.0.0

bloqueio de arquivo

3.0.12

Índia

2,10

ipykernel

5.3.4

ipython

7.22,0

ipython-genutils

0.2.0

jedi

0,17.2

jmespath

0.10.0

joblib

1.0.1

cliente jupyter

6.1.12

núcleo jupyter

4.7.1

solucionador de kiwi

1.3.1

coalas

1.8.1

Matplotlib

3.4.2

entorpecido

1.19.2

Pandas

1.2.4

parso

0.7.0

bode expiatório

0.5.1

esperar

4.8.0

picles

0.7.5

Travesseiro

8.2.0

pip

21.0.1

Plotly

5.1.0

kit de ferramentas de aviso

3.0.17

protobuf

3.17.2

psycopg2

2.8.5

processo pty

0.7.0

flecha

4.0.0

Pigmentos

2.8.1

Objeto PYG

3,36,0

análise de pipa

2.4.7

Python-apt

2.0.0+ubuntu0.20.4.5

Python-dateutil

2.8.1

pytz

2020,5

pizma

20.0.0

pedidos

2.25.1

solicitações - soquete unix

0.2.0

transferência s3

0.3.7

scikit-learn

0,24,1

pegajoso

1.6.2

marítimo

0.11.1

ferramentas de configuração

52,0,0

seis

1,15.0

ID de importação ssh

5,10

modelos de estatísticas

0.12.2

tenacidade

8.0.1

threadpool ctl

2.1.0

tornado

6.1

almôndegas

5.0.5

atualizações autônomas

0,1

urllib3

1,25.11

ambiente virtual

20.4.1

largura do wc

0.2.5

Python wheel

0,36,2

Instalada a R biblioteca​

O R biblioteca é instalado a partir do Snapshot Microsoft CRAN em 2021-09-08. O Snapshot não está mais disponível.

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

askpass

1.1

afirme que

0.2.1

portas traseiras

1.2.1

base

4.1.1

base64enc

0,1-3

pouco

4.0.4

bit64

4.0.5

bolha

1.2.2

inicialização

1,3-28

fermentar

1,0-6

brio

1.1.2

vassoura

0.7.9

babião

0.3.0

cachem

1.0.6

chamador

3.7.0

cursor

6,0-88

guarda de celas

1.1.0

crono

2,3-56

Aula

7,3-19

CLIPE

3.0.1

clipe

0.7.1

Cluster

2.1.2

ferramentas de código

0,2-18

espaço de cores

2,0-2

marca comum

1.7

compilador

4.1.1

configuração

0.3.1

cpp11

0.3.1

giz de cera

1.4.1

Credenciais

1.3.1

cacho

4.3.2

data.tabela

1,14.0

conjunto de dados

4.1.1

DBI

1.1.1

dbplyr

2.1.1

desc

1.3.0

ferramentas de desenvolvimento

2.4.2

diff

0.3.4

digerir

0,6.27

dplyr

1.0.7

dtplyr

1.1.0

reticências

0.3.2

avalie

0,14

fansi

0.5.0

colorista

2.1.0

mapa rápido

1.1.0

para gatos

0.5.1

para cada um

1.5.1

Externo

0,8-81

forjar

0.2.0

fs

1.5.0

futuro

1.22.1

futuro.aplique

1.8.1

gargarejar

1.2.0

genéricas

0.1.0

obter

1.3.2

ggplot2

3.3.5

gh

1.3.0

gitcreds

0.1.1

glmnet

4,1-2

globais

0.14.0

cola

1.4.2

google drive

2.0.0

planilhas do Google 4

1.0.0

goleiro

0.2.2

gráficos

4.1.1

Dispositivos GR

4.1.1

grade

4.1.1

Grid Extra

2.3

gsubfn

0,7

mesa

0.3.0

refúgio

2.4.3

mais alto

0,9

HMS

1.1.0

ferramentas html

0.5.2

widgets html

1.5.3

http.uv

1.6.2

httr

1.4.2

escritor

1.3.2

HWriter Plus

1,0-3

IDs

1.0.1

mini

0.3.1

ipred

0,9-11

isóbanda

0.2.5

iteradores

1,0.13

jquerylib

0.1.4

jsonlite

1.7.2

Kern Smooth

2,23-20

tricotar

1,33

rótulo

0.4.2

posteriormente

1.3.0

treliça

0,20-44

lava

1.6.10

ciclo de vida

1.0.0

ouvindo

0,8.0

lubrificar

1.7.10

magritter

2.0.1

Markdown

1.1

MASSA

7,3-54

Matriz

1,3-4

memoise

2.0.0

métodos

4.1.1

mgcv

1,8-36

mímica

0,11

Métricas do modelo

1.2.2.2

modelar

0.1.8

munsell

0.5.0

nome

3,1-152

net

7,3-16

Número Deriv

2016,8-1,1

openssl

1.4.5

paralelo

4.1.1

paralelamente

1.27.0

pilar

1.6.2

pkgbuild

1.2.0

pkgconfig

2.0.3

carregamento de pacotes

1.2.1

plogr

0.2.0

plyr

1.8.6

elogio

1.0.0

unidades bonitas

1.1.1

ProC

1,18.0

processa

3.5.2

prodlim

13/11/2019

progresso

1.2.2

progressista

0,8.0

promessas

1.2.0.1

proto

1.0.0

ps

1.6.0

ronronar

0.3.4

r2d3

0.2.5

R6

2.5.1

Floresta aleatória

4,6-14

corredeiras

0.3.3

rcmdcheck

1.3.3

Cervejaria RColor

1,1-2

Rcpp

1.0.7

leitor

2.0.1

readxl

1.3.1

receitas

0,1,16

revanche

1.0.1

revanche 2

2.1.2

controles remotos

2.4.0

reprex

2.0.1

remodelar 2

1.4.4

rlang

0.4.11

rmarkdown

2,10

RODBC

1,3-18

roxigênio2

7.1.1

rpartem

4,1-15

rprojroot

2.0.2

Reservar

1,8-8

RSQLite

2.2.8

API do estúdio

0,13

reversões

2.1.1

colete

1.0.1

atrevimento

0.4.0

escala

1.1.1

seletor

0,4-2

informações da sessão

1.1.1

forma

1.4.6

brilhante

1.6.0

ferramentas de origem

0.1.7

Sparklyr

1.7.1

SparkR

3.1.1

espacial

7,3-11

splines

4.1.1

sqldf

0,4-11

QUADRADO

2021,1

estatísticas

4.1.1

estatísticas4

4.1.1

stringi

1.7.4

longarina

1.4.0

sobrevivência

3,2-13

diz

3.4

tcltk

4.1.1

Demonstrações de ensino

2,10

teste isso

3.0.4

petiscar

3.1.4

arrumado

1.1.3

seleção arrumada

1.1.1

tidyverso

1.3.1

Hora/Data

3043,102

tinytex

0,33

Ferramentas

4.1.1

tzdb

0.1.2

use isso

2.0.1

utf 8

1.2.2

utilidades

4.1.1

uuid

0,1-4

vctrs

0.3.8

Viridis Lite

0.4.0

vadouro

1.5.4

waldo

0.3.0

bigode

0,4

murchar

2.4.2

diversão

0,25

xml2

1.3.2

xopen

1.0.0

x estável

1,8-4

yaml

2.2.1

compactar

2.2.0

Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)​

ID do grupo

ID do artefato

Versão

chifre

chifre

2.7.7

com.amazonaws

Amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscale

1,11.655

com.amazonaws

formação de nuvem aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-cloudfront

1,11.655

com.amazonaws

aws-java-sdk-cloudhsm

1,11.655

com.amazonaws

aws-java-sdk-cloudsearch

1,11.655

com.amazonaws

aws-java-sdk-cloudtrail

1,11.655

com.amazonaws

aws-java-sdk-cloudwatch

1,11.655

com.amazonaws

métricas aws-java-sdk-cloudwatch

1,11.655

com.amazonaws

aws-java-sdk-codedeploy

1,11.655

com.amazonaws

identidade cognitiva aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-cognitosync

1,11.655

com.amazonaws

aws-java-sdk-config

1,11.655

com.amazonaws

aws-java-sdk-core

1,11.655

com.amazonaws

pipeline de dados aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-conexão direta

1,11.655

com.amazonaws

diretório aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-dynamodb

1,11.655

com.amazonaws

aws-java-sdk-ec2

1,11.655

com.amazonaws

aws-java-sdk-ecs

1,11.655

com.amazonaws

aws-java-sdk-efs

1,11.655

com.amazonaws

aws-java-sdk-elasticache

1,11.655

com.amazonaws

aws-java-sdk-elasticbeanstalk

1,11.655

com.amazonaws

balanceamento de carga elástico aws-java-sdk

1,11.655

com.amazonaws

transcodificador elástico aws-java-sdk-

1,11.655

com.amazonaws

aws-java-sdk-emr

1,11.655

com.amazonaws

aws-java-sdk-glacier

1,11.655

com.amazonaws

aws-java-sdk-glue

1,11.655

com.amazonaws

aws-java-sdk-iam

1,11.655

com.amazonaws

aws-java-sdk-importação/exportação

1,11.655

com.amazonaws

aws-java-sdk-kinesis

1,11.655

com.amazonaws

aws-java-sdk-kms

1,11.655

com.amazonaws

aws-java-sdk-lambda

1,11.655

com.amazonaws

aws-java-sdk-logs

1,11.655

com.amazonaws

aws-java-sdk - aprendizado de máquina

1,11.655

com.amazonaws

análise de comércio eletrônico aws-java-sdk-marketplace

1,11.655

com.amazonaws

serviço de medição de mercado aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-opsworks

1,11.655

com.amazonaws

aws-java-sdk-rds

1,11.655

com.amazonaws

aws-java-sdk-redshift

1,11.655

com.amazonaws

aws-java-sdk-route53

1,11.655

com.amazonaws

aws-java-sdk-s3

1,11.655

com.amazonaws

aws-java-sdk-ses

1,11.655

com.amazonaws

aws-java-sdk-simpledb

1,11.655

com.amazonaws

aws-java-sdk - fluxo de trabalho simples

1,11.655

com.amazonaws

aws-java-sdk-sns

1,11.655

com.amazonaws

aws-java-sdk-sqs

1,11.655

com.amazonaws

aws-java-sdk-ssm

1,11.655

com.amazonaws

gateway de armazenamento aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-sts

1,11.655

com.amazonaws

suporte aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-swf-biblioteca

1.11.22

com.amazonaws

aws-java-sdk-workspace

1,11.655

com.amazonaws

jmespath-java

1,11.655

com.chuusai

sem forma_2.12

2.3.3

com.clearspring.analítica

transmissão

2.9.6

com.databricks

Reservar

1,8-3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

plugin_2.12 do compilador

0,4,15-10

com.databricks.scalapb

scalapb-runtime_2.12

0,4,15-10

com.esotérico software

crio-sombreado

4.0.2

com.esotérico software

minlog

1.3.0

com.fasterxml

colega de classe

1.3.4

com.fasterxml.jackson.core

jackson-anotação

2.10.0

com.fasterxml.jackson.core

jackson-core

2.10.0

com.fasterxml.jackson.core

vinculação de dados jackson

2.10.0

formato de dados com.fasterxml.jackson.

formato de dados jackson-cbor

2.10.0

com.fasterxml.jackson.tipo de dados

jackson-datatype-joda

2.10.0

com.fasterxml.jackson.module

parâmetro do módulo jackson

2.10.0

com.fasterxml.jackson.module

jackson-module-Scala.12

2.10.0

com.github.ben-manes.cafeína

cafeína

2.3.4

com.github.fommil

descarregador

1.1

com.github.fommil.netlib

abdômen

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-nativos

1.1

com.github.fommil.netlib

sistema_nativo-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.joshelser

dropwizard-métricas-hadoop-metrics2-reporter

0.1.2

com.github.luben

zstd-jni

1,4,8-1

com.github.wendykierp

JTransforma

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.2.4

com.google.crypto.tink

eu acho

1.6.0

com.google.flatbuffers

tampões planos-java

1.9.0

com.google.goiaba

goiaba

15,0

com.google.protobuf

protobuf-java

2.6.1

banco de dados com.h2

h2

1,4,195

com.helger

perfilador

1.1.1

com.jcraft

jsch

0,1,50

com.jolbox

bonecp

VERSÃO 0.8.0.

com.lihaoyi

código-fonte_2.12

0.1.9

com.microsoft.azure

azure-data lake-store-sdk

2.3.9

com.microsoft.sqlserver

mssql-JDBC

9.2.1. jre8

comendo

comprimir-lzf

1.0.3

com.sun.mail

javax.mail

1.5.2

com.trunning

JSON

1,8

com.thoughtworks.paranamer

paranâmero

2.8

com.trueaccord.lenses

lentes_2.12

0.4.12

com.Twitter

chill-java

0,9.5

com.Twitter

chill_2.12

0,9.5

com.Twitter

util-app_2.12

7.1.0

com.Twitter

util-core_2.12

7.1.0

com.Twitter

função-útil_2.12

7.1.0

com.Twitter

util-jvm_2.12

7.1.0

com.Twitter

util-lint_2.12

7.1.0

com.Twitter

util-registry_2.12

7.1.0

com.Twitter

util-stats_2.12

7.1.0

com.typesafe

configuração

1.2.1

com.typesafe.Scala-logging

Scala-logging_2.12

3.7.2

com.univocidade

analisadores de univocidade

2.9.1

com.zaxxer

HikaricP

3.1.0

folhas de feijão comum

folhas de feijão comum

1.9.4

comum-CLI

comum-CLI

1.2

codec comum

codec comum

1,10

coleções comuns

coleções comuns

3.2.2

configuração comum

configuração comum

1,6

commons-dbcp

commons-dbcp

1.4

digestor comum

digestor comum

1,8

upload de arquivo commons

upload de arquivo commons

1.3.3

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2,4

linguagem comum

linguagem comum

2.6

registro de bens comuns

registro de bens comuns

1.1.3

commons-net

commons-net

3.1

comum-pool

comum-pool

1.5.4

hive-2.3__hadoop-2.7

jets3t-0.7

liball_deps_2,12

hive-2.3__hadoop-2.7

tratador do zoológico-3.4

liball_deps_2,12

info.ganglia.gmetric4j

gmetric4j

1.0.10

io. airlift

compressor de ar

0,10

io.delta

delta-compartilhamento-spark_2.12

0.1.0

io.dropwizard.métricas

núcleo de métricas

4.1.1

io.dropwizard.métricas

métricas-grafite

4.1.1

io.dropwizard.métricas

métricas-healthchecks

4.1.1

io.dropwizard.métricas

métricas-jetty9

4.1.1

io.dropwizard.métricas

métricas-jmx

4.1.1

io.dropwizard.métricas

métricas-JSON

4.1.1

io.dropwizard.métricas

métricas-JVM

4.1.1

io.dropwizard.métricas

métricas-servlets

4.1.1

io.netty

tudo

4.1.51.Final

io. prometheus

cliente simples

0.7.0

io. prometheus

simpleclient_common

0.7.0

io. prometheus

simpleclient_dropwizard

0.7.0

io. prometheus

gateway client_push simples

0.7.0

io. prometheus

client_servlet simples

0.7.0

io.prometheus.jmx

coletor

0.12.0

jakarta.anotação

jakarta.anotação-api

1.3.5

jakarta.validação

jakarta.validação-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.ativação

ativação

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

jsp-api

2.1

javax.transaction

jta

1.1

javax.transaction

API de transação

1.1

javax.xml.bind

jaxb-api

2.2.2

javax.xml.transmissão

stax-api

1,0-2

javolução

javolução

5.5.1

junte-se

junte-se

2.14.6

hora do dia

hora do dia

2.10.5

log4j

apache-log4j-extras

1.2.17

log4j

log4j

1.2.17

Maven-árvores

hive-2.3__hadoop-2.7

liball_deps_2,12

net.java.dev.jna

jna

5.8.0

net.razorvine

pirolita

4,30

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

supercsv

2.2.0

net.snowflake

SDK de ingestão de flocos de neve

0.9.6

net.snowflake

floco de neve-JDBC

3.13.3

net.snowflake

floco de neve faísca_2.12

2.9.0-spark_3.1

net.sourceforge.f2j

arpack_combined_all

0,1

org.acplt.remotetea

chá remoto - oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4,8-1

org.antlr

modelo de string

3.2.1

org.apache.ant

formiga

1.9.2

org.apache.ant

formiga

1.9.2

org.apache.ant

lançador de formigas

1.9.2

org.apache.arrow

formato de seta

2.0.0

org.apache.arrow

núcleo de memória de seta

2.0.0

org.apache.arrow

rede de memória de seta

2.0.0

org.apache.arrow

vetor de seta

2.0.0

org.apache.avro

AVRO

1.8.2

org.apache.avro

avro-ipc

1.8.2

org.apache.avro

avro-mapred-hadoop2

1.8.2

org.apache.commons

compressa comum

1,20

org.apache.commons

criptomoeda comum

1.1.0

org.apache.commons

commons-lang3

3.10

org.apache.commons

commons-math3

3.4.1

org.apache.commons

texto comum

1,6

org.apache.curator

curador-cliente

2.7.1

org.apache.curator

estrutura de curador

2.7.1

org.apache.curator

receitas de curadores

2.7.1

org.apache.derby

derby

10.12.1.1

org.apache.directory.api

api-asn1-api

1,0,0-M20

org.apache.directory.api

utilitário de API

1,0,0-M20

org.apache.directory.server

apacheds-i18n

2,0,0-M15

org.apache.directory.server

codec apacheds-kerberos

2,0,0-M15

org.apache.hadoop

hadoop-anotação

2.7.4

org.apache.hadoop

autenticação hadoop

2.7.4

org.apache.hadoop

cliente hadoop

2.7.4

org.apache.hadoop

hadoop-comum

2.7.4

org.apache.hadoop

hadoop-HDFS

2.7.4

org.apache.hadoop

aplicativo cliente hadoop mapreduce

2.7.4

org.apache.hadoop

hadoop-mapreduce-client-common

2.7.4

org.apache.hadoop

núcleo do cliente hadoop-mapreduce

2.7.4

org.apache.hadoop

hadoop-mapreduce-client-jobclient

2.7.4

org.apache.hadoop

hadoop-mapreduce-client-shuffle

2.7.4

org.apache.hadoop

API hadoop yarn

2.7.4

org.apache.hadoop

cliente hadoop-yarn

2.7.4

org.apache.hadoop

hadoop-yarn-common

2.7.4

org.apache.hadoop

servidor hadoop-yarn-comum

2.7.4

org.apache.hive

hive-beeline

2.3.7

org.apache.hive

colmeia-CLI

2.3.7

org.apache.hive

hive-JDBC

2.3.7

org.apache.hive

hive-llap-client

2.3.7

org.apache.hive

hive-lap-common

2.3.7

org.apache.hive

colmeia

2.3.7

org.apache.hive

hive-shims

2.3.7

org.apache.hive

API de armazenamento em nuvem

2.7.2

org.apache.hive.shims

calços de colmeia - 0,23

2.3.7

org.apache.hive.shims

calços de colmeia comuns

2.3.7

org.apache.hive.shims

hive-shims-programador

2.3.7

org.apache.htrace

htrace-core

3.1.0 - incubação

org.apache.httpcomponents

cliente http

4.5.6

org.apache.httpcomponents

httpcore

4.4.12

org.apache.ivy

hera

2.4.0

org.apache.mesos

protobuf sombreado em mesos

1.4.0

org.apache.orc

núcleo orc

1.5.12

org.apache.orc

orc-mapreduce

1.5.12

org.apache.orc

calços de orc

1.5.12

org.apache.parquet

coluna de parquete

1.10.1 - blocos de dados 9

org.apache.parquet

parquete comum

1.10.1 - blocos de dados 9

org.apache.parquet

codificação de parquet

1.10.1 - blocos de dados 9

org.apache.parquet

formato de parquet

2.4.0

org.apache.parquet

parquet-hadoop

1.10.1 - blocos de dados 9

org.apache.parquet

parquet-jackson

1.10.1 - blocos de dados 9

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.xbean

xbean-asm7-shaded

4,15

org.apache.yetus

audiência-anotação

0.5.0

org.apache.zookeeper

tratador

3.4.14

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-jaxers

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.jackson

jackson-xc

1.9.13

org.codehaus.janino

compilador common

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

núcleo de dados-api-jdo

4.2.4

org.datanucleus

núcleo de dados

4.1.17

org.datanucleus

núcleo de dados-rdbms

4.1.19

org.datanucleus

javax.jdo

3,2,0-m3

org.Eclipse.jetty

jetty-client

9.4.42.v20210604

org.Eclipse.jetty

continuação do cais

9.4.42.v20210604

org.Eclipse.jetty

jetty-http

9.4.42.v20210604

org.Eclipse.jetty

jetty-io

9.4.42.v20210604

org.Eclipse.jetty

jetty-jndi

9.4.42.v20210604

org.Eclipse.jetty

jetty-plus

9.4.42.v20210604

org.Eclipse.jetty

jetty-proxy

9.4.42.v20210604

org.Eclipse.jetty

segurança do cais

9.4.42.v20210604

org.Eclipse.jetty

servidor jetty-server

9.4.42.v20210604

org.Eclipse.jetty

jutty-servlet

9.4.42.v20210604

org.Eclipse.jetty

píer de servlets

9.4.42.v20210604

org.Eclipse.jetty

jetty-util

9.4.42.v20210604

org.Eclipse.jetty

jetty-util-ajax

9.4.42.v20210604

org.Eclipse.jetty

aplicativo web jetty-

9.4.42.v20210604

org.Eclipse.jetty

jetty-xml

9.4.42.v20210604

org.Eclipse.jetty.websocket

API de websoquete

9.4.42.v20210604

org.Eclipse.jetty.websocket

cliente websocket

9.4.42.v20210604

org.Eclipse.jetty.websocket

websocket-comum

9.4.42.v20210604

org.Eclipse.jetty.websocket

servidor websocket

9.4.42.v20210604

org.Eclipse.jetty.websocket

servlet websocket

9.4.42.v20210604

org.fusesource.leveldbjni

leveldbjni-tudo

1,8

org.glassfish.hk2

API hk2

2.6.1

org.glassfish.hk2

localizador hk2

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-recurso-locator

1.0.3

org.glassfish.hk2.external

aopalliance - reembalado

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

servlet de contêiner de camisa

2,30

org.glassfish.jersey.containers

jersey-container-servlet-core

2,30

org.glassfish.jersey.core

cliente de camisa

2,30

org.glassfish.jersey.core

camiseta comum

2,30

org.glassfish.jersey.core

servidor de camisa

2,30

org.glassfish.jersey.inject

camiseta-hk2

2,30

org.glassfish.jersey.media

jersey-media-jaxb

2,30

org.hibernate.validator

validador de hibernação

6.1.0. Final

org.javassist

javassist

3,25,0 GA

org.jboss.logging

registro de jboss-logging

3.3.2. Final

org.jdbi

jdbi

2.63,1

org.joda

conversor de joda

1.7

org.jodd

núcleo nodular

3.5.2

org.json4s

json4s-ast_2.12

3,7,0 M5

org.json4s

json4s-core_2.12

3,7,0 M5

org.json4s

json4s-jackson_2.12

3,7,0 M5

org.json4s

json4s-scalap_2.12

3,7,0 M5

org.lz4

lz4-java

1.7.1

org.mariadb.JDBC

cliente mariadb-java

2.2.5

org.objenesis

objênese

2.5.1

org.postgresql

PostgreSQL

42,14

org.roaringbitmap

Mapa de bits estrondoso

0,9.14

org.roaringbitmap

calços

0,9.14

org.rocksdb

rocksdbjni

6.20.3

org.rosuda.rEngine

Motor

2.1.0

org.Scala-lang

Scala-compiler_2.12

2.12.10

org.Scala-lang

Scala-biblioteca.12

2.12.10

org.Scala-lang

Scala-reflect_2.12

2.12.10

org.Scala-lang.modules

Scala-collection-compat_2.12

2.1.1

org.Scala-lang.modules

Scala-parser-combinators_2.12

1.1.2

org.Scala-lang.modules

Scala-xml_2.12

1.2.0

org.Scala-sbt

interface de teste

1,0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

breeze-macros_2.12

1,0

org.scalanlp

breeze_2.12

1,0

org.scalatest

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1,7.30

org.slf4j

jul-a-slf4j

1,7.30

org.slf4j

slf4j-api

1,7.30

org.slf4j

slf4j-log4j12

1,7.30

org.spark-project.spark

não utilizado

1.0.0

org.springframework

núcleo de mola

4.1.4. LANÇAMENTO

org.springframework

teste de primavera

4.1.4. LANÇAMENTO

org.threeten

treze e mais

1.5.0

org.tukaani

xz

1.5

org.typelevel

álgebra_2.12

2,0,0-M2

org.typelevel

cats-kernel_2.12

2,0,0-M4

org.typelevel

maquinista_2.12

0.6.8

org.typelevel

macro-compat_2,12

1.1.1

org.typelevel

spire-macros_2.12

0,17.0-M1

org.typelevel

spire-platform_2.12

0,17.0-M1

org.typelevel

spire-util_2.12

0,17.0-M1

org.typelevel

spire_2.12

0,17.0-M1

org.wildfly.openssl

wildfly-openssl

1.0.7. Final

org.xerial

sqlite-JDBC

3.8.11.2

org.xerial.snappy

snappy-java

1.1.8.2

org.yaml

snakeyaml

1,24

oro

oro

2.0.8

pt.edu.icm

Matrizes JLarge

1.5

software.Amazon.ion

ion-java

1.0.2

stax

stax-api

1.0.1

xmlenc

xmlenc

0,52

Última atualização em