Pular para o conteúdo principal

Databricks Runtime 8,4 (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

As notas a seguir sobre a versão fornecem informações sobre Databricks Runtime 8.4 e Databricks Runtime 8.4 Photon, alimentado por Apache Spark 3.1.2. A Databricks lançou essa versão em julho de 2021. O Photon está em visualização pública.

nota

Estas notas sobre a versão podem incluir referências a recursos que não estão disponíveis no Google Cloud a partir desta versão.

Novos recursos e melhorias​

Delta Lake recurso e melhorias​

Delta feed de dados de modificação de tabela (GA)​

O feed de dados de alteração da tabela Delta já está disponível para todos. Ela representa as mudanças no nível da linha entre as diferentes versões da tabela. Quando ativado, são registradas informações adicionais sobre as alterações no nível da linha para cada operação de gravação na tabela. Consulte Usar o feed de dados de alterações do Delta Lake na Databricks.

Carregue tabelas Delta compartilhadas facilmente com o Databricks Runtime​

O conector Apache Spark para Delta Sharing 0.1.0 está agora no Databricks Runtime. O senhor pode carregar uma tabela compartilhada usando spark.read.format("deltaSharing").load(uri) diretamente sem anexar o conector Delta Sharing Spark ao seu cluster.

Mais tabelas se beneficiam da remoção dinâmica de arquivos​

O recurso de poda dinâmica de arquivos foi ajustado para ser acionado em tabelas com menos arquivos. Consulte Poda dinâmica de arquivos.

Melhor desempenho com ajuste automático do tamanho do arquivo de destino​

O tamanho do arquivo de destino para tabelas Delta agora é ajustado automaticamente com base no tamanho da tabela. Anteriormente, o tamanho do arquivo de destino para OPTIMIZE e OPTIMIZE ZORDER BY era de 1 GB. Com o ajuste automático baseado no tamanho da tabela, as tabelas Delta de até 2,56 TB usarão 256 MB como tamanho de destino. Tabelas maiores que 10 TB usarão 1 GB como antes. Tabelas entre esses tamanhos usarão tamanhos-alvo que crescem proporcionalmente ao tamanho da tabela. Consulte Configurar o Delta Lake para controlar o tamanho do arquivo de dados.

Mais maneiras de especificar tabelas no DeltaTable.forName​

DeltaTable.forName agora suporta o uso de delta.`<path>` para identificar tabelas.

Transmissão robusta de gravações em várias tabelas usando foreachBatch​

Idempotente Delta transmissão escreve dentro do comando foreachBatch() agora é suportada. Para obter detalhes, consulte Gravações idempotentes em várias tabelas.

Melhor desempenho da consulta de leitura em determinadas cargas de trabalho devido a pontos de verificação ajustados​

A Delta Lake agora ajusta a frequência com que realiza os pontos de controle aprimorados. Em vez de fazer o checkpoint em um intervalo fixo, o Delta agora ajusta dinamicamente a frequência do checkpoint com base em determinados acionadores de eventos. Isso melhora o desempenho da consulta de leitura em cargas de trabalho em que não era possível aplicar alguma otimização de omissão de dados anteriormente. Para usar essas otimizações, atualize seu trabalho que grava em Delta Lake para Databricks Runtime 8.4. Consulte Ativar pontos de verificação aprimorados para consultas de transmissão estruturada.

Crie o site GroupState para testar as funções de transmissão estruturada definidas pelo usuário​

Até agora, somente o mecanismo de transmissão estruturada podia criar instâncias de GroupState. Portanto, qualquer teste de unidade da função definida pelo usuário exigia a execução de uma consulta de transmissão em Apache Spark.

Agora você pode criar instâncias de GroupState usando TestGroupState.create(…). Isso permite que o senhor teste uma função definida pelo usuário em testes unitários simples que não exigem a execução do Spark. Consulte Teste a função de atualização mapGroupsWithState. Especificamente, ele produz instâncias do tipo TestGroupState que estendem a interface GroupState com métodos adicionais para introspecção do estado interno após a aplicação da função definida pelo usuário.

Auto Loader recurso e melhorias​

Configure o preenchimento para capturar arquivos perdidos​

O Auto Loader agora suporta a execução de backfills de forma assíncrona para capturar quaisquer arquivos que poderiam ter sido perdidos com as notificações de arquivos. Os sistemas de armazenamento de arquivos e os sistemas de notificação não podem garantir a entrega de 100% de todos os eventos de arquivos. Portanto, a Databricks recomenda ativar backfills periódicos para capturar todos os seus dados com o Auto Loader. Use a opção cloudFiles.backfillInterval para programar backfills regulares sobre seus dados. Consulte Opções comuns do Auto Loader.

Espaço de armazenamento limitado para transmissão de grandes volumes​

Agora o senhor pode configurar o Auto Loader para expirar e remover entradas no RocksDB para limitar o espaço de armazenamento no local do ponto de verificação. A Databricks não recomenda o uso a menos que o senhor esteja ingerindo dados da ordem de milhões de arquivos por hora. Definir essa opção incorretamente ou tentar ajustá-la pode causar muitos problemas de qualidade de dados, como a ignoração de arquivos não processados ou a duplicação de alguns arquivos em vez de serem processados exatamente uma vez. Para obter detalhes, consulte Retenção de eventos.

Configuração simplificada com suporte sem caminhos​

Baldes S3​

Agora o senhor pode fornecer a fila SQS que recebe eventos de vários caminhos ou buckets S3. Se você fornecer a URL da fila SQS, a opção path não será necessária para esse caso de uso. Auto Loader constrói os caminhos S3 usando o bucket e key a partir dos eventos S3. Se quiser ler os arquivos por meio de pontos de montagem DBFS, o senhor pode usar cloudFiles.pathRewrites para alterar os prefixos de caminho para DBFS. Isso não é necessário, a menos que o senhor esteja acessando dados em uma conta diferente com AssumeRole.

Consulte Opções de notificação de arquivo.

Contêineres do Azure Data Lake Storage Gen2​

Agora, o senhor pode fornecer a fila do Azure que recebe eventos de vários contêineres. Se o senhor fornecer o nome da fila do Azure, a opção path não será necessária. Por default, Auto Loader constrói caminhos Azure Data Lake Storage Gen2 usando o contêiner e key nos eventos de arquivo. Se quiser usar caminhos WASB ou pontos de montagem DBFS, o senhor pode usar cloudFiles.pathRewrites para alterar os prefixos de caminho.

Consulte Opções de notificação de arquivo.

Atualizações de conectores​

  • O conector Snowflake Spark foi atualizado para a versão 2.9.0.
  • A criptografia KMS agora é compatível com a declaração UNLOAD do conector Redshift.

Correções de bugs​

  • Foi corrigido um problema no clustering ativado com o controle de acesso da tabela, em que o site select * from folder pode mostrar o conteúdo da pasta mesmo que o usuário não tenha permissão de acesso ao arquivo.
  • Agora, proprietários de bancos de dados que não são administradores podem descartar tabelas não próprias nos bancos de dados. Isso corrige o problema em que os proprietários do banco de dados não podiam descartar um banco de dados se existissem tabelas não próprias no banco de dados.

Atualizações da biblioteca​

  • Atualizado Python biblioteca:

    • certificado atualizado de 2020.12.5 para 2021.5.30
    • destilação atualizada de 0.3.1 para 0.3.2
    • koalas atualizados de 1.8.0 para 1.8.1
    • protobuf atualizado de 3.17.0 para 3.17.3

  • Biblioteca R atualizada:

    • base de 4.0.4 a 4.1.0
    • inicialize de 1,3-27 a 1,3-28
    • classe de 7,3-18 a 7,3-19
    • clustering de 2.1.1 para 2.1.2
    • compilador de 4.0.4 a 4.1.0
    • conjunto de dados de 4.0.4 para 4.1.0
    • gráficos de 4.0.4 a 4.1.0
    • GRDevices de 4.0.4 a 4.1.0
    • grade de 4.0.4 a 4.1.0
    • KernSmooth de 2,23-18 a 2,23-20
    • rede de 0,20-41 a 0,20-44
    • MASS de 7,3-53,1 a 7,3-54
    • Matriz de 1,3-2 a 1,3-3
    • métodos de 4.0.4 a 4.1.0
    • mgcv de 1,8-33 a 1,8-35
    • nnet de 7,3-15 a 7,3-16
    • paralelo de 4.0.4 a 4.1.0
    • Reserve de 1,8-7 a 1,8-8
    • SparkR de 3.1.1 para 3.1.2
    • splines de 4.0.4 a 4.1.0
    • estatísticas de 4.0.4 a 4.1.0
    • stats4 de 4.0.4 a 4.1.0
    • sobrevivência de 3,2-7 a 3,2-11
    • tcltk de 4.0.4 a 4.1.0
    • ferramentas de 4.0.4 a 4.1.0
    • utilitários de 4.0.4 a 4.1.0

  • Atualizado Java biblioteca:

    • snowflake-JDBC da versão 3.12.8 para a 3.13.3
    • spark-snowflake_2.12 de 2.8.1-spark_3.0 a 2.9.0-spark_3.1
    • RoaringBitmap de 0.9.0 a 0.9.14
    • calços de 0.9.0 a 0.9.14
    • rocksdbni de 6.2.2 a 6.20.3

Apache Spark​

O Databricks Runtime 8.4 inclui o Apache Spark 3.1.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.3 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-35792] [SQL] a visualização não deve capturar as configurações usadas no RelationConversions
  • [SPARK-35700] [SQL] Ler tabela orc char/varchar criada e gravada por sistemas externos
  • [SPARK-35636] [SQL] A chave Lambda não deve ser referenciada fora da função lambda
  • [SPARK-35800] [Cherry Pick] Melhorando a testabilidade do GroupState com a introdução do TestGroupState
  • [SPARK-35391] Corrigir vazamento de memória no ExecutorAllocationListener
  • [SPARK-35799] [CherryPick] Corrigir a medição métrica allUpdatesTimeMs em FlatMapGroupsWithStateExec
  • [SPARK-35763] [SS] Remova a dependência de enumeração da subclasse StatStoreCustomMetric
  • [SPARK-35791 [SQL] Liberar corretamente o mapa em andamento para ANTI join com reconhecimento de NULL
  • [SPARK-35695] [SQL] Coleta métricas observadas de subárvores de execução adaptáveis e em cache
  • [SPARK-35767] [SQL] Evite executar o plano filho duas vezes no CoalesceExec
  • [SPARK-35746] [UI] Corrigir taskid na linha do tempo do evento de tarefa da página de estágio
  • [SPARK-35673] [SQL] Corrige a dica definida pelo usuário e a dica não reconhecida na subconsulta.
  • [SPARK-35714] [CORE] Correção de bug para deadlock durante o desligamento do executor
  • [SPARK-35689] [SS] Adicionar log warn when keyWithIndexToValue returns null value
  • [SPARK-35589] [NÚCLEO] [3,1] O BlockManagerMasterEndpoint não deve ignorar o arquivo aleatório somente de índice durante a atualização
  • [SPARK-35643] [Python] Corrigir referência ambígua em functions.py column()
  • [SPARK-35652] [SQL] joinWith em duas tabelas geradas a partir da mesma
  • [SPARK-35679] [SQL] estouro do instantToMicros
  • [SPARK-35602] [SS] Atualizar o esquema de estado para poder aceitar JSON de comprimento longo
  • [SPARK-35653] [SQL] Corrigir falha no caminho interpretado CatalystToExternalMap para Map com classes de caso como chave ou valores
  • [SPARK-35296] [SQL] Permitir que o dataset.observe funcione mesmo que o CollectMetricsExec em uma tarefa manipule várias partições.
  • [SPARK-35659] [SS] Evite gravar null no StateStore
  • [SPARK-35665] [SQL] Resolve UnresolvedAlias in CollectMetrics
  • [SPARK-35558] Otimiza para recuperação de vários quantis
  • [SPARK-35621] [SQL] Adicionar poda de id de regra à regra TypeCoercion
  • [SPARK-35077] [SQL] Migrar para transformWithPruning para as regras de otimização restantes
  • [SPARK-35610] [CORE] Corrige o vazamento de memória introduzido pelo gancho de desligamento do executor
  • [SPARK-35544] [SQL] Adicionar poda de padrão de árvore às regras do Analyzer
  • [SPARK-35566] [SS] Corrigir linhas de saída StateStoreRestoreExec
  • [SPARK-35454] [SQL][3.1] Um LogicalPlan pode corresponder a vários dataset ids
  • [SPARK-35538] [SQL] Migrar os sites de chamada do transformAllExpressions para usar o transformAllExpressionsWithPruning
  • [SPARK-35106] [Core] [sql] Evite falhas na renomeação causadas pela inexistência do diretório de destino
  • [SPARK-35287] [SQL] Permitir que RemoveRedundantProjects preserve o ProjectExec que gera UnsafeRow para DataSourceV2ScanRelation
  • [SPARK-35495] [R] Alterar o mantenedor do SparkR para o CRAN
  • [SPARK-27991] [CORE] Adiar a solicitação de busca no Netty OOM
  • [SPARK-35171] [R] Declare o pacote markdown como uma dependência do pacote SparkR
  • [SPARK-35454] [SQL] Um LogicalPlan pode corresponder a vários dataset ids
  • [SPARK-35298] [SQL] Migrar para transformWithPruning para regras no Optimizer.Scala
  • [SPARK-35480] [SQL] Fazer percentile_approx funcionar com pivô
  • [SPARK-35093] [SQL] O AQE agora usa o plano newQueryStage como key para procurar trocas em cache para reutilização.
  • [SPARK-35146] [SQL] Migrar para transformWithPruning ou resolveWithPruning para regras em finishAnalysis.Scala
  • [SPARK-35411] [SQL] Adicionar informações essenciais ao serializar TreeNode para JSON
  • [SPARK-35294] [SQL] Adicionar poda de passagem de árvore em regras com arquivos dedicados no otimizador
  • [SPARK-34897] [SQL][3.1] Ofereça suporte à reconciliação de esquemas com base no índice após a remoção de colunas aninhadas
  • [SPARK-35144] [SQL] Migrar para transformWithPruning para regras de objeto
  • [SPARK-35155] [SQL] Adicionar poda de id de regra às regras do Analyzer
  • [SPARK-35382] [Python] Corrigir problemas de nome de variável lambda em funções DataFrame aninhadas em Python APIs.
  • [SPARK-35359] [SQL] A inserção de dados com o tipo de dados char/varchar falhará quando o comprimento dos dados exceder a limitação de comprimento
  • [SPARK-35381] [R] Corrigir problemas de nome de variável lambda em funções de ordem superior aninhadas nas APIs do R

Ambiente do sistema​

  • Sistema operacional : Ubuntu 18.04.5 LTS
  • Java : Zulu 8.54.0.21-CA-linux64
  • Scala : 2.12.10
  • Python : 3.8.8
  • R : 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Instalado Python biblioteca​

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

apronta

1.4.4

criptomoeda asn1

1.4.0

chamada de volta

0.2.0

boto3

1,16.7

botocore

1.19,7

brotlipy

0.7.0

certifi

2021/05/30

caffi

1,14.3

chardet

3.0.4

criptografia

3.1.1

ciclador

0.10.0

Cython

0,29,21

decorador

4.4.2

distlib

0.3.2

docutils

0,15.2

pontos de entrada

0,3

visão geral das facetas

1.0.0

bloqueio de arquivo

3.0.12

Índia

2,10

ipykernel

5.3.4

ipython

7.19.0

ipython-genutils

0.2.0

jedi

0,17.2

jmespath

0.10.0

joblib

0,17.0

cliente jupyter

6.1.7

núcleo jupyter

4.6.3

solucionador de kiwi

1.3.0

coalas

1.8.1

Matplotlib

3.2.2

entorpecido

1.19.2

Pandas

1.1.5

parso

0.7.0

bode expiatório

0.5.1

esperar

4.8.0

picles

0.7.5

pip

20.2.4

Plotly

4.14.3

kit de ferramentas de aviso

3.0.8

protobuf

3.17.3

psycopg2

2.8.5

processo pty

0.6.0

flecha

1.0.1

pycparser

2,20

Pigmentos

2.7.2

PyOpenSSL

19.1.0

análise de pipa

2.4.7

Meias PY

1.7.1

Python-dateutil

2.8.1

pytz

2020,5

pizma

19,0.2

pedidos

2.24,0

tentando novamente

1.3.3

transferência s3

0.3.6

scikit-learn

0,23,2

pegajoso

1.5.2

marítimo

0.10.0

ferramentas de configuração

50,3.1

seis

1,15.0

modelos de estatísticas

0.12.0

threadpool ctl

2.1.0

tornado

6.0.4

almôndegas

5.0.5

urllib3

1,25.11

ambiente virtual

20.2.1

largura do wc

0.2.5

Python wheel

0,35,1

Instalada a R biblioteca​

As bibliotecas R são instaladas a partir do Snapshot Microsoft CRAN em 2020-11-02.

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

askpass

1.1

afirme que

0.2.1

portas traseiras

1.2.1

base

4.1.0

base64enc

0,1-3

POR

1,72,0-3

pouco

4.0.4

bit64

4.0.5

bolha

1.2.1

inicialização

1,3-28

fermentar

1,0-6

brio

1.1.0

vassoura

0.7.2

chamador

3.5.1

cursor

6,0-86

guarda de celas

1.1.0

crono

2,3-56

Aula

7,3-19

CLIPE

2.2.0

clipe

0.7.1

Cluster

2.1.2

ferramentas de código

0,2-18

espaço de cores

2,0-0

marca comum

1.7

compilador

4.1.0

configuração

0,3

capa

3.5.1

cpp11

0.2.4

giz de cera

1.3.4

Credenciais

1.3.0

diafonia

1.1.0.1

cacho

4.3

data.tabela

1,13.4

conjunto de dados

4.1.0

DBI

1.1.0

dbplyr

2.0.0

desc

1.2.0

ferramentas de desenvolvimento

2.3.2

diff

0.3.2

digerir

0,6.27

dplyr

1.0.2

DT

0,16

reticências

0.3.1

avalie

0,14

fansi

0.4.1

colorista

2.0.3

mapa rápido

1.0.1

para gatos

0.5.0

para cada um

1.5.1

estrangeira

0,8-81

forjar

0.2.0

fs

1.5.0

futuro

1,21,0

genéricas

0.1.0

obter

1.0.2

ggplot2

3.3.2

gh

1.2.0

gitcreds

0.1.1

glmnet

4,0-2

globais

0.14.0

cola

1.4.2

goleiro

0.2.2

gráficos

4.1.0

Dispositivos GR

4.1.0

grade

4.1.0

Grid Extra

2.3

gsubfn

0,7

mesa

0.3.0

refúgio

2.3.1

mais alto

0,8

HMS

0.5.3

ferramentas html

0.5.0

widgets html

1.5.3

http.uv

1.5.4

httr

1.4.2

escritor

1.3.2

HWriter Plus

1,0-3

mini

0.3.1

ipred

0,9-9

isóbanda

0.2.3

iteradores

1,0.13

jsonlite

1.7.2

Kern Smooth

2,23-20

tricotar

1,30

rótulo

0.4.2

posteriormente

1.1.0.1

treliça

0,20-44

lava

1.6.8.1

preguiçoso

0.2.2

ciclo de vida

0.2.0

ouvindo

0,8.0

lubrificar

1.7.9.2

magritter

2.0.1

Markdown

1.1

MASSA

7,3-54

Matriz

1,3-3

memoise

1.1.0

métodos

4.1.0

mgcv

1,8-35

mímica

0,9

Métricas do modelo

1.2.2.2

modelar

0.1.8

munsell

0.5.0

nome

3,1-152

net

7,3-16

Número Deriv

2016,8-1,1

openssl

1.4.3

paralelo

4.1.0

paralelamente

1,22,0

pilar

1.4.7

pkgbuild

1.1.0

pkgconfig

2.0.3

carregamento de pacotes

1.1.0

plogr

0.2.0

plyr

1.8.6

elogio

1.0.0

unidades bonitas

1.1.1

ProC

1.16.2

processa

3.4.5

prodlim

13/11/2019

progresso

1.2.2

promessas

1.1.1

proto

1.0.0

ps

1.5.0

ronronar

0.3.4

r2d3

0.2.3

R6

2.5.0

Floresta aleatória

4,6-14

corredeiras

0.3.1

rcmdcheck

1.3.3

Cervejaria RColor

1,1-2

Rcpp

1.0.5

leitor

1.4.0

readxl

1.3.1

receitas

0,1,15

revanche

1.0.1

revanche 2

2.1.2

controles remotos

2.2.0

reprex

0.3.0

remodelar 2

1.4.4

rex

1.2.0

rlang

0.4.9

rmarkdown

2.6

RODBC

1,3-17

roxigênio2

7.1.1

rpartem

4,1-15

rprojroot

2.0.2

Reservar

1,8-8

RSQLite

2.2.1

API do estúdio

0,13

reversões

2.0.2

colete

0.3.6

escala

1.1.1

seletor

0,4-2

informações da sessão

1.1.1

forma

1.4.5

brilhante

1.5.0

ferramentas de origem

0.1.7

Sparklyr

1.5.2

SparkR

3.1.1

espacial

7,3-11

splines

4.1.0

sqldf

0,4-11

QUADRADO

2020,5

estatísticas

4.1.0

estatísticas4

4.1.0

stringi

1.5.3

longarina

1.4.0

sobrevivência

3,2-11

diz

3.4

tcltk

4.1.0

Demonstrações de ensino

2,10

teste isso

3.0.0

petiscar

3.0.4

arrumado

1.1.2

seleção arrumada

1.1.0

tidyverso

1.3.0

Hora/Data

3043,102

tinytex

0,28

Ferramentas

4.1.0

use isso

2.0.0

utf 8

1.1.4

utilidades

4.1.0

uuid

0,1-4

vctrs

0.3.5

Viridis Lite

0.3.0

waldo

0.2.3

bigode

0,4

murchar

2.3.0

diversão

0,19

xml2

1.3.2

xopen

1.0.0

x estável

1,8-4

yaml

2.2.1

compactar

2.1.1

Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)​

ID do grupo

ID do artefato

Versão

chifre

chifre

2.7.7

com.amazonaws

Amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscale

1,11.655

com.amazonaws

formação de nuvem aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-cloudfront

1,11.655

com.amazonaws

aws-java-sdk-cloudhsm

1,11.655

com.amazonaws

aws-java-sdk-cloudsearch

1,11.655

com.amazonaws

aws-java-sdk-cloudtrail

1,11.655

com.amazonaws

aws-java-sdk-cloudwatch

1,11.655

com.amazonaws

métricas aws-java-sdk-cloudwatch

1,11.655

com.amazonaws

aws-java-sdk-codedeploy

1,11.655

com.amazonaws

identidade cognitiva aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-cognitosync

1,11.655

com.amazonaws

aws-java-sdk-config

1,11.655

com.amazonaws

aws-java-sdk-core

1,11.655

com.amazonaws

pipeline de dados aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-conexão direta

1,11.655

com.amazonaws

diretório aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-dynamodb

1,11.655

com.amazonaws

aws-java-sdk-ec2

1,11.655

com.amazonaws

aws-java-sdk-ecs

1,11.655

com.amazonaws

aws-java-sdk-efs

1,11.655

com.amazonaws

aws-java-sdk-elasticache

1,11.655

com.amazonaws

aws-java-sdk-elasticbeanstalk

1,11.655

com.amazonaws

balanceamento de carga elástico aws-java-sdk

1,11.655

com.amazonaws

transcodificador elástico aws-java-sdk-

1,11.655

com.amazonaws

aws-java-sdk-emr

1,11.655

com.amazonaws

aws-java-sdk-glacier

1,11.655

com.amazonaws

aws-java-sdk-glue

1,11.655

com.amazonaws

aws-java-sdk-iam

1,11.655

com.amazonaws

aws-java-sdk-importação/exportação

1,11.655

com.amazonaws

aws-java-sdk-kinesis

1,11.655

com.amazonaws

aws-java-sdk-kms

1,11.655

com.amazonaws

aws-java-sdk-lambda

1,11.655

com.amazonaws

aws-java-sdk-logs

1,11.655

com.amazonaws

aws-java-sdk - aprendizado de máquina

1,11.655

com.amazonaws

serviço de medição de mercado aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-opsworks

1,11.655

com.amazonaws

aws-java-sdk-rds

1,11.655

com.amazonaws

aws-java-sdk-redshift

1,11.655

com.amazonaws

aws-java-sdk-route53

1,11.655

com.amazonaws

aws-java-sdk-s3

1,11.655

com.amazonaws

aws-java-sdk-ses

1,11.655

com.amazonaws

aws-java-sdk-simpledb

1,11.655

com.amazonaws

aws-java-sdk - fluxo de trabalho simples

1,11.655

com.amazonaws

aws-java-sdk-sns

1,11.655

com.amazonaws

aws-java-sdk-sqs

1,11.655

com.amazonaws

aws-java-sdk-ssm

1,11.655

com.amazonaws

gateway de armazenamento aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-sts

1,11.655

com.amazonaws

suporte aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-swf-biblioteca

1.11.22

com.amazonaws

aws-java-sdk-workspace

1,11.655

com.amazonaws

jmespath-java

1,11.655

com.chuusai

sem forma_2.12

2.3.3

com.clearspring.analítica

transmissão

2.9.6

com.databricks

Reservar

1,8-3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

plugin_2.12 do compilador

0,4,15-10

com.databricks.scalapb

scalapb-runtime_2.12

0,4,15-10

com.esotérico software

crio-sombreado

4.0.2

com.esotérico software

minlog

1.3.0

com.fasterxml

colega de classe

1.3.4

com.fasterxml.jackson.core

jackson-anotação

2.10.0

com.fasterxml.jackson.core

jackson-core

2.10.0

com.fasterxml.jackson.core

vinculação de dados jackson

2.10.0

formato de dados com.fasterxml.jackson.

formato de dados jackson-cbor

2.10.0

com.fasterxml.jackson.tipo de dados

jackson-datatype-joda

2.10.0

com.fasterxml.jackson.module

parâmetro do módulo jackson

2.10.0

com.fasterxml.jackson.module

jackson-module-Scala.12

2.10.0

com.github.ben-manes.cafeína

cafeína

2.3.4

com.github.fommil

descarregador

1.1

com.github.fommil.netlib

abdômen

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-nativos

1.1

com.github.fommil.netlib

sistema_nativo-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.joshelser

dropwizard-métricas-hadoop-metrics2-reporter

0.1.2

com.github.luben

zstd-jni

1,4,8-1

com.github.wendykierp

JTransforma

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.2.4

com.google.flatbuffers

tampões planos-java

1.9.0

com.google.goiaba

goiaba

15,0

com.google.protobuf

protobuf-java

2.6.1

banco de dados com.h2

h2

1,4,195

com.helger

perfilador

1.1.1

com.jcraft

jsch

0,1,50

com.jolbox

bonecp

VERSÃO 0.8.0.

com.lihaoyi

código-fonte_2.12

0.1.9

com.microsoft.azure

azure-data lake-store-sdk

2.3.9

com.microsoft.sqlserver

mssql-JDBC

9.2.1. jre8

comendo

comprimir-lzf

1.0.3

com.sun.mail

javax.mail

1.5.2

com.trunning

JSON

1,8

com.thoughtworks.paranamer

paranâmero

2.8

com.trueaccord.lenses

lentes_2.12

0.4.12

com.Twitter

chill-java

0,9.5

com.Twitter

chill_2.12

0,9.5

com.Twitter

util-app_2.12

7.1.0

com.Twitter

util-core_2.12

7.1.0

com.Twitter

função-útil_2.12

7.1.0

com.Twitter

util-jvm_2.12

7.1.0

com.Twitter

util-lint_2.12

7.1.0

com.Twitter

util-registry_2.12

7.1.0

com.Twitter

util-stats_2.12

7.1.0

com.typesafe

configuração

1.2.1

com.typesafe.Scala-logging

Scala-logging_2.12

3.7.2

com.univocidade

analisadores de univocidade

2.9.1

com.zaxxer

HikaricP

3.1.0

folhas de feijão comum

folhas de feijão comum

1.9.4

comum-CLI

comum-CLI

1.2

codec comum

codec comum

1,10

coleções comuns

coleções comuns

3.2.2

configuração comum

configuração comum

1,6

commons-dbcp

commons-dbcp

1.4

digestor comum

digestor comum

1,8

upload de arquivo commons

upload de arquivo commons

1.3.3

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2,4

linguagem comum

linguagem comum

2.6

registro de bens comuns

registro de bens comuns

1.1.3

commons-net

commons-net

3.1

comum-pool

comum-pool

1.5.4

hive-2.3__hadoop-2.7

jets3t-0.7

liball_deps_2,12

hive-2.3__hadoop-2.7

tratador do zoológico-3.4

liball_deps_2,12

info.ganglia.gmetric4j

gmetric4j

1.0.10

io. airlift

compressor de ar

0,10

io.delta

delta-compartilhamento-spark_2.12

0.1.0

io.dropwizard.métricas

núcleo de métricas

4.1.1

io.dropwizard.métricas

métricas-grafite

4.1.1

io.dropwizard.métricas

métricas-healthchecks

4.1.1

io.dropwizard.métricas

métricas-jetty9

4.1.1

io.dropwizard.métricas

métricas-jmx

4.1.1

io.dropwizard.métricas

métricas-JSON

4.1.1

io.dropwizard.métricas

métricas-JVM

4.1.1

io.dropwizard.métricas

métricas-servlets

4.1.1

io.netty

tudo

4.1.51.Final

io. prometheus

cliente simples

0.7.0

io. prometheus

simpleclient_common

0.7.0

io. prometheus

simpleclient_dropwizard

0.7.0

io. prometheus

gateway client_push simples

0.7.0

io. prometheus

client_servlet simples

0.7.0

io.prometheus.jmx

coletor

0.12.0

jakarta.anotação

jakarta.anotação-api

1.3.5

jakarta.validação

jakarta.validação-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.ativação

ativação

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

jsp-api

2.1

javax.transaction

jta

1.1

javax.transaction

API de transação

1.1

javax.xml.bind

jaxb-api

2.2.2

javax.xml.transmissão

stax-api

1,0-2

javolução

javolução

5.5.1

junte-se

junte-se

2.14.6

hora do dia

hora do dia

2.10.5

log4j

apache-log4j-extras

1.2.17

log4j

log4j

1.2.17

Maven-árvores

hive-2.3__hadoop-2.7

liball_deps_2,12

net.java.dev.jna

jna

5.8.0

net.razorvine

pirolita

4,30

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

supercsv

2.2.0

net.snowflake

SDK de ingestão de flocos de neve

0.9.6

net.snowflake

floco de neve-JDBC

3.13.3

net.snowflake

floco de neve faísca_2.12

2.9.0-spark_3.1

net.sourceforge.f2j

arpack_combined_all

0,1

org.acplt.remotetea

chá remoto - oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4,8-1

org.antlr

modelo de string

3.2.1

org.apache.ant

formiga

1.9.2

org.apache.ant

formiga

1.9.2

org.apache.ant

lançador de formigas

1.9.2

org.apache.arrow

formato de seta

2.0.0

org.apache.arrow

núcleo de memória de seta

2.0.0

org.apache.arrow

rede de memória de seta

2.0.0

org.apache.arrow

vetor de seta

2.0.0

org.apache.avro

AVRO

1.8.2

org.apache.avro

avro-ipc

1.8.2

org.apache.avro

avro-mapred-hadoop2

1.8.2

org.apache.commons

compressa comum

1,20

org.apache.commons

criptomoeda comum

1.1.0

org.apache.commons

commons-lang3

3.10

org.apache.commons

commons-math3

3.4.1

org.apache.commons

texto comum

1,6

org.apache.curator

curador-cliente

2.7.1

org.apache.curator

estrutura de curador

2.7.1

org.apache.curator

receitas de curadores

2.7.1

org.apache.derby

derby

10.12.1.1

org.apache.directory.api

api-asn1-api

1,0,0-M20

org.apache.directory.api

utilitário de API

1,0,0-M20

org.apache.directory.server

apacheds-i18n

2,0,0-M15

org.apache.directory.server

codec apacheds-kerberos

2,0,0-M15

org.apache.hadoop

hadoop-anotação

2.7.4

org.apache.hadoop

autenticação hadoop

2.7.4

org.apache.hadoop

cliente hadoop

2.7.4

org.apache.hadoop

hadoop-comum

2.7.4

org.apache.hadoop

hadoop-HDFS

2.7.4

org.apache.hadoop

aplicativo cliente hadoop mapreduce

2.7.4

org.apache.hadoop

hadoop-mapreduce-client-common

2.7.4

org.apache.hadoop

núcleo do cliente hadoop-mapreduce

2.7.4

org.apache.hadoop

hadoop-mapreduce-client-jobclient

2.7.4

org.apache.hadoop

hadoop-mapreduce-client-shuffle

2.7.4

org.apache.hadoop

API hadoop yarn

2.7.4

org.apache.hadoop

cliente hadoop-yarn

2.7.4

org.apache.hadoop

hadoop-yarn-common

2.7.4

org.apache.hadoop

servidor hadoop-yarn-comum

2.7.4

org.apache.hive

hive-beeline

2.3.7

org.apache.hive

colmeia-CLI

2.3.7

org.apache.hive

hive-JDBC

2.3.7

org.apache.hive

hive-llap-client

2.3.7

org.apache.hive

hive-lap-common

2.3.7

org.apache.hive

colmeia

2.3.7

org.apache.hive

hive-shims

2.3.7

org.apache.hive

API de armazenamento em nuvem

2.7.2

org.apache.hive.shims

calços de colmeia - 0,23

2.3.7

org.apache.hive.shims

calços de colmeia comuns

2.3.7

org.apache.hive.shims

hive-shims-programador

2.3.7

org.apache.htrace

htrace-core

3.1.0 - incubação

org.apache.httpcomponents

cliente http

4.5.6

org.apache.httpcomponents

httpcore

4.4.12

org.apache.ivy

hera

2.4.0

org.apache.mesos

protobuf sombreado em mesos

1.4.0

org.apache.orc

núcleo orc

1.5.12

org.apache.orc

orc-mapreduce

1.5.12

org.apache.orc

calços de orc

1.5.12

org.apache.parquet

coluna de parquete

1.10.1 - blocos de dados 9

org.apache.parquet

parquete comum

1.10.1 - blocos de dados 9

org.apache.parquet

codificação de parquet

1.10.1 - blocos de dados 9

org.apache.parquet

formato de parquet

2.4.0

org.apache.parquet

parquet-hadoop

1.10.1 - blocos de dados 9

org.apache.parquet

parquet-jackson

1.10.1 - blocos de dados 9

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.xbean

xbean-asm7-shaded

4,15

org.apache.yetus

audiência-anotação

0.5.0

org.apache.zookeeper

tratador

3.4.14

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-jaxers

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.jackson

jackson-xc

1.9.13

org.codehaus.janino

compilador common

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

núcleo de dados-api-jdo

4.2.4

org.datanucleus

núcleo de dados

4.1.17

org.datanucleus

núcleo de dados-rdbms

4.1.19

org.datanucleus

javax.jdo

3,2,0-m3

org.Eclipse.jetty

jetty-client

9.4.36.v20210114

org.Eclipse.jetty

continuação do cais

9.4.36.v20210114

org.Eclipse.jetty

jetty-http

9.4.36.v20210114

org.Eclipse.jetty

jetty-io

9.4.36.v20210114

org.Eclipse.jetty

jetty-jndi

9.4.36.v20210114

org.Eclipse.jetty

jetty-plus

9.4.36.v20210114

org.Eclipse.jetty

jetty-proxy

9.4.36.v20210114

org.Eclipse.jetty

segurança do cais

9.4.36.v20210114

org.Eclipse.jetty

servidor jetty-server

9.4.36.v20210114

org.Eclipse.jetty

jutty-servlet

9.4.36.v20210114

org.Eclipse.jetty

píer de servlets

9.4.36.v20210114

org.Eclipse.jetty

jetty-util

9.4.36.v20210114

org.Eclipse.jetty

jetty-util-ajax

9.4.36.v20210114

org.Eclipse.jetty

aplicativo web jetty-

9.4.36.v20210114

org.Eclipse.jetty

jetty-xml

9.4.36.v20210114

org.fusesource.leveldbjni

leveldbjni-tudo

1,8

org.glassfish.hk2

API hk2

2.6.1

org.glassfish.hk2

localizador hk2

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-recurso-locator

1.0.3

org.glassfish.hk2.external

aopalliance - reembalado

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

servlet de contêiner de camisa

2,30

org.glassfish.jersey.containers

jersey-container-servlet-core

2,30

org.glassfish.jersey.core

cliente de camisa

2,30

org.glassfish.jersey.core

camiseta comum

2,30

org.glassfish.jersey.core

servidor de camisa

2,30

org.glassfish.jersey.inject

camiseta-hk2

2,30

org.glassfish.jersey.media

jersey-media-jaxb

2,30

org.hibernate.validator

validador de hibernação

6.1.0. Final

org.javassist

javassist

3,25,0 GA

org.jboss.logging

registro de jboss-logging

3.3.2. Final

org.jdbi

jdbi

2.63,1

org.joda

conversor de joda

1.7

org.jodd

núcleo nodular

3.5.2

org.json4s

json4s-ast_2.12

3,7,0 M5

org.json4s

json4s-core_2.12

3,7,0 M5

org.json4s

json4s-jackson_2.12

3,7,0 M5

org.json4s

json4s-scalap_2.12

3,7,0 M5

org.lz4

lz4-java

1.7.1

org.mariadb.JDBC

cliente mariadb-java

2.2.5

org.objenesis

objênese

2.5.1

org.postgresql

PostgreSQL

42,14

org.roaringbitmap

Mapa de bits estrondoso

0,9.14

org.roaringbitmap

calços

0,9.14

org.rocksdb

rocksdbjni

6.20.3

org.rosuda.rEngine

Motor

2.1.0

org.Scala-lang

Scala-compiler_2.12

2.12.10

org.Scala-lang

Scala-biblioteca.12

2.12.10

org.Scala-lang

Scala-reflect_2.12

2.12.10

org.Scala-lang.modules

Scala-collection-compat_2.12

2.1.1

org.Scala-lang.modules

Scala-parser-combinators_2.12

1.1.2

org.Scala-lang.modules

Scala-xml_2.12

1.2.0

org.Scala-sbt

interface de teste

1,0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

breeze-macros_2.12

1,0

org.scalanlp

breeze_2.12

1,0

org.scalatest

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1,7.30

org.slf4j

jul-a-slf4j

1,7.30

org.slf4j

slf4j-api

1,7.30

org.slf4j

slf4j-log4j12

1,7.30

org.spark-project.spark

não utilizado

1.0.0

org.springframework

núcleo de mola

4.1.4. LANÇAMENTO

org.springframework

teste de primavera

4.1.4. LANÇAMENTO

org.threeten

treze e mais

1.5.0

org.tukaani

xz

1.5

org.typelevel

álgebra_2.12

2,0,0-M2

org.typelevel

cats-kernel_2.12

2,0,0-M4

org.typelevel

maquinista_2.12

0.6.8

org.typelevel

macro-compat_2,12

1.1.1

org.typelevel

spire-macros_2.12

0,17.0-M1

org.typelevel

spire-platform_2.12

0,17.0-M1

org.typelevel

spire-util_2.12

0,17.0-M1

org.typelevel

spire_2.12

0,17.0-M1

org.wildfly.openssl

wildfly-openssl

1.0.7. Final

org.xerial

sqlite-JDBC

3.8.11.2

org.xerial.snappy

snappy-java

1.1.8.2

org.yaml

snakeyaml

1,24

oro

oro

2.0.8

pt.edu.icm

Matrizes JLarge

1.5

software.Amazon.ion

ion-java

1.0.2

stax

stax-api

1.0.1

xmlenc

xmlenc

0,52

Última atualização em