Pular para o conteúdo principal

Databricks Runtime 8,3 (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

As notas a seguir sobre a versão fornecem informações sobre Databricks Runtime 8.3 e Databricks Runtime 8.3 Photon, alimentado por Apache Spark 3.1.1. A Databricks lançou essa versão em junho de 2021. O Photon está em visualização pública.

Novos recursos e melhorias​

Acelere as cargas de trabalho do SQL com o Photon (visualização pública)​

O Photon é o novo mecanismo vetorial nativo da Databricks, diretamente compatível com as APIs do Apache Spark. Ele está incluído como parte de um novo tempo de execução de alto desempenho projetado para executar suas cargas de trabalho SQL com mais rapidez e reduzir o custo total por carga de trabalho. Esse tempo de execução é uma variante do padrão Databricks Runtime e pode ser selecionado quando o senhor cria o clustering na UI, no clustering API ou no Jobs API (especificado no APIs como 8.3.x-photon-scala2.12).

Photon é compatível com um conjunto limitado de tipos de instância nos nós driver e worker. Os tipos de instância com o Photon consomem DBUs em uma taxa diferente da do mesmo tipo de instância que executa um tempo de execução não-Photon. Para obter mais informações sobre as instâncias do Photon e o consumo do DBU, consulte a páginaDatabricks preços.

Colunas geradas em tabelas Delta (visualização pública)​

O Delta Lake agora suporta colunas geradas , que são um tipo especial de coluna cujos valores são gerados automaticamente com base em uma função especificada pelo usuário sobre outras colunas na tabela Delta. O senhor pode usar a maioria das funções integradas do SQL para gerar os valores dessas colunas geradas. Por exemplo, você pode gerar automaticamente uma coluna de data (para particionar a tabela por data) a partir da coluna de carimbo de data/hora; qualquer gravação na tabela só precisa especificar os dados da coluna de carimbo de data/hora. O senhor pode criar tabelas Delta com colunas geradas usando APIs SQL, Scala, Java ou Python.

Para obter mais informações, consulte Delta Lake generated columns.

Auto Loader recurso e melhorias​

Inferência de esquema para arquivos CSV no Auto Loader​

O Auto Loader agora suporta inferência de esquema e evolução em arquivos CSV. O Auto Loader fornece os seguintes recursos além do analisador de CSV existente no Apache Spark:

  • Fusão de esquemas: O Auto Loader pode ingerir arquivos CSV que tenham esquemas diferentes (número diferente de colunas, ordenação diferente de colunas) entre os arquivos.
  • Coluna de dados resgatados: O senhor pode usar a coluna de dados resgatados para resgatar dados inesperados que possam aparecer em seus arquivos CSV. Isso inclui dados que não podem ser analisados no tipo de dados esperado, colunas com maiúsculas e minúsculas diferentes no cabeçalho ou colunas adicionais que não faziam parte do esquema esperado.

Para obter detalhes, consulte Configurar inferência e evolução de esquema no Auto Loader.

Melhoria do tempo de startup transmissão Auto Loader​

Auto Loader A transmissão agora executa o backfill inicial da transmissão de forma assíncrona ao iniciar pela primeira vez, o que resulta em uma inicialização muito mais rápida da transmissão. Isso pode permitir que você itere rapidamente seu código com dados de produção, especialmente quando você precisa ingerir dados de diretórios que contêm milhões ou bilhões de arquivos.

Além disso, o tempo de inicialização da transmissão que está sendo reiniciada também melhorou, pois paralelizamos os arquivos download e upload do RocksDB que o Auto Loader aproveita para fornecer a semântica exactly-once.

Listagem mais rápida no diretório do Auto Loader​

Melhoramos muito a eficiência da listagem de diretórios no Auto Loader. Um efeito colateral dessa melhoria de desempenho é que a transmissão pode emitir mais solicitações de lista para o sistema de armazenamento quando não há novos dados para processar, o que pode levar a um aumento nas taxas de solicitação de lista. Como prática recomendada geral, o site Databricks recomenda que o senhor defina um intervalo de acionamento razoável para o pipeline de transmissão de produção. Consulte Considerações sobre produção para transmissão estruturada.

Redução da sobrecarga de armazenamento para pontos de verificação do Auto Loader​

Auto Loader A transmissão agora limpa automaticamente os arquivos obsoletos no diretório do ponto de verificação de forma assíncrona para evitar que o tamanho do diretório do ponto de verificação cresça indefinidamente e reduzir os custos de armazenamento.

O Auto Loader inclui o caminho do arquivo na coluna de dados resgatados, quando disponível​

A coluna de dados resgatados fornece automaticamente o caminho do arquivo dos dados resgatados quando aplicável em uma coluna chamada _file_ path. Isso pode ajudar você a rastrear a causa raiz dos problemas de qualidade dos dados. A coluna não será incluída se o esquema de dados contiver uma coluna chamada _file_path. O senhor pode usar a configuração do SQL spark.databricks.sql.rescuedDataColumn.filePath.name para renomear a coluna, se necessário.

O Auto Loader oferece suporte a renomeações de arquivos no Azure Data Lake Storage Gen2 no modo de notificação de arquivos​

O Auto Loader agora oferece suporte a eventos BlobRenamed para o Azure Data Lake Storage Gen2 ao ser executado no modo de notificação de arquivo. Para processar arquivos que são carregados em um contêiner Azure Data Lake Storage Gen2 por meio de operações de renomeação com notificações de arquivos, comece uma nova transmissão com Auto Loader usando Databricks Runtime 8.3. Para garantir que um arquivo seja processado exatamente uma vez, certifique-se de que o diretório de origem do qual o arquivo está sendo renomeado não seja observado pelo Auto Loader.

Criar tabelas Delta com novas APIs programáticas (visualização pública)​

Agora o senhor pode criar novas tabelas Delta de forma programática (usando Scala, Java e Python) sem usar as APIs do DataFrame. As novas APIs DeltaTableBuilder e DeltaColumnBuilder permitem que o senhor especifique todos os detalhes da tabela que pode especificar usando o SQL CREATE TABLE.

Para obter mais informações, consulte Criar uma tabela.

Cálculo correto do tamanho das tabelas Delta no SQL ANALYZE​

A lógica de análise existente calcula incorretamente o tamanho da tabela para as tabelas Delta e atualiza o catálogo com o tamanho incorreto. A solução é obter o tamanho de uma tabela Delta a partir da tabela Delta log.

Métricas detalhadas de RocksDB desempenho ao usar o RocksDBStateStore​

Se o senhor tiver configurado sua consulta de transmissão estruturada para usar o siteRocksDB como armazenamento do estado, agora poderá obter melhor visibilidade do desempenho do site RocksDB, com métricas detalhadas sobre latências de obtenção/computação, latências de compactação, acessos ao cache e assim por diante. Essas métricas estão disponíveis nos sites StreamingQueryProgress e StreamingQueryListener APIs para monitorar a consulta de transmissão.

Para obter mais informações, consulte Configure RocksDB armazenamento do estado em Databricks.

Gravações otimizadas automáticas​

As gravações otimizadas em tabelas Delta particionadas agora são ativadas automaticamente para consultas de atualização e exclusão que contêm subconsultas.

Habilitar a união em bloco se apenas um lado do join for em bloco​

Uma nova configuração spark.databricks.sql.minBucketsForBucketedJoin ativa um bucketed join se apenas um lado do join for bucketed e o número de buckets não for menor que esse valor de configuração. Em default, esse valor de configuração é o mesmo que o número de partições embaralhadas de default (200).

Segurança aprimorada ao definir UDFs do Spark (visualização pública)​

As funções de informação do usuário current_user e is_member não podem mais ser substituídas por funções temporárias, incluindo Python spark.udf.register ou SQL create or replace temp function.

CSE-KMS endpoint com suporte no novo cliente S3​

O conectorS3 agora oferece suporte à opção fs.s3a.cse.kms.endpoint para configurar um KMS endpoint personalizado ao usar AWS S3 criptografia no lado do cliente com chave gerenciada pelo AWS KMS serviço (CSE-KMS). Consulte AWS artigos AWS key Management service endpoint and quotas para obter a lista de endpoints válidos. Se a opção não for especificada, o CSE-KMS usa como padrão a região us-east-1 em default. Se o senhor usar a criptografia do lado do cliente S3 com um key fornecido pelo cliente, essa opção não terá efeito.

Fácil migração das configurações do OSS Hadoop para o clustering Databricks, graças ao suporte para OSS e nomes de classe sombreados para provedores de credenciais S3 AWS​

Os provedores de credenciais AWS do Hadoop de código aberto, por exemplo, org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider, org.apache.hadoop.fs.s3a.auth.AssumedRoleCredentialProvider e org.apache.hadoop.fs.s3a.AnonymousAWSCredentialsProvider, podem ser configurados como parte da configuração do Hadoop para o S3 Storage Connector, além dos métodos de autenticação existentes. Isso permite a migração fácil da configuração do OSS Hadoop para um clustering Databricks.

Número reduzido de solicitações ao registro de esquemas para consultas com from_avro​

As consultas em from_avro com suporte ao registro de esquemas não geram mais tantas solicitações ao serviço de registro de esquemas, economizando custos operacionais.

Vários resultados em R com ListResults (visualização pública)​

Databricks O R Notebook agora suporta vários resultados em cada célula. Anteriormente, apenas um único resultado era apresentado para cada célula do Notebook. Atualmente, os resultados de uma única célula no R Notebook são exibidos na seguinte ordem:

  1. URL brilhante
  2. graficar
  3. Exibir saídas HTML
  4. tabelas
  5. stdout

Correções de bugs​

  • Desativou uma lista de predicados "push down" (StartsWith, EndsWith, Contains, Not(EqualTo()) e DataType) para o AWS Glue Catalog, pois eles ainda não são compatíveis com o Glue.

Atualizações da biblioteca​

  • Atualização da biblioteca Python:

    • koalas foram atualizados de 1.7.0 para 1.8.0.
    • Pandas Atualizado a partir da versão 1.1.3 para 1.1.5.
    • s3transfer foi atualizado de 0.3.4 para 0.3.6.

  • Biblioteca R atualizada:

    • O SparkR foi atualizado da versão 3.1.1 para a 3.1.2.

  • Atualização da biblioteca Java:

    • mariadb-java-client de 2.1.2 para 2.2.5.
    • coluna de parquete de 1.10.1-databricks6 a 1.10.1-databricks9
    • parquet-common de 1.10.1-databricks6 para 1.10.1-databricks9
    • codificação de parquet de 1.10.1-databricks6 a 1.10.1-databricks9
    • parquet-hadoop de 1.10.1-databricks6 para 1.10.1-databricks9
    • parquet-jackson de 1.10.1-databricks6 para 1.10.1-databricks9

Apache Spark​

O Databricks Runtime 8.3 inclui o Apache Spark 3.1.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.2 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-34614] [SQL] Modo ANSI: A conversão de strings para Boolean deve lançar uma exceção em caso de erro de análise
  • [SPARK-34246] [FOLLOWUP] Altere a definição de `findTightestCommont...
  • [SPARK-35213] [SQL] Mantém a ordem correta dos structs aninhados em operações withField encadeadas
  • [SPARK-35096] [SQL] O SchemaPruning deve aderir ao spark.sql.caseSensitive configuração
  • [SPARK-35227] [BUILD] Atualizar o resolvedor do spark-pacote no SparkSubmit
  • [SPARK-35224] [SQL] Corrigir estouro de buffer em MutableProjectionSuite
  • [SPARK-34245] [CORE] Garantir que o mestre remova o executor que não conseguiu enviar o estado finalizado
  • [SPARK-34856] [SQL] Modo ANSI: Permitir a conversão de tipos complexos como tipos de strings
  • [SPARK-34946] [SQL] Bloquear subconsulta escalar correlacionada sem suporte no Aggregate
  • [SPARK-35014] Corrija o padrão PhysicalAggregation para não reescrever expressões dobráveis
  • [SPARK-34769] [SQL] AnsiTypeCoercion: retorna o conector mais próximo...

Ambiente do sistema​

  • Sistema operacional : Ubuntu 18.04.5 LTS
  • Java : Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)
  • Scala : 2.12.10
  • Python : 3.8.8
  • R : R versão 4.0.4 (2021-02-15)
  • Delta Lake 1.0.0

Instalado Python biblioteca​

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

apronta

1.4.4

criptomoeda asn1

1.4.0

chamada de volta

0.2.0

boto3

1,16.7

botocore

1.19,7

brotlipy

0.7.0

certifi

2020.12,5

caffi

1,14.3

chardet

3.0.4

criptografia

3.1.1

ciclador

0.10.0

Cython

0,29,21

decorador

4.4.2

distlib

0.3.1

docutils

0,15.2

pontos de entrada

0,3

visão geral das facetas

1.0.0

bloqueio de arquivo

3.0.12

Índia

2,10

ipykernel

5.3.4

ipython

7.19.0

ipython-genutils

0.2.0

jedi

0,17.2

jmespath

0.10.0

joblib

0,17.0

cliente jupyter

6.1.7

núcleo jupyter

4.6.3

solucionador de kiwi

1.3.0

coalas

1.8.0

Matplotlib

3.2.2

entorpecido

1.19.2

Pandas

1.1.5

parso

0.7.0

bode expiatório

0.5.1

esperar

4.8.0

picles

0.7.5

pip

20.2.4

Plotly

4.14.3

kit de ferramentas de aviso

3.0.8

protobuf

3.17.0

psycopg2

2.8.5

processo pty

0.6.0

flecha

1.0.1

pycparser

2,20

Pigmentos

2.7.2

PyOpenSSL

19.1.0

análise de pipa

2.4.7

Meias PY

1.7.1

Python-dateutil

2.8.1

pytz

2020,5

pizma

19,0.2

pedidos

2.24,0

tentando novamente

1.3.3

transferência s3

0.3.6

scikit-learn

0,23,2

pegajoso

1.5.2

marítimo

0.10.0

ferramentas de configuração

50,3.1

seis

1,15.0

modelos de estatísticas

0.12.0

threadpool ctl

2.1.0

tornado

6.0.4

almôndegas

5.0.5

urllib3

1,25.11

ambiente virtual

20.2.1

largura do wc

0.2.5

Python wheel

0,35,1

Instalada a R biblioteca​

As bibliotecas R são instaladas a partir do Snapshot Microsoft CRAN em 2020-11-02.

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

askpass

1.1

afirme que

0.2.1

portas traseiras

1.2.1

base

4.0.4

base64enc

0,1-3

POR

1,72,0-3

pouco

4.0.4

bit64

4.0.5

bolha

1.2.1

inicialização

1,3-27

fermentar

1,0-6

brio

1.1.0

vassoura

0.7.2

chamador

3.5.1

cursor

6,0-86

guarda de celas

1.1.0

crono

2,3-56

Aula

7,3-18

CLIPE

2.2.0

clipe

0.7.1

Cluster

2.1.1

ferramentas de código

0,2-18

espaço de cores

2,0-0

marca comum

1.7

compilador

4.0.4

configuração

0,3

capa

3.5.1

cpp11

0.2.4

giz de cera

1.3.4

Credenciais

1.3.0

diafonia

1.1.0.1

cacho

4.3

data.tabela

1,13.4

conjunto de dados

4.0.4

DBI

1.1.0

dbplyr

2.0.0

desc

1.2.0

ferramentas de desenvolvimento

2.3.2

diff

0.3.2

digerir

0,6.27

dplyr

1.0.2

DT

0,16

reticências

0.3.1

avalie

0,14

fansi

0.4.1

colorista

2.0.3

mapa rápido

1.0.1

para gatos

0.5.0

para cada um

1.5.1

estrangeira

0,8-81

forjar

0.2.0

fs

1.5.0

futuro

1,21,0

genéricas

0.1.0

obter

1.0.2

ggplot2

3.3.2

gh

1.2.0

gitcreds

0.1.1

glmnet

4,0-2

globais

0.14.0

cola

1.4.2

goleiro

0.2.2

gráficos

4.0.4

Dispositivos GR

4.0.4

grade

4.0.4

Grid Extra

2.3

gsubfn

0,7

mesa

0.3.0

refúgio

2.3.1

mais alto

0,8

HMS

0.5.3

ferramentas html

0.5.0

widgets html

1.5.3

http.uv

1.5.4

httr

1.4.2

escritor

1.3.2

HWriter Plus

1,0-3

mini

0.3.1

ipred

0,9-9

isóbanda

0.2.3

iteradores

1,0.13

jsonlite

1.7.2

Kern Smooth

2,23-18

tricotar

1,30

rótulo

0.4.2

posteriormente

1.1.0.1

treliça

0,20-41

lava

1.6.8.1

preguiçoso

0.2.2

ciclo de vida

0.2.0

ouvindo

0,8.0

lubrificar

1.7.9.2

magritter

2.0.1

Markdown

1.1

MASSA

7,3-53,1

Matriz

1,3-2

memoise

1.1.0

métodos

4.0.4

mgcv

1,8-33

mímica

0,9

Métricas do modelo

1.2.2.2

modelar

0.1.8

munsell

0.5.0

nome

3,1-152

net

7,3-15

Número Deriv

2016,8-1,1

openssl

1.4.3

paralelo

4.0.4

paralelamente

1,22,0

pilar

1.4.7

pkgbuild

1.1.0

pkgconfig

2.0.3

carregamento de pacotes

1.1.0

plogr

0.2.0

plyr

1.8.6

elogio

1.0.0

unidades bonitas

1.1.1

ProC

1.16.2

processa

3.4.5

prodlim

13/11/2019

progresso

1.2.2

promessas

1.1.1

proto

1.0.0

ps

1.5.0

ronronar

0.3.4

r2d3

0.2.3

R6

2.5.0

Floresta aleatória

4,6-14

corredeiras

0.3.1

rcmdcheck

1.3.3

Cervejaria RColor

1,1-2

Rcpp

1.0.5

leitor

1.4.0

readxl

1.3.1

receitas

0,1,15

revanche

1.0.1

revanche 2

2.1.2

controles remotos

2.2.0

reprex

0.3.0

remodelar 2

1.4.4

rex

1.2.0

rlang

0.4.9

rmarkdown

2.6

RODBC

1,3-17

roxigênio2

7.1.1

rpartem

4,1-15

rprojroot

2.0.2

Reservar

1,8-7

RSQLite

2.2.1

API do estúdio

0,13

reversões

2.0.2

colete

0.3.6

escala

1.1.1

seletor

0,4-2

informações da sessão

1.1.1

forma

1.4.5

brilhante

1.5.0

ferramentas de origem

0.1.7

Sparklyr

1.5.2

SparkR

3.1.2

espacial

7,3-11

splines

4.0.4

sqldf

0,4-11

QUADRADO

2020,5

estatísticas

4.0.4

estatísticas4

4.0.4

stringi

1.5.3

longarina

1.4.0

sobrevivência

3,2-7

diz

3.4

tcltk

4.0.4

Demonstrações de ensino

2,10

teste isso

3.0.0

petiscar

3.0.4

arrumado

1.1.2

seleção arrumada

1.1.0

tidyverso

1.3.0

Hora/Data

3043,102

tinytex

0,28

Ferramentas

4.0.4

use isso

2.0.0

utf 8

1.1.4

utilidades

4.0.4

uuid

0,1-4

vctrs

0.3.5

Viridis Lite

0.3.0

waldo

0.2.3

bigode

0,4

murchar

2.3.0

diversão

0,19

xml2

1.3.2

xopen

1.0.0

x estável

1,8-4

yaml

2.2.1

compactar

2.1.1

Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)​

ID do grupo

ID do artefato

Versão

chifre

chifre

2.7.7

com.amazonaws

Amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscale

1,11.655

com.amazonaws

formação de nuvem aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-cloudfront

1,11.655

com.amazonaws

aws-java-sdk-cloudhsm

1,11.655

com.amazonaws

aws-java-sdk-cloudsearch

1,11.655

com.amazonaws

aws-java-sdk-cloudtrail

1,11.655

com.amazonaws

aws-java-sdk-cloudwatch

1,11.655

com.amazonaws

métricas aws-java-sdk-cloudwatch

1,11.655

com.amazonaws

aws-java-sdk-codedeploy

1,11.655

com.amazonaws

identidade cognitiva aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-cognitosync

1,11.655

com.amazonaws

aws-java-sdk-config

1,11.655

com.amazonaws

aws-java-sdk-core

1,11.655

com.amazonaws

pipeline de dados aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-conexão direta

1,11.655

com.amazonaws

diretório aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-dynamodb

1,11.655

com.amazonaws

aws-java-sdk-ec2

1,11.655

com.amazonaws

aws-java-sdk-ecs

1,11.655

com.amazonaws

aws-java-sdk-efs

1,11.655

com.amazonaws

aws-java-sdk-elasticache

1,11.655

com.amazonaws

aws-java-sdk-elasticbeanstalk

1,11.655

com.amazonaws

balanceamento de carga elástico aws-java-sdk

1,11.655

com.amazonaws

transcodificador elástico aws-java-sdk-

1,11.655

com.amazonaws

aws-java-sdk-emr

1,11.655

com.amazonaws

aws-java-sdk-glacier

1,11.655

com.amazonaws

aws-java-sdk-iam

1,11.655

com.amazonaws

aws-java-sdk-importação/exportação

1,11.655

com.amazonaws

aws-java-sdk-kinesis

1,11.655

com.amazonaws

aws-java-sdk-kms

1,11.655

com.amazonaws

aws-java-sdk-lambda

1,11.655

com.amazonaws

aws-java-sdk-logs

1,11.655

com.amazonaws

aws-java-sdk - aprendizado de máquina

1,11.655

com.amazonaws

aws-java-sdk-opsworks

1,11.655

com.amazonaws

aws-java-sdk-rds

1,11.655

com.amazonaws

aws-java-sdk-redshift

1,11.655

com.amazonaws

aws-java-sdk-route53

1,11.655

com.amazonaws

aws-java-sdk-s3

1,11.655

com.amazonaws

aws-java-sdk-ses

1,11.655

com.amazonaws

aws-java-sdk-simpledb

1,11.655

com.amazonaws

aws-java-sdk - fluxo de trabalho simples

1,11.655

com.amazonaws

aws-java-sdk-sns

1,11.655

com.amazonaws

aws-java-sdk-sqs

1,11.655

com.amazonaws

aws-java-sdk-ssm

1,11.655

com.amazonaws

gateway de armazenamento aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-sts

1,11.655

com.amazonaws

suporte aws-java-sdk

1,11.655

com.amazonaws

aws-java-sdk-swf-biblioteca

1.11.22

com.amazonaws

aws-java-sdk-workspace

1,11.655

com.amazonaws

jmespath-java

1,11.655

com.chuusai

sem forma_2.12

2.3.3

com.clearspring.analítica

transmissão

2.9.6

com.databricks

Reservar

1,8-3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

plugin_2.12 do compilador

0,4,15-10

com.databricks.scalapb

scalapb-runtime_2.12

0,4,15-10

com.esotérico software

crio-sombreado

4.0.2

com.esotérico software

minlog

1.3.0

com.fasterxml

colega de classe

1.3.4

com.fasterxml.jackson.core

jackson-anotação

2.10.0

com.fasterxml.jackson.core

jackson-core

2.10.0

com.fasterxml.jackson.core

vinculação de dados jackson

2.10.0

formato de dados com.fasterxml.jackson.

formato de dados jackson-cbor

2.10.0

com.fasterxml.jackson.tipo de dados

jackson-datatype-joda

2.10.0

com.fasterxml.jackson.module

parâmetro do módulo jackson

2.10.0

com.fasterxml.jackson.module

jackson-module-Scala.12

2.10.0

com.github.ben-manes.cafeína

cafeína

2.3.4

com.github.fommil

descarregador

1.1

com.github.fommil.netlib

abdômen

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-nativos

1.1

com.github.fommil.netlib

sistema_nativo-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.joshelser

dropwizard-métricas-hadoop-metrics2-reporter

0.1.2

com.github.luben

zstd-jni

1,4,8-1

com.github.wendykierp

JTransforma

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.2.4

com.google.flatbuffers

tampões planos-java

1.9.0

com.google.goiaba

goiaba

15,0

com.google.protobuf

protobuf-java

2.6.1

banco de dados com.h2

h2

1,4,195

com.helger

perfilador

1.1.1

com.jcraft

jsch

0,1,50

com.jolbox

bonecp

VERSÃO 0.8.0.

com.lihaoyi

código-fonte_2.12

0.1.9

com.microsoft.azure

azure-data lake-store-sdk

2.3.9

com.microsoft.sqlserver

mssql-JDBC

9.2.1. jre8

comendo

comprimir-lzf

1.0.3

com.sun.mail

javax.mail

1.5.2

com.trunning

JSON

1,8

com.thoughtworks.paranamer

paranâmero

2.8

com.trueaccord.lenses

lentes_2.12

0.4.12

com.Twitter

chill-java

0,9.5

com.Twitter

chill_2.12

0,9.5

com.Twitter

util-app_2.12

7.1.0

com.Twitter

util-core_2.12

7.1.0

com.Twitter

função-útil_2.12

7.1.0

com.Twitter

util-jvm_2.12

7.1.0

com.Twitter

util-lint_2.12

7.1.0

com.Twitter

util-registry_2.12

7.1.0

com.Twitter

util-stats_2.12

7.1.0

com.typesafe

configuração

1.2.1

com.typesafe.Scala-logging

Scala-logging_2.12

3.7.2

com.univocidade

analisadores de univocidade

2.9.1

com.zaxxer

HikaricP

3.1.0

folhas de feijão comum

folhas de feijão comum

1.9.4

comum-CLI

comum-CLI

1.2

codec comum

codec comum

1,10

coleções comuns

coleções comuns

3.2.2

configuração comum

configuração comum

1,6

commons-dbcp

commons-dbcp

1.4

digestor comum

digestor comum

1,8

upload de arquivo commons

upload de arquivo commons

1.3.3

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2,4

linguagem comum

linguagem comum

2.6

registro de bens comuns

registro de bens comuns

1.1.3

commons-net

commons-net

3.1

comum-pool

comum-pool

1.5.4

hive-2.3__hadoop-2.7

jets3t-0.7

liball_deps_2,12

hive-2.3__hadoop-2.7

tratador do zoológico-3.4

liball_deps_2,12

info.ganglia.gmetric4j

gmetric4j

1.0.10

io. airlift

compressor de ar

0,10

io.dropwizard.métricas

núcleo de métricas

4.1.1

io.dropwizard.métricas

métricas-grafite

4.1.1

io.dropwizard.métricas

métricas-healthchecks

4.1.1

io.dropwizard.métricas

métricas-jetty9

4.1.1

io.dropwizard.métricas

métricas-jmx

4.1.1

io.dropwizard.métricas

métricas-JSON

4.1.1

io.dropwizard.métricas

métricas-JVM

4.1.1

io.dropwizard.métricas

métricas-servlets

4.1.1

io.netty

tudo

4.1.51.Final

io. prometheus

cliente simples

0.7.0

io. prometheus

simpleclient_common

0.7.0

io. prometheus

simpleclient_dropwizard

0.7.0

io. prometheus

gateway client_push simples

0.7.0

io. prometheus

client_servlet simples

0.7.0

io.prometheus.jmx

coletor

0.12.0

jakarta.anotação

jakarta.anotação-api

1.3.5

jakarta.validação

jakarta.validação-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.ativação

ativação

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

jsp-api

2.1

javax.transaction

jta

1.1

javax.transaction

API de transação

1.1

javax.xml.bind

jaxb-api

2.2.2

javax.xml.transmissão

stax-api

1,0-2

javolução

javolução

5.5.1

junte-se

junte-se

2.14.6

hora do dia

hora do dia

2.10.5

log4j

apache-log4j-extras

1.2.17

log4j

log4j

1.2.17

Maven-árvores

hive-2.3__hadoop-2.7

liball_deps_2,12

net.razorvine

pirolita

4,30

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

supercsv

2.2.0

net.snowflake

SDK de ingestão de flocos de neve

0.9.6

net.snowflake

floco de neve-JDBC

3.13.3

net.snowflake

floco de neve faísca_2.12

2.9.0-spark_3.1

net.sourceforge.f2j

arpack_combined_all

0,1

org.acplt.remotetea

chá remoto - oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4,8-1

org.antlr

modelo de string

3.2.1

org.apache.ant

formiga

1.9.2

org.apache.ant

formiga

1.9.2

org.apache.ant

lançador de formigas

1.9.2

org.apache.arrow

formato de seta

2.0.0

org.apache.arrow

núcleo de memória de seta

2.0.0

org.apache.arrow

rede de memória de seta

2.0.0

org.apache.arrow

vetor de seta

2.0.0

org.apache.avro

AVRO

1.8.2

org.apache.avro

avro-ipc

1.8.2

org.apache.avro

avro-mapred-hadoop2

1.8.2

org.apache.commons

compressa comum

1,20

org.apache.commons

criptomoeda comum

1.1.0

org.apache.commons

commons-lang3

3.10

org.apache.commons

commons-math3

3.4.1

org.apache.commons

texto comum

1,6

org.apache.curator

curador-cliente

2.7.1

org.apache.curator

estrutura de curador

2.7.1

org.apache.curator

receitas de curadores

2.7.1

org.apache.derby

derby

10.12.1.1

org.apache.directory.api

api-asn1-api

1,0,0-M20

org.apache.directory.api

utilitário de API

1,0,0-M20

org.apache.directory.server

apacheds-i18n

2,0,0-M15

org.apache.directory.server

codec apacheds-kerberos

2,0,0-M15

org.apache.hadoop

hadoop-anotação

2.7.4

org.apache.hadoop

autenticação hadoop

2.7.4

org.apache.hadoop

cliente hadoop

2.7.4

org.apache.hadoop

hadoop-comum

2.7.4

org.apache.hadoop

hadoop-HDFS

2.7.4

org.apache.hadoop

aplicativo cliente hadoop mapreduce

2.7.4

org.apache.hadoop

hadoop-mapreduce-client-common

2.7.4

org.apache.hadoop

núcleo do cliente hadoop-mapreduce

2.7.4

org.apache.hadoop

hadoop-mapreduce-client-jobclient

2.7.4

org.apache.hadoop

hadoop-mapreduce-client-shuffle

2.7.4

org.apache.hadoop

API hadoop yarn

2.7.4

org.apache.hadoop

cliente hadoop-yarn

2.7.4

org.apache.hadoop

hadoop-yarn-common

2.7.4

org.apache.hadoop

servidor hadoop-yarn-comum

2.7.4

org.apache.hive

hive-beeline

2.3.7

org.apache.hive

colmeia-CLI

2.3.7

org.apache.hive

colmeia comum

2.3.7

org.apache.hive

núcleo hive-exec-core

2.3.7

org.apache.hive

hive-JDBC

2.3.7

org.apache.hive

hive-llap-client

2.3.7

org.apache.hive

hive-lap-common

2.3.7

org.apache.hive

Hive metastore

2.3.7

org.apache.hive

colmeia

2.3.7

org.apache.hive

hive-shims

2.3.7

org.apache.hive

API de armazenamento em nuvem

2.7.2

org.apache.hive

geração de código vetorial hive

2.3.7

org.apache.hive.shims

calços de colmeia - 0,23

2.3.7

org.apache.hive.shims

calços de colmeia comuns

2.3.7

org.apache.hive.shims

hive-shims-programador

2.3.7

org.apache.htrace

htrace-core

3.1.0 - incubação

org.apache.httpcomponents

cliente http

4.5.6

org.apache.httpcomponents

httpcore

4.4.12

org.apache.ivy

hera

2.4.0

org.apache.mesos

protobuf sombreado em mesos

1.4.0

org.apache.orc

núcleo orc

1.5.12

org.apache.orc

orc-mapreduce

1.5.12

org.apache.orc

calços de orc

1.5.12

org.apache.parquet

coluna de parquete

1.10.1 - blocos de dados 9

org.apache.parquet

parquete comum

1.10.1 - blocos de dados 9

org.apache.parquet

codificação de parquet

1.10.1 - blocos de dados 9

org.apache.parquet

formato de parquet

2.4.0

org.apache.parquet

parquet-hadoop

1.10.1 - blocos de dados 9

org.apache.parquet

parquet-jackson

1.10.1 - blocos de dados 9

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.velocity

velocidade

1.5

org.apache.xbean

xbean-asm7-shaded

4,15

org.apache.yetus

audiência-anotação

0.5.0

org.apache.zookeeper

tratador

3.4.14

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-jaxers

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.jackson

jackson-xc

1.9.13

org.codehaus.janino

compilador common

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

núcleo de dados-api-jdo

4.2.4

org.datanucleus

núcleo de dados

4.1.17

org.datanucleus

núcleo de dados-rdbms

4.1.19

org.datanucleus

javax.jdo

3,2,0-m3

org.Eclipse.jetty

jetty-client

9.4.36.v20210114

org.Eclipse.jetty

continuação do cais

9.4.36.v20210114

org.Eclipse.jetty

jetty-http

9.4.36.v20210114

org.Eclipse.jetty

jetty-io

9.4.36.v20210114

org.Eclipse.jetty

jetty-jndi

9.4.36.v20210114

org.Eclipse.jetty

jetty-plus

9.4.36.v20210114

org.Eclipse.jetty

jetty-proxy

9.4.36.v20210114

org.Eclipse.jetty

segurança do cais

9.4.36.v20210114

org.Eclipse.jetty

servidor jetty-server

9.4.36.v20210114

org.Eclipse.jetty

jutty-servlet

9.4.36.v20210114

org.Eclipse.jetty

píer de servlets

9.4.36.v20210114

org.Eclipse.jetty

jetty-util

9.4.36.v20210114

org.Eclipse.jetty

jetty-util-ajax

9.4.36.v20210114

org.Eclipse.jetty

aplicativo web jetty-

9.4.36.v20210114

org.Eclipse.jetty

jetty-xml

9.4.36.v20210114

org.fusesource.leveldbjni

leveldbjni-tudo

1,8

org.glassfish.hk2

API hk2

2.6.1

org.glassfish.hk2

localizador hk2

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-recurso-locator

1.0.3

org.glassfish.hk2.external

aopalliance - reembalado

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

servlet de contêiner de camisa

2,30

org.glassfish.jersey.containers

jersey-container-servlet-core

2,30

org.glassfish.jersey.core

cliente de camisa

2,30

org.glassfish.jersey.core

camiseta comum

2,30

org.glassfish.jersey.core

servidor de camisa

2,30

org.glassfish.jersey.inject

camiseta-hk2

2,30

org.glassfish.jersey.media

jersey-media-jaxb

2,30

org.hibernate.validator

validador de hibernação

6.1.0. Final

org.javassist

javassist

3,25,0 GA

org.jboss.logging

registro de jboss-logging

3.3.2. Final

org.jdbi

jdbi

2.63,1

org.joda

conversor de joda

1.7

org.jodd

núcleo nodular

3.5.2

org.json4s

json4s-ast_2.12

3,7,0 M5

org.json4s

json4s-core_2.12

3,7,0 M5

org.json4s

json4s-jackson_2.12

3,7,0 M5

org.json4s

json4s-scalap_2.12

3,7,0 M5

org.lz4

lz4-java

1.7.1

org.mariadb.JDBC

cliente mariadb-java

2.2.5

org.objenesis

objênese

2.5.1

org.postgresql

PostgreSQL

42,14

org.roaringbitmap

Mapa de bits estrondoso

0.9.0

org.roaringbitmap

calços

0.9.0

org.rocksdb

rocksdbjni

6.2.2

org.rosuda.rEngine

Motor

2.1.0

org.Scala-lang

Scala-compiler_2.12

2.12.10

org.Scala-lang

Scala-biblioteca.12

2.12.10

org.Scala-lang

Scala-reflect_2.12

2.12.10

org.Scala-lang.modules

Scala-collection-compat_2.12

2.1.1

org.Scala-lang.modules

Scala-parser-combinators_2.12

1.1.2

org.Scala-lang.modules

Scala-xml_2.12

1.2.0

org.Scala-sbt

interface de teste

1,0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

breeze-macros_2.12

1,0

org.scalanlp

breeze_2.12

1,0

org.scalatest

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1,7.30

org.slf4j

jul-a-slf4j

1,7.30

org.slf4j

slf4j-api

1,7.30

org.slf4j

slf4j-log4j12

1,7.30

org.spark-project.spark

não utilizado

1.0.0

org.springframework

núcleo de mola

4.1.4. LANÇAMENTO

org.springframework

teste de primavera

4.1.4. LANÇAMENTO

org.threeten

treze e mais

1.5.0

org.tukaani

xz

1.5

org.typelevel

álgebra_2.12

2,0,0-M2

org.typelevel

cats-kernel_2.12

2,0,0-M4

org.typelevel

maquinista_2.12

0.6.8

org.typelevel

macro-compat_2,12

1.1.1

org.typelevel

spire-macros_2.12

0,17.0-M1

org.typelevel

spire-platform_2.12

0,17.0-M1

org.typelevel

spire-util_2.12

0,17.0-M1

org.typelevel

spire_2.12

0,17.0-M1

org.wildfly.openssl

wildfly-openssl

1.0.7. Final

org.xerial

sqlite-JDBC

3.8.11.2

org.xerial.snappy

snappy-java

1.1.8.2

org.yaml

snakeyaml

1,24

oro

oro

2.0.8

pt.edu.icm

Matrizes JLarge

1.5

software.Amazon.ion

ion-java

1.0.2

stax

stax-api

1.0.1

xmlenc

xmlenc

0,52

Última atualização em