Pular para o conteúdo principal

Databricks Runtime 5,3 (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

A Databricks lançou esta versão em abril de 2019.

As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 5.3, alimentado por Apache Spark.

Novo recurso​

Databricks Delta​

viagem do tempo GA​

Delta viagem do tempo passou para disponibilidade geral. Ele adiciona a capacidade de consultar um instantâneo de uma tabela usando uma cadeia de caracteres de carimbo de data/hora ou uma versão, usando a sintaxe SQL e as opções DataFrameReader para expressões de carimbo de data/hora.

SQL
SELECT count(*) FROM events TIMESTAMP AS OF timestamp_expression
SELECT count(*) FROM events VERSION AS OF version

A viagem do tempo tem muitos casos de uso, inclusive:

  • Recriar análises, relatórios ou resultados (por exemplo, o resultado de um modelo de aprendizado de máquina), o que é útil para depuração ou auditoria, especialmente em indústrias regulamentadas.
  • Escrever consultas temporais complexas.
  • Corrigir erros em seus dados.
  • Fornecer isolamento de instantâneos para um conjunto de consultas para tabelas que mudam rapidamente.

Delta viagem do tempo

Consulte Work with Delta Lake table história.

Replicação de tabela MySQL para o Delta Public Preview​

transmissão de dados de uma tabela MySQL diretamente para Delta para consumo posterior em Spark analítica ou ciência de dados fluxo de trabalho. Aproveitando a mesma estratégia que o site MySQL usa para replicação em outras instâncias, o binlog é usado para identificar atualizações que são processadas e transmitidas para Databricks da seguinte forma:

  • Lê eventos de alteração do banco de dados log.
  • transmissão dos eventos para Databricks.
  • Grava na mesma ordem em uma tabela Delta.
  • Mantém o estado em caso de desconexões da fonte.

Recurso de visualização privada​

Esta versão contém o seguinte recurso de visualização privada para Delta Lake:

  • Foi adicionado um comando experimental que permite que o Presto e o Athena consultem diretamente as tabelas Delta.
  • O Auto Optimize otimiza a disposição dos arquivos durante gravações individuais em uma tabela Delta e evita o acúmulo de arquivos pequenos nas tabelas Delta para manter o desempenho das consultas na velocidade da luz. Além disso, gravações e upserts em tabelas Delta particionadas podem ter grandes aumentos de velocidade graças a um embaralhamento adaptável introduzido nas gravações.

Se quiser participar de qualquer uma das prévias, entre em contato com a equipe do Databricks account .

Melhorias​

  • Notebook-Biblioteca com escopo:

    • Suporte para extras em dbutils.library.installPyPI.
    • Suporte à instalação de biblioteca com escopo de Notebook para biblioteca no sistema de arquivos Azure, incluindo wasbs, adls e abfss.
    • Mensagens de erro aprimoradas para biblioteca com escopo de Notebook em alvos não suportados. Por exemplo: "biblioteca utilidades não está disponível em Databricks Runtime para Machine Learning."

  • O Databricks Advisor tem dicas adicionais para melhorar o desempenho das consultas:

    • Quando houver muitos arquivos pequenos por partição -> Converta a tabela para Delta e execute OPTIMIZE.
    • Quando há um filtro altamente seletivo -> Converta para Delta e use ZORDER BY.
    • Quando as buscas de metadados do Hive se tornam um gargalo -> Converta sua tabela em Delta.

  • S3 Requester Pays: adicionado suporte para leitura de buckets Requester Pays no S3.

  • Ubuntu atualizado a partir de 16.04.5 LTS para 16.04.6 LTS.

  • Atualização do Scala 2.11 da versão 2.11.8 para a 2.11.12.

  • Atualizou alguns instalados Python biblioteca:

    • pip: 18,1 a 19,0,3.
    • ferramentas de configuração: 40.6.3 a 40.8.0
    • roda: 0,32,3 a 0,33,1

  • Atualizou o R de 3.4.4 para 3.5.2.

  • Atualizou várias instalações da R biblioteca. Consulte R biblioteca instalada.

Depreciação​

  • Apache Kafka O conector 0.8 para transmissão estruturada não é mais suportado. Ele está incluído no Databricks Runtime 5.3, mas será removido de uma versão futura do Databricks Runtime.
  • O Databricks ML Model Export está obsoleto e será removido no Databricks Runtime 6.0. Em vez disso, use o mLeap para importar e exportar modelos.
  • spark.databricks.pyspark.enableExecutorFsPerms foi removido como uma opção de configuração.

Correções de bugs​

  • Corrigido o problema de clustering em toda a instalação do Python Egg biblioteca para clustering ativado para ACLs de tabela.
  • O cancelamento do comando Python foi aprimorado, corrigindo a situação em que o cancelamento é chamado antes da execução do comando.
  • Corrigido um bug nas ACLs de tabela: agora, ao listar objetos em um banco de dados ou catálogo, você vê somente os objetos que tem permissão para ver.

Apache Spark​

O Databricks Runtime 5.3 inclui o Apache Spark 2.4.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 5.2 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-27134][SQL] A função array_distinct não funciona corretamente com colunas que contêm uma matriz de matriz
  • [SPARK-24669][SQL] Invalidar tabelas no caso de DROP DATABASE CASCADE
  • [SPARK-26572][SQL] corrigir avaliação de resultado de codegen agregado
  • [SPARK-27046] [DSTREAMS] Remover referências relacionadas ao SPARK-19185 da documentação
  • [SPARK-26449][Python] Adicionar método de transformação a DataFrame API
  • [SPARK-26740][SQL] Ler estatísticas de colunas de data/hora escritas pelo Spark 3.0
  • [SPARK-26909][SQL] use unsafeRow.hashCode() como valor de hash em HashAggregate
  • [SPARK-26990][SQL] FileIndex: use nomes de campos especificados pelo usuário, se possível
  • [SPARK-26851][SQL] Corrigir bloqueio de dupla verificação no CachedRDDBuilder
  • [SPARK-26864][SQL] A consulta pode retornar um resultado incorreto quando Python UDF é usado como uma condição left-semi join
  • [SPARK-26887][SQL][Python] Crie datetime.date diretamente em vez de criar datetime64 como dados intermediários.
  • [SPARK-26859][SQL] Corrige o erro de índice do escritor de campo no desserializador ORC não vetorizado
  • [SPARK-26864][SQL] A consulta pode retornar um resultado incorreto quando Python UDF é usado como uma condição join e o udf usa atributos de ambas as pernas do semi esquerdo. join
  • [SPARK-24360][SPARK-26091][BACKPORT][SQL] Suporte ao metastore do Hive 3.1
  • [SPARK-26873][SQL] Use um registro de data e hora consistente para criar IDs Hadoop Job .
  • [SPARK-26734][transmissão] Corrigir StackOverflowError com fila de blocos grandes
  • [SPARK-26758][CORE] O executor parado não está sendo eliminado após spark.dynamiAllocation.executorIdleTimeout valor
  • [SPARK-26751][SQL] Corrige o vazamento de memória quando a instrução é executada em segundo plano e lança uma exceção que não é HiveSQLException
  • [SPARK-26806][SS] EventTimeStats.merge deve tratar os zeros corretamente
  • [SPARK-26745][SPARK-24959][SQL] Reverter a otimização da contagem na fonte de dados JSON por
  • [SPARK-26757] [GRAPHX] Retorna 0 para contar os RDDs Edge/Vertex vazios
  • [SPARK-26726] Sincronize a quantidade de memória usada pela variável de transmissão com a tela da interface
  • [SPARK-26718][SS] Correção do estouro de número inteiro no cálculo do SS Kafka rateLimit
  • [SPARK-26708][SQL] Resultado incorreto causado por inconsistência entre o RDD em cache de um cache SQL e seu plano físico
  • [SPARK-26735][SQL] Verificar a integridade do plano para expressões especiais
  • [SPARK-26619][SQL] Elimine os serializadores não utilizados do SerializeFromObject
  • [SPARK-26379] [SS] Use o TimeZoneID fictício para evitar uma exceção não resolvida no CurrentBatchTimestamp
  • [SPARK-26495][SQL] Simplifique o extrator SelectedField
  • [SPARK-26379][SS] Corrigir o problema de adicionar current_timestamp/current_date à consulta de transmissão
  • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery não lida corretamente com registros vazios
  • [SPARK-26680][SQL] Crie ansiosamente inputVars enquanto as condições são apropriadas
  • [SPARK-26682][SQL] Use taskAttemptID em vez de attemptNumber para o Hadoop.
  • [SPARK-26706][SQL] Corrigir illegalNumericPrecedence para ByteType
  • [SPARK-26228][MLlib] Problema de OOM encontrado ao calcular a matriz Gramiana
  • [SPARK-26665] [CORE] Corrija um bug que faz com que BlockTransferService.fetchBlockSync possa travar para sempre
  • [SPARK-26549][PySpark] Correção para Python worker reutilização não tem efeito para paralelizar o intervalo iterável preguiçoso
  • [SPARK-26351][MLlib] Atualização do documento e pequenas correções nas métricas de avaliação do MLlib
  • [SPARK-26450]Evite reconstruir o mapa do esquema para cada coluna em uma projeção
  • [SPARK-26638][PySpark][ML] As classes de vetor PySpark sempre retornam erro para negação unária
  • [SPARK-26633] [REPL] Adicionar executorClassLoader.getResourceAsStream
  • [SPARK-26629][SS] Corrigido erro com transmissão de múltiplos arquivos em uma consulta + reinício em um lote que não tem dados para uma transmissão de arquivo
  • [SPARK-25992][Python] O documento SparkContext não pode ser compartilhado para multiprocessamento
  • [SPARK-26615][CORE] Correção de vazamentos de recurso de servidor/cliente de transporte nos unittests principais
  • [SPARK-26350][SS] Permitir substituir o ID do grupo do consumidor do Kafka
  • [SPARK-26538][SQL] Set default precision and escala for elements of postgres numeric array
  • [SPARK-26586][SS] Corrigir condição de corrida que causa transmissão para execução com confs inesperados
  • [SPARK-26551][SQL] Corrigir erro de poda de esquema ao selecionar um campo complexo e ter um predicado não nulo em outro campo
  • [SPARK-26576][SQL] Dica de transmissão não aplicada à tabela particionada
  • [SPARK-26571][SQL] Atualizar o mapeamento Hive Serde com o nome canônico de Parquet e Orc FileFormat
  • [SPARK-26267][SS] Repetir ao detectar offsets incorretos do Kafka (2.4)
  • [SPARK-26559][ML][PySpark] ML image can't work with numpy versions prior to 1.9
  • [SPARK-26078][SQL] Atributos Dedup self-join em subconsultas IN

Atualizações de manutenção​

Consulte as atualizações de manutenção do Databricks Runtime 5.3.

Ambiente do sistema​

  • Sistema operacional : Ubuntu 16.04.6 LTS
  • Java : 1.8.0_191
  • Scala : 2.11.12
  • Python : 2.7.12 para Python 2 clustering e 3.5.2 para Python 3 clustering.
  • R : R versão 3.5.2 (2018-12-20)
  • Agrupamento de GPUs : As seguintes bibliotecas de GPU NVIDIA estão instaladas:
    • Motorista Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0
nota

Embora o Scala 2.12 seja compatível com o Apache Spark 2.4, ele não é compatível com o Databricks Runtime 5.3.

Instalado Python biblioteca​

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

ansi2.html

1.1.1

argparse

1.2.1

backports-abc

0.5

Boto

2,42,0

boto3

1.4.1

botocore

1,4,70

cervejaria 2 ml

1.4.1

certifi

2016,2,28

caffi

1.7.0

chardet

2.3.0

colorama

0.3.7

configobj

5.0.6

criptografia

1.5

ciclador

0.10.0

Cython

0,24,1

decorador

4.0.10

docutils

0,14

enum34

1.1.6

arquivo et-xml

1.0.1

freetype-py

1.0.2

funçõs

1.0.2

fusepy

2.0.4

futuros

3.2.0

ggplot

0.6.8

html5lib

0,999

Índia

2.1

endereço IP

1.0.16

ipython

2.2.0

ipython-genutils

0.1.0

jdcal

1.2

Jinja 2

2.8

jmespath

0.9.0

llvmlite

0,13,0

lxml

3.6.4

MarkupSafe

0,23

Matplotlib

1.5.3

mold3

0,2

msgpack-Python

0.4.7

cliente ndg-https

0.3.3

numba

0,28,1

entorpecido

1.11.1

openpyxl

2.3.2

Pandas

0.19.2

pathlib2

2.1.0

bode expiatório

0.4.1

esperar

4.0.1

picles

0.7.4

Travesseiro

3.3.1

pip

19,0,3

dobra

3.9

kit de ferramentas de aviso

1.0.7

psycopg2

2.6.2

processo pty

0.5.1

py4j

0.10.3

flecha

0,8.0

pyasn1

0.1.9

pycparser

2,14

Pigmentos

2.1.3

Objeto PYG

3.20.0

PyOpenSSL

16,0.0

análise de pipa

2.2.0

espião

0,0,18

Python

2.7.12

Python-dateutil

2.5.3

Python-geohash

0,8.5

pytz

2016,6,1

pedidos

2.11.1

transferência s3

0.1.9

scikit-learn

0,18.1

pegajoso

0,18.1

esfregar

0,32

marítimo

0.7.1

ferramentas de configuração

40,8,0

simplejson

3.8.2

simples3

1,0

despacho único

3.4.0.3

seis

1.10.0

modelos de estatísticas

0.6.1

tornado

5.1.1

almôndegas

4.3.0

urllib3

1.19.1

ambiente virtual

16.1.0

largura do wc

0.1.7

Python wheel

0,33,1

wsgiref

0.1.2

Instalada a R biblioteca​

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

abandam

1,4-5

askpass

1.1

afirme que

0.2.0

portas traseiras

1.1.3

base

3.5.2

base64enc

0,1-3

POR

1,69,0-1

pouco

1,1-14

bit64

0,9-7

bitops

1,0-6

bolha

1.1.1

inicialização

1,3-20

fermentar

1,0-6

chamador

3.1.1

carro

3,0-2

Dados do carro

3,0-2

cursor

6,0-81

guarda de celas

1.1.0

crono

2,3-53

Aula

7,3-15

CLIPE

1.0.1

clipe

0.5.0

símbolos cli

1.2.0

Cluster

2.0.7-1

ferramentas de código

0,2-16

espaço de cores

1,4-0

marca comum

1.7

compilador

3.5.2

configuração

0,3

giz de cera

1.3.4

cacho

3.3

data.tabela

1.12.0

conjunto de dados

3.5.2

DBI

1.0.0

dbplyr

1.3.0

desc

1.2.0

ferramentas de desenvolvimento

2.0.1

digerir

0.6.18

Dom C

1.3.5

dplyr

0.8.0.1

reticências

0.1.0

fansi

0.4.0

para gatos

0.4.0

para cada um

1.4.4

estrangeira

0,8-71

forjar

0.2.0

fs

1.2.6

gbm

2.1.5

genéricas

0.0.2

ggplot2

3.1.0

gh

1.0.1

git2r

0,24,0

glmnet

2,0-16

cola

1.3.0

goleiro

0.1.2

gráficos

3.5.2

Dispositivos GR

3.5.2

grade

3.5.2

Grid Extra

2.3

gsubfn

0,7

mesa

0.2.0

h2o

3.22.1.1

refúgio

2.1.0

HMS

0.4.2

ferramentas html

0.3.6

widgets html

1.3

httr

1.4.0

escritor

1.3.2

HWriter Plus

1,0-3

mini

0.3.1

ipred

0,9-8

iteradores

1.0.10

jsonlite

1,6

Kern Smooth

2,23-15

rótulo

0,3

treliça

0,20-38

lava

1.6.5

preguiçoso

0.2.1

mais pequeno

0.3.6

lme4

1,1-20

lubrificar

1.7.4

magritter

1.5

mapproj

1.2.6

mapeia

3.3.0

ferramentas de mapa

0,9-5

MASSA

7,3-51,1

Matriz

1,2-15

Modelos matriciais

0,4-1

memoise

1.1.0

métodos

3.5.2

mgcv

1,8-27

mímica

0,6

mina

1.2.4

Métricas do modelo

1.2.2

munsell

0.5.0

norma mvt

1,0-9

nome

3,1-137

nloptr

1.2.1

net

7,3-12

Número Deriv

2016,8-1

openssl

1.2.2

openxlsx

4.1.0

paralelo

3.5.2

teste pbkr

0,4-7

pilar

1.3.1

pkgbuild

1.0.2

pkgconfig

2.0.2

Gatinho PKG

0.1.4

carregamento de pacotes

1.0.2

plogr

0.2.0

plyr

1.8.4

elogio

1.0.0

unidades bonitas

1.0.2

ProC

1,13.0

processa

3.2.1

prodlim

2018,04.18

progresso

1.2.0

proto

1.0.0

ps

1.3.0

ronronar

0.3.0

quantreg

5,38

R. métodos S3

1.7.1

R.oo

1,22,0

R. utils

2.8.0

r2d3

0.2.3

R6

2.4.0

Floresta aleatória

4,6-14

corredeiras

0.3.1

rcmdcheck

1.3.2

Cervejaria RColor

1,1-2

Rcpp

1.0.0

RCP Pegen

0.3.3.5.0

RCPP Roll

0.3.0

Curl

1,95-4,11

leitor

1.3.1

readxl

1.3.0

receitas

0.1.4

revanche

1.0.1

controles remotos

2.0.2

remodelar 2

1.4.3

rio

0,5.16

rlang

0.3.1

RODBC

1,3-15

roxigênio2

6.1.1

rpartem

4,1-13

rprojroot

1,3-2

Reservar

1,8-6

RSQLite

2.1.1

API do estúdio

0.9.0

escala

1.0.0

informações da sessão

1.1.1

espião

1,3-1

Sparklyr

1.0.0

SparkR

2.4.2

SPARSEM

1,77

espacial

7,3-11

splines

3.5.2

sqldf

0,4-11

QUADRADO

2017,10-1

statmod

1,4,30

estatísticas

3.5.2

estatísticas4

3.5.2

stringi

1.3.1

longarina

1.4.0

sobrevivência

2,43-3

diz

3,0

tcltk

3.5.2

Demonstrações de ensino

2,10

teste isso

2.0.1

petiscar

2.0.1

arrumado

0,8.3

seleção arrumada

0.2.5

Hora/Data

3043,102

Ferramentas

3.5.2

use isso

1.4.0

utf 8

1.1.4

utilidades

3.5.2

Viridis Lite

0.3.0

bigode

0,3-2

murchar

2.1.2

xml2

1.2.0

xopen

1.0.0

yaml

2.2.0

compactar

2.0.0

Instalei Java e Scala biblioteca (versão de clusteringScala 2.11)​

ID do grupo

ID do artefato

Versão

chifre

chifre

2.7.7

com.amazonaws

Amazon-kinesis-client

1.8.10

com.amazonaws

aws-java-sdk-autoscale

1,11.313

com.amazonaws

formação de nuvem aws-java-sdk

1,11.313

com.amazonaws

aws-java-sdk-cloudfront

1,11.313

com.amazonaws

aws-java-sdk-cloudhsm

1,11.313

com.amazonaws

aws-java-sdk-cloudsearch

1,11.313

com.amazonaws

aws-java-sdk-cloudtrail

1,11.313

com.amazonaws

aws-java-sdk-cloudwatch

1,11.313

com.amazonaws

métricas aws-java-sdk-cloudwatch

1,11.313

com.amazonaws

aws-java-sdk-codedeploy

1,11.313

com.amazonaws

identidade cognitiva aws-java-sdk

1,11.313

com.amazonaws

aws-java-sdk-cognitosync

1,11.313

com.amazonaws

aws-java-sdk-config

1,11.313

com.amazonaws

aws-java-sdk-core

1,11.313

com.amazonaws

pipeline de dados aws-java-sdk

1,11.313

com.amazonaws

aws-java-sdk-conexão direta

1,11.313

com.amazonaws

diretório aws-java-sdk

1,11.313

com.amazonaws

aws-java-sdk-dynamodb

1,11.313

com.amazonaws

aws-java-sdk-ec2

1,11.313

com.amazonaws

aws-java-sdk-ecs

1,11.313

com.amazonaws

aws-java-sdk-efs

1,11.313

com.amazonaws

aws-java-sdk-elasticache

1,11.313

com.amazonaws

aws-java-sdk-elasticbeanstalk

1,11.313

com.amazonaws

balanceamento de carga elástico aws-java-sdk

1,11.313

com.amazonaws

transcodificador elástico aws-java-sdk-

1,11.313

com.amazonaws

aws-java-sdk-emr

1,11.313

com.amazonaws

aws-java-sdk-glacier

1,11.313

com.amazonaws

aws-java-sdk-iam

1,11.313

com.amazonaws

aws-java-sdk-importação/exportação

1,11.313

com.amazonaws

aws-java-sdk-kinesis

1,11.313

com.amazonaws

aws-java-sdk-kms

1,11.313

com.amazonaws

aws-java-sdk-lambda

1,11.313

com.amazonaws

aws-java-sdk-logs

1,11.313

com.amazonaws

aws-java-sdk - aprendizado de máquina

1,11.313

com.amazonaws

aws-java-sdk-opsworks

1,11.313

com.amazonaws

aws-java-sdk-rds

1,11.313

com.amazonaws

aws-java-sdk-redshift

1,11.313

com.amazonaws

aws-java-sdk-route53

1,11.313

com.amazonaws

aws-java-sdk-s3

1,11.313

com.amazonaws

aws-java-sdk-ses

1,11.313

com.amazonaws

aws-java-sdk-simpledb

1,11.313

com.amazonaws

aws-java-sdk - fluxo de trabalho simples

1,11.313

com.amazonaws

aws-java-sdk-sns

1,11.313

com.amazonaws

aws-java-sdk-sqs

1,11.313

com.amazonaws

aws-java-sdk-ssm

1,11.313

com.amazonaws

gateway de armazenamento aws-java-sdk

1,11.313

com.amazonaws

aws-java-sdk-sts

1,11.313

com.amazonaws

suporte aws-java-sdk

1,11.313

com.amazonaws

aws-java-sdk-swf-biblioteca

1.11.22

com.amazonaws

aws-java-sdk-workspace

1,11.313

com.amazonaws

jmespath-java

1,11.313

com.carrotsearch

hppc

0.7.2

com.chuusai

sem forma_2.11

2.3.2

com.clearspring.analítica

transmissão

2.7.0

com.databricks

Reservar

1,8-3

com.databricks

dbml-local_2.11

0.5.0-db8-spark2.4

com.databricks

testes dbml-local_2.11

0.5.0-db8-spark2.4

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

plugin_2.11

0,4.15-9

com.databricks.scalapb

scalapb-runtime_2.11

0,4.15-9

com.esotérico software

crio-sombreado

4.0.2

com.esotérico software

minlog

1.3.0

com.fasterxml

colega de classe

1.0.0

com.fasterxml.jackson.core

jackson-anotação

2.6.7

com.fasterxml.jackson.core

jackson-core

2.6.7

com.fasterxml.jackson.core

vinculação de dados jackson

2.6.7.1

formato de dados com.fasterxml.jackson.

formato de dados jackson-cbor

2.6.7

com.fasterxml.jackson.tipo de dados

jackson-datatype-joda

2.6.7

com.fasterxml.jackson.module

parâmetro do módulo jackson

2.6.7

com.fasterxml.jackson.module

jackson-module-Scala.11

2.6.7.1

com.github.fommil

descarregador

1.1

com.github.fommil.netlib

abdômen

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-nativos

1.1

com.github.fommil.netlib

sistema_nativo-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.luben

zstd-jni

1,3.2-2

com.github.rwl

jtransforma

2.4.0

com.google.code.findbugs

jsr305

2.0.1

com.google.code.gson

gson

2.2.4

com.google.goiaba

goiaba

15,0

com.google.protobuf

protobuf-java

2.6.1

com.googlecode.javaewah

Java Ewah

0.3.2

banco de dados com.h2

h2

1,3,174

com.jcraft

jsch

0,1,50

com.jolbox

bonecp

VERSÃO 0.8.0.

com.microsoft.azure

azure-data lake-store-sdk

2.2.8

com.microsoft.azure

armazenamento do azure

5.2.0

com.microsoft.sqlserver

mssql-JDBC

6.2.2. jre8

comendo

comprimir-lzf

1.0.3

com.sun.mail

javax.mail

1.5.2

com.thoughtworks.paranamer

paranâmero

2.8

com.trueaccord.lenses

lentes_2.11

0,3

com.Twitter

chill-java

0.9.3

com.Twitter

chill_2.11

0.9.3

com.Twitter

pacote parquet-hadoop

1.6.0

com.Twitter

util-app_2.11

6,23,0

com.Twitter

util-core_2.11

6,23,0

com.Twitter

util-jvm_2.11

6,23,0

com.typesafe

configuração

1.2.1

com.typesafe.Scala-logging

Scala-logging-api_2.11

2.1.2

com.typesafe.Scala-logging

Scala-logging-slf4j_2.11

2.1.2

com.univocidade

analisadores de univocidade

2.7.3

com.vlkan

tampões planos

1,2,0-3f79e055

com.zaxxer

HikaricP

3.1.0

folhas de feijão comum

folhas de feijão comum

1.7.0

folhas de feijão comum

commons-beanutils-core

1.8.0

comum-CLI

comum-CLI

1.2

codec comum

codec comum

1,10

coleções comuns

coleções comuns

3.2.2

configuração comum

configuração comum

1,6

commons-dbcp

commons-dbcp

1.4

digestor comum

digestor comum

1,8

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2,4

linguagem comum

linguagem comum

2.6

registro de bens comuns

registro de bens comuns

1.1.3

commons-net

commons-net

3.1

comum-pool

comum-pool

1.5.4

info.ganglia.gmetric4j

gmetric4j

1.0.7

io. airlift

compressor de ar

0,10

io.dropwizard.métricas

núcleo de métricas

3.1.5

io.dropwizard.métricas

métricas-ganglia

3.1.5

io.dropwizard.métricas

métricas-grafite

3.1.5

io.dropwizard.métricas

métricas-healthchecks

3.1.5

io.dropwizard.métricas

métricas-jetty9

3.1.5

io.dropwizard.métricas

métricas-JSON

3.1.5

io.dropwizard.métricas

métricas-JVM

3.1.5

io.dropwizard.métricas

métricas-log4j

3.1.5

io.dropwizard.métricas

métricas-servlets

3.1.5

io.netty

urtiga

3.9.9. Final

io.netty

tudo

4.1.17.Final

io. prometheus

cliente simples

0,0,16

io. prometheus

simpleclient_common

0,0,16

io. prometheus

simpleclient_dropwizard

0,0,16

io. prometheus

client_servlet simples

0,0,16

io.prometheus.jmx

coletor

0,7

javax.ativação

ativação

1.1.1

javax.anotação

javax.anotação-api

1.2

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

jsp-api

2.1

javax.transaction

jta

1.1

javax.validação

API de validação

1.1.0. Final

javax.ws.rs

javax.ws.rs-api

2.0.1

javax.xml.bind

jaxb-api

2.2.2

javax.xml.transmissão

stax-api

1,0-2

javolução

javolução

5.5.1

junte-se

junte-se

2.14.6

hora do dia

hora do dia

2.9.3

log4j

apache-log4j-extras

1.2.17

log4j

log4j

1.2.17

net.hydromatic

propriedades de base própria

1.1.5

net.razorvine

pirolita

4,13

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

supercsv

2.2.0

net.snowflake

SDK de ingestão de flocos de neve

0,9.5

net.snowflake

floco de neve-JDBC

3.6.15

net.snowflake

floco de neve faísca_2.11

2.4.10-spark_2.4

net.sourceforge.f2j

arpack_combined_all

0,1

org.acplt

no CRPC

1.0.7

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.4

org.antlr

antlr4-runtime

4.7

org.antlr

modelo de string

3.2.1

org.apache.ant

formiga

1.9.2

org.apache.ant

formiga

1.9.2

org.apache.ant

lançador de formigas

1.9.2

org.apache.arrow

formato de seta

0.10.0

org.apache.arrow

memória de seta

0.10.0

org.apache.arrow

vetor de seta

0.10.0

org.apache.avro

AVRO

1.8.2

org.apache.avro

avro-ipc

1.8.2

org.apache.avro

avro-mapred-hadoop2

1.8.2

org.apache.calcite

calcita-avática

1.2.0 - incubação

org.apache.calcite

núcleo de calcita

1.2.0 - incubação

org.apache.calcite

calcita-linq4j

1.2.0 - incubação

org.apache.commons

compressa comum

1.8.1

org.apache.commons

criptomoeda comum

1.0.0

org.apache.commons

commons-lang3

3,5

org.apache.commons

commons-math3

3.4.1

org.apache.curator

curador-cliente

2.7.1

org.apache.curator

estrutura de curador

2.7.1

org.apache.curator

receitas de curadores

2.7.1

org.apache.derby

derby

10.12.1.1

org.apache.directory.api

api-asn1-api

1,0,0-M20

org.apache.directory.api

utilitário de API

1,0,0-M20

org.apache.directory.server

apacheds-i18n

2,0,0-M15

org.apache.directory.server

codec apacheds-kerberos

2,0,0-M15

org.apache.hadoop

hadoop-anotação

2.7.3

org.apache.hadoop

autenticação hadoop

2.7.3

org.apache.hadoop

cliente hadoop

2.7.3

org.apache.hadoop

hadoop-comum

2.7.3

org.apache.hadoop

hadoop-HDFS

2.7.3

org.apache.hadoop

aplicativo cliente hadoop mapreduce

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-common

2.7.3

org.apache.hadoop

núcleo do cliente hadoop-mapreduce

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-jobclient

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-shuffle

2.7.3

org.apache.hadoop

API hadoop yarn

2.7.3

org.apache.hadoop

cliente hadoop-yarn

2.7.3

org.apache.hadoop

hadoop-yarn-common

2.7.3

org.apache.hadoop

servidor hadoop-yarn-comum

2.7.3

org.apache.htrace

htrace-core

3.1.0 - incubação

org.apache.httpcomponents

cliente http

4.5.4

org.apache.httpcomponents

httpcore

4.4.8

org.apache.ivy

hera

2.4.0

org.apache.orc

orc-core-no-hive

1.5.2

org.apache.orc

orc-mapreduce-nohive

1.5.2

org.apache.orc

calços de orc

1.5.2

org.apache.parquet

coluna de parquete

1.10.1.1 - blocos de dados 3

org.apache.parquet

parquete comum

1.10.1.1 - blocos de dados 3

org.apache.parquet

codificação de parquet

1.10.1.1 - blocos de dados 3

org.apache.parquet

formato de parquet

2.4.0

org.apache.parquet

parquet-hadoop

1.10.1.1 - blocos de dados 3

org.apache.parquet

parquet-jackson

1.10.1.1 - blocos de dados 3

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.9.3

org.apache.xbean

xbean-asm6 sombreado

4,8

org.apache.zookeeper

tratador

3.4.6

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-jaxers

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.jackson

jackson-xc

1.9.13

org.codehaus.janino

compilador common

3.0.10

org.codehaus.janino

janino

3.0.10

org.datanucleus

núcleo de dados-api-jdo

3.2.6

org.datanucleus

núcleo de dados

3.2.10

org.datanucleus

núcleo de dados-rdbms

3.2.9

org.Eclipse.jetty

jetty-client

9.3.20.v 20170531

org.Eclipse.jetty

continuação do cais

9.3.20.v 20170531

org.Eclipse.jetty

jetty-http

9.3.20.v 20170531

org.Eclipse.jetty

jetty-io

9.3.20.v 20170531

org.Eclipse.jetty

jetty-jndi

9.3.20.v 20170531

org.Eclipse.jetty

jetty-plus

9.3.20.v 20170531

org.Eclipse.jetty

jetty-proxy

9.3.20.v 20170531

org.Eclipse.jetty

segurança do cais

9.3.20.v 20170531

org.Eclipse.jetty

servidor jetty-server

9.3.20.v 20170531

org.Eclipse.jetty

jutty-servlet

9.3.20.v 20170531

org.Eclipse.jetty

píer de servlets

9.3.20.v 20170531

org.Eclipse.jetty

jetty-util

9.3.20.v 20170531

org.Eclipse.jetty

aplicativo web jetty-

9.3.20.v 20170531

org.Eclipse.jetty

jetty-xml

9.3.20.v 20170531

org.fusesource.leveldbjni

leveldbjni-tudo

1,8

org.glassfish.hk2

API hk2

2.4.0-b34

org.glassfish.hk2

localizador hk2

2.4.0-b34

org.glassfish.hk2

hk2-utils

2.4.0-b34

org.glassfish.hk2

osgi-recurso-locator

1.0.1

org.glassfish.hk2.external

aopalliance - reembalado

2.4.0-b34

org.glassfish.hk2.external

javax.inject

2.4.0-b34

org.glassfish.jersey.bundles.reembalado

jersey-goiaba

2.22.2

org.glassfish.jersey.containers

servlet de contêiner de camisa

2.22.2

org.glassfish.jersey.containers

jersey-container-servlet-core

2.22.2

org.glassfish.jersey.core

cliente de camisa

2.22.2

org.glassfish.jersey.core

camiseta comum

2.22.2

org.glassfish.jersey.core

servidor de camisa

2.22.2

org.glassfish.jersey.media

jersey-media-jaxb

2.22.2

org.hibernate

validador de hibernação

5.1.1. Final

org.iq80.snappy

atrevida

0,2

org.javassist

javassist

3.18.1-GA

org.jboss.logging

registro de jboss-logging

3.1.3. GA

org.jdbi

jdbi

2.63,1

org.joda

conversor de joda

1.7

org.jodd

núcleo nodular

3.5.2

org.json4s

json4s-ast_2.11

3.5.3

org.json4s

json4s-core_2.11

3.5.3

org.json4s

json4s-jackson_2.11

3.5.3

org.json4s

json4s-scalap_2.11

3.5.3

org.lz4

lz4-java

1.4.0

org.mariadb.JDBC

cliente mariadb-java

2.1.2

org.mockito

mockito-all

1.9.5

org.objenesis

objênese

2.5.1

org.postgresql

PostgreSQL

42,14

org.roaringbitmap

Mapa de bits estrondoso

0.5.11

org.rocksdb

rocksdbjni

5.2.1

org.rosuda.rEngine

Motor

2.1.0

org.Scala-lang

Scala-compiler_2.11

2.11.12

org.Scala-lang

Scala-biblioteca.11

2.11.12

org.Scala-lang

Scala-reflect_2.11

2.11.12

org.Scala-lang.modules

Scala-parser-combinators_2.11

1.1.0

org.Scala-lang.modules

Scala-xml_2.11

1.0.5

org.Scala-sbt

interface de teste

1,0

org.scalacheck

scalacheck_2.11

1,12.5

org.scalactic

scalactic_2.11

3.0.3

org.scalanlp

breeze-macros_2.11

0,13.2

org.scalanlp

breeze_2.11

0,13.2

org.scalatest

scalatest_2.11

3.0.3

org.slf4j

jcl-over-slf4j

1.7.16

org.slf4j

jul-a-slf4j

1.7.16

org.slf4j

slf4j-api

1.7.16

org.slf4j

slf4j-log4j12

1.7.16

org.spark-project.hive

hive-beeline

1.2.1. spark2

org.spark-project.hive

colmeia-CLI

1.2.1. spark2

org.spark-project.hive

hive-exec

1.2.1. spark2

org.spark-project.hive

hive-JDBC

1.2.1. spark2

org.spark-project.hive

Hive metastore

1.2.1. spark2

org.spark-project.spark

não utilizado

1.0.0

org.spire-math

spire-macros_2.11

0,13,0

org.spire-math

spire_2.11

0,13,0

org.springframework

núcleo de mola

4.1.4. LANÇAMENTO

org.springframework

teste de primavera

4.1.4. LANÇAMENTO

org.tukaani

xz

1.5

org.typelevel

maquinista_2.11

0.6.1

org.typelevel

macro-compat_2.11

1.1.1

org.xerial

sqlite-JDBC

3.8.11.2

org.xerial.snappy

snappy-java

1.1.7.1

org.yaml

snakeyaml

1,16

oro

oro

2.0.8

software.Amazon.ion

ion-java

1.0.2

stax

stax-api

1.0.1

xmlenc

xmlenc

0,52

Última atualização em