Pular para o conteúdo principal

Databricks Runtime 6,3 (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

A Databricks lançou essa versão em janeiro de 2020.

As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 6.3, desenvolvido por Apache Spark.

Novo recurso

Delta Lake

Esta versão introduz o suporte à leitura de tabelas Delta de outros mecanismos de processamento e melhorou a simultaneidade. Os key recursos são:

  • Suporte para mecanismos de processamento usando arquivos de manifesto - Agora é possível consultar tabelas Delta do Presto e do Amazon Athena (Public Preview), Snowflake (Experimental) e Redshift Spectrum (Experimental) usando arquivos de manifesto, que podem ser gerados usando APIs Scala, Java, Python e SQL.

  • Melhoria da simultaneidade para todas as Delta Lake operações - Agora o senhor pode executar mais Delta Lake operações simultaneamente. O controle de simultaneidade otimista do Delta Lake foi aprimorado, tornando a detecção de conflitos mais refinada. Isso facilita a execução de fluxos de trabalho complexos nas tabelas do site Delta. Por exemplo:

    • Executar exclusões (por exemplo, para GDPR compliance) simultaneamente em partições mais antigas enquanto as partições mais novas estão sendo anexadas.
    • Executar atualizações e mesclar simultaneamente em conjuntos de partições disjuntas.
    • Executando compactações de arquivos simultaneamente com anexos.

    Consulte Níveis de isolamento e conflitos de gravação em Databricks.

  • Suporte aprimorado para compactação de arquivos - Agora você pode compactar arquivos reescrevendo-os com a opção DataFrameWriter dataChange definida como false. Essa opção permite que as operações de compactação sejam executadas simultaneamente com outras operações de lotes e transmissão. Consulte Arquivos compactos para obter detalhes.

  • Desempenho aprimorado para merge somente para inserção - Delta Lake agora oferece um desempenho mais otimizado para merge operações que têm somente cláusulas de inserção e nenhuma cláusula de atualização. Além disso, o site Delta Lake garante que as gravações dessa mesclagem somente de inserção acrescentem novos dados à tabela. Portanto, agora o senhor pode usar a transmissão estruturada e a mesclagem somente de inserção para fazer a desduplicação contínua dos dados (por exemplo, logs). Para obter detalhes, consulte Desduplicação de dados ao gravar em tabelas Delta.

Adicione portas adicionais à lista de permissões quando o isolamento do processo estiver ativado

nota

Este artigo contém referências ao termo whitelist , um termo que o site Databricks não usa. Quando o termo for removido do site software, nós o removeremos deste artigo.

Quando o recurso de segurança, como ACLs de tabela ou passagem de credenciais, é ativado no clustering, agora é possível especificar portas de saída adicionais que os processos do Python devem acessar, definindo Spark config spark.databricks.pyspark.iptable.outbound.whitelisted.ports como as portas a serem permitidas. O formato suportado do valor da configuração é [port[:port][,port[:port]]...], por exemplo: 21,22,9000:9999. A porta deve estar dentro do intervalo válido, ou seja, 0-65535.

Desativar a saída de trabalho para Scala Job

Job A saída, como a saída log emitida para stdout, está sujeita a um limite de tamanho de 20 MB. O senhor pode impedir que o stdout seja retornado do driver para Databricks definindo a configuração do Spark spark.databricks.driver.disableScalaOutput como true. O sinalizador controla a saída de células para Scala JAR Job e Scala Notebook. Consulte Limites de tamanho de saída para JAR Job.

Figuras em linha no Matplotlib agora são compatíveis com o Databricks Notebook (visualização pública)

Agora o senhor pode exibir automaticamente as figuras do Matplotlib sem precisar passar a figura para o método display. Para obter detalhes, consulte Matplotlib.

Melhorias

  • shutil.copytree agora trabalhe para /dbfs.
  • Ao executar um trabalho de produção de transmissão estruturada em um cluster de modo de alta simultaneidade, as reinicializações de um trabalho ocasionalmente falhavam, porque o trabalho em execução anterior não era encerrado corretamente. Para garantir que a execução anterior seja interrompida, defina a configuração SQL spark.sql.streaming.stopActiveRunOnRestart true em seu clustering. Caso a transmissão não possa ser interrompida corretamente, uma exceção de tempo limite será lançada em 15 segundos. Nesse caso, recomendamos reiniciar o clustering.
  • Atualizou várias instalações da R biblioteca. Consulte R biblioteca instalada.

Apache Spark

O Databricks Runtime 6.3 inclui o Apache Spark 2.4.4. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 6.2 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-30198] [CORE] BytesToBytesMap não aumenta a matriz interna longa conforme o esperado
  • [SPARK-29918][SQL] RecordBinaryComparator deve verificar a endianidade quando comparado por long
  • [SPARK-30274][CORE] Evite que a pesquisa do BytesToBytesMap fique suspensa para sempre quando a chave de retenção atingir a capacidade máxima
  • [SPARK-25392][CORE][WEBUI] Evitar página de erro ao acessar a página do pool a partir do servidor de história
  • [SPARK-30263][CORE] Não log valor potencialmente sensível de propriedades nãoSpark ignoradas no spark-submit
  • [SPARK-28637][SQL] Tipo de intervalo de suporte do Thriftserver
  • [SPARK-30238][SQL] A poda de partição de colmeia só pode suportar strings e tipos integrais
  • [SPARK-30198] [CORE] BytesToBytesMap não aumenta a matriz interna longa conforme o esperado
  • [SPARK-24666][ML] Corrigir vetores infinitos produzidos pelo Word2Vec quando numIterations é grande
  • [SPARK-30129] [CORE] Defina o ID do cliente no TransportClient após a autenticação bem-sucedida
  • [SPARK-30050][SQL] analisar tabela e renomear tabela não deve apagar as informações de bucketing da tabela hive
  • [SPARK-28152][SQL] Mapeou ShortType para SMALLINT e FloatType para REAL para MsSqlServerDialect
  • [SPARK-29971] [CORE] Corrige vazamentos de buffer em TransportFrameDecoder/TransportCipher
  • [SPARK-29970] [WEBUI] Preserva o estado de abertura/fechamento da Timelineview
  • [SPARK-29949][SQL] Corrigir a formatação de carimbos de data/hora por fontes de dados JSON/CSV
  • [SPARK-27558][CORE] Gracefully cleanup tarefa when it fails with OOM exception
  • [SPARK-29758][SQL] Corrigir o truncamento dos campos de strings solicitados no json_tuple
  • [SPARK-29949][SQL] Corrigir a formatação de carimbos de data/hora por fontes de dados JSON/CSV
  • [SPARK-29936][R] Corrige os erros do SparkR lint e adiciona o lint-r GitHub Actions
  • [SPARK-29904][SQL] Analisar registros de data e hora com precisão de microssegundos por meio de fontes de dados JSON/CSV
  • [SPARK-29904][SQL] Analisar registros de data e hora com precisão de microssegundos por meio de fontes de dados JSON/CSV
  • [SPARK-26499][SQL] JdbcUtils.makeGetter não manipula o ByteType
  • [SPARK-29682][SQL] Resolver corretamente atributos conflitantes na expansão
  • [SPARK-29875][Python][SQL] Evite usar o depreciado pyarrow.open_stream API no Spark 2.4.x
  • [SPARK-29850][SQL] sort-merge-join an empty table should not memory leak
  • [SPARK-28939][SQL] Propagar SQLConf para planos executados por toRdd

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 6.3.

Ambiente do sistema

  • Sistema operacional : Ubuntu 16.04.6 LTS
  • Java : 1.8.0_252
  • Scala : 2.11.12
  • Python : 3.7.3
  • R : R versão 3.6.2 (2019-12-12)
  • Delta Lake : 0.5.0
nota

Embora o Scala 2.12 esteja disponível como um recurso experimental no Apache Spark 2.4, ele não é compatível com o Databricks Runtime 6.3.

Nesta secção:

Instalado Python biblioteca

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

criptomoeda asn1

0,24,0

chamada de volta

0.1.0

Boto

2,49,0

boto3

1,9.162

botocore

1,12.163

certifi

2019,3.9

caffi

1.12.2

chardet

3.0.4

criptografia

2.6.1

ciclador

0.10.0

Cython

0,29,6

decorador

4.4.0

docutils

0,14

Índia

2.8

ipykernel

5.1.0

ipython

7.4.0

ipython-genutils

0.2.0

jedi

0,13.3

jmespath

0.9.4

cliente jupyter

5.2.4

núcleo jupyter

4.4.0

solucionador de kiwi

1.1.0

Matplotlib

3.0.3

entorpecido

1.16.2

Pandas

0,24,2

parso

0.3.4

bode expiatório

0.5.1

esperar

4.6.0

picles

0.7.5

pip

19,0,3

kit de ferramentas de aviso

2.0.9

psycopg2

2.7.6.1

processo pty

0.6.0

flecha

0,13,0

pycparser

2,19

pycurl

7,43,0

Pigmentos

2.3.1

Objeto PYG

3.20.0

PyOpenSSL

19.0.0

análise de pipa

2.4.6

Meias PY

1.6.8

Python-apt

1.1.0.b1+ubuntu0.16.04.5

Python-dateutil

2.8.0

pytz

2018,9

pizma

18,0.0

pedidos

2.21,0

transferência s3

0.2.1

scikit-learn

0,20.3

pegajoso

1.2.1

marítimo

0.9.0

ferramentas de configuração

40,8,0

seis

1.12.0

ID de importação ssh

5.5

modelos de estatísticas

0.9.0

tornado

6.0.2

almôndegas

4.3.2

atualizações autônomas

0,1

urllib3

1.24,1

ambiente virtual

16.4.1

largura do wc

0.1.7

Python wheel

0,33,1

Instalada a R biblioteca

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

abandam

1,4-5

askpass

1.1

afirme que

0.2.1

portas traseiras

1.1.5

base

3.6.2

base64enc

0,1-3

POR

1,69,0-1

pouco

1,1-14

bit64

0,9-7

bitops

1,0-6

bolha

1.2.0

inicialização

1,3-23

fermentar

1,0-6

chamador

3.3.2

carro

3,0-4

Dados do carro

3,0-2

cursor

6,0-84

guarda de celas

1.1.0

crono

2,3-54

Aula

7,3-15

CLIPE

1.1.0

clipe

0.7.0

símbolos cli

1.2.0

Cluster

2.1.0

ferramentas de código

0,2-16

espaço de cores

1,4-1

marca comum

1.7

compilador

3.6.2

configuração

0,3

capa

3.3.2

giz de cera

1.3.4

diafonia

1.0.0

cacho

4.2

data.tabela

1.12.6

conjunto de dados

3.6.2

DBI

1.0.0

dbplyr

1.4.2

desc

1.2.0

ferramentas de desenvolvimento

2.2.1

digerir

0.6.22

Dom C

1.3.6

dplyr

0,8.3

DT

0,9

reticências

0.3.0

avalie

0,14

fansi

0.4.0

mapa rápido

1.0.1

para gatos

0.4.0

para cada um

1.4.7

estrangeira

0,8-74

forjar

0.2.0

fs

1.3.1

gbm

2.1.5

genéricas

0.0.2

ggplot2

3.2.1

gh

1.0.1

git2r

0.26.1

glmnet

2,0-18

cola

1.3.1

goleiro

0.2.1

gráficos

3.6.2

Dispositivos GR

3.6.2

grade

3.6.2

Grid Extra

2.3

gsubfn

0,7

mesa

0.3.0

h2o

3.26.0.2

refúgio

2.1.1

HMS

0.5.1

ferramentas html

0.4.0

widgets html

1.5.1

http.uv

1.5.2

httr

1.4.1

escritor

1.3.2

HWriter Plus

1,0-3

mini

0.3.1

ipred

0,9-9

iteradores

1.0.12

jsonlite

1,6

Kern Smooth

2,23-16

rótulo

0,3

posteriormente

1.0.0

treliça

0,20-38

lava

1.6.6

preguiçoso

0.2.2

ciclo de vida

0.1.0

mais pequeno

0.3.9

lme4

1,1-21

lubrificar

1.7.4

magritter

1.5

mapproj

1.2.6

mapeia

3.3.0

ferramentas de mapa

0,9-8

MASSA

7,3-51,5

Matriz

1,2-18

Modelos matriciais

0,4-1

memoise

1.1.0

métodos

3.6.2

mgcv

1,8-31

mímica

0,7

mina

1.2.4

Métricas do modelo

1.2.2

munsell

0.5.0

norma mvt

1,0-11

nome

3,1-143

nloptr

1.2.1

net

7,3-12

Número Deriv

2016,8-1,1

openssl

1.4.1

openxlsx

4.1.2

paralelo

3.6.2

teste pbkr

0,4-7

pilar

1.4.2

pkgbuild

1.0.6

pkgconfig

2.0.3

Gatinho PKG

0.1.5

carregamento de pacotes

1.0.2

plogr

0.2.0

plyr

1.8.4

elogio

1.0.0

unidades bonitas

1.0.2

ProC

1.15.3

processa

3.4.1

prodlim

2018,04.18

progresso

1.2.2

promessas

1.1.0

proto

1.0.0

ps

1.3.0

ronronar

0.3.3

quantreg

5,51

R. métodos S3

1.7.1

R.oo

1,22,0

R. utils

2.9.0

r2d3

0.2.3

R6

2.4.0

Floresta aleatória

4,6-14

corredeiras

0.3.1

rcmdcheck

1.3.3

Cervejaria RColor

1,1-2

Rcpp

1.0.2

RCP Pegen

0.3.3.5.0

Curl

1,95-4,12

leitor

1.3.1

readxl

1.3.1

receitas

0.1.7

revanche

1.0.1

controles remotos

2.1.0

remodelar 2

1.4.3

rex

1.1.2

rio

0,5.16

rlang

0.4.1

RODBC

1,3-16

roxigênio2

6.1.1

rpartem

4,1-15

rprojroot

1,3-2

Reservar

1,8-6

RSQLite

2.1.2

API do estúdio

0,10

reversões

2.0.0

escala

1.0.0

informações da sessão

1.1.1

brilhante

1.4.0

ferramentas de origem

0.1.7

espião

1,3-1

Sparklyr

1.0.4

SparkR

2.4.5

SPARSEM

1,77

espacial

7,3-11

splines

3.6.2

sqldf

0,4-11

QUADRADO

2017,10-1

statmod

1,4,32

estatísticas

3.6.2

estatísticas4

3.6.2

stringi

1.4.3

longarina

1.4.0

sobrevivência

2,44-1,1

diz

3.3

tcltk

3.6.2

Demonstrações de ensino

2,10

teste isso

2.2.1

petiscar

2.1.3

arrumado

1.0.0

seleção arrumada

0.2.5

Hora/Data

3043,102

Ferramentas

3.6.2

use isso

1.5.1

utf 8

1.1.4

utilidades

3.6.2

vctrs

0.2.0

Viridis Lite

0.3.0

bigode

0,4

murchar

2.1.2

xml2

1.2.2

xopen

1.0.0

x estável

1,8-4

yaml

2.2.0

fanático

0.1.0

compactar

2.0.4

Instalei Java e Scala biblioteca (versão de clusteringScala 2.11)

ID do grupo

ID do artefato

Versão

chifre

chifre

2.7.7

com.amazonaws

Amazon-kinesis-client

1.8.10

com.amazonaws

aws-java-sdk-autoscale

1,11.595

com.amazonaws

formação de nuvem aws-java-sdk

1,11.595

com.amazonaws

aws-java-sdk-cloudfront

1,11.595

com.amazonaws

aws-java-sdk-cloudhsm

1,11.595

com.amazonaws

aws-java-sdk-cloudsearch

1,11.595

com.amazonaws

aws-java-sdk-cloudtrail

1,11.595

com.amazonaws

aws-java-sdk-cloudwatch

1,11.595

com.amazonaws

métricas aws-java-sdk-cloudwatch

1,11.595

com.amazonaws

aws-java-sdk-codedeploy

1,11.595

com.amazonaws

identidade cognitiva aws-java-sdk

1,11.595

com.amazonaws

aws-java-sdk-cognitosync

1,11.595

com.amazonaws

aws-java-sdk-config

1,11.595

com.amazonaws

aws-java-sdk-core

1,11.595

com.amazonaws

pipeline de dados aws-java-sdk

1,11.595

com.amazonaws

aws-java-sdk-conexão direta

1,11.595

com.amazonaws

diretório aws-java-sdk

1,11.595

com.amazonaws

aws-java-sdk-dynamodb

1,11.595

com.amazonaws

aws-java-sdk-ec2

1,11.595

com.amazonaws

aws-java-sdk-ecs

1,11.595

com.amazonaws

aws-java-sdk-efs

1,11.595

com.amazonaws

aws-java-sdk-elasticache

1,11.595

com.amazonaws

aws-java-sdk-elasticbeanstalk

1,11.595

com.amazonaws

balanceamento de carga elástico aws-java-sdk

1,11.595

com.amazonaws

transcodificador elástico aws-java-sdk-

1,11.595

com.amazonaws

aws-java-sdk-emr

1,11.595

com.amazonaws

aws-java-sdk-glacier

1,11.595

com.amazonaws

aws-java-sdk-glue

1,11.595

com.amazonaws

aws-java-sdk-iam

1,11.595

com.amazonaws

aws-java-sdk-importação/exportação

1,11.595

com.amazonaws

aws-java-sdk-kinesis

1,11.595

com.amazonaws

aws-java-sdk-kms

1,11.595

com.amazonaws

aws-java-sdk-lambda

1,11.595

com.amazonaws

aws-java-sdk-logs

1,11.595

com.amazonaws

aws-java-sdk - aprendizado de máquina

1,11.595

com.amazonaws

aws-java-sdk-opsworks

1,11.595

com.amazonaws

aws-java-sdk-rds

1,11.595

com.amazonaws

aws-java-sdk-redshift

1,11.595

com.amazonaws

aws-java-sdk-route53

1,11.595

com.amazonaws

aws-java-sdk-s3

1,11.595

com.amazonaws

aws-java-sdk-ses

1,11.595

com.amazonaws

aws-java-sdk-simpledb

1,11.595

com.amazonaws

aws-java-sdk - fluxo de trabalho simples

1,11.595

com.amazonaws

aws-java-sdk-sns

1,11.595

com.amazonaws

aws-java-sdk-sqs

1,11.595

com.amazonaws

aws-java-sdk-ssm

1,11.595

com.amazonaws

gateway de armazenamento aws-java-sdk

1,11.595

com.amazonaws

aws-java-sdk-sts

1,11.595

com.amazonaws

suporte aws-java-sdk

1,11.595

com.amazonaws

aws-java-sdk-swf-biblioteca

1.11.22

com.amazonaws

aws-java-sdk-workspace

1,11.595

com.amazonaws

jmespath-java

1,11.595

com.carrotsearch

hppc

0.7.2

com.chuusai

sem forma_2.11

2.3.2

com.clearspring.analítica

transmissão

2.7.0

com.databricks

Reservar

1,8-3

com.databricks

dbml-local_2.11

0.5.0-db8-spark2.4

com.databricks

testes dbml-local_2.11

0.5.0-db8-spark2.4

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

plugin_2.11

0,4.15-9

com.databricks.scalapb

scalapb-runtime_2.11

0,4.15-9

com.esotérico software

crio-sombreado

4.0.2

com.esotérico software

minlog

1.3.0

com.fasterxml

colega de classe

1.0.0

com.fasterxml.jackson.core

jackson-anotação

2.6.7

com.fasterxml.jackson.core

jackson-core

2.6.7

com.fasterxml.jackson.core

vinculação de dados jackson

2.6.7.1

formato de dados com.fasterxml.jackson.

formato de dados jackson-cbor

2.6.7

com.fasterxml.jackson.tipo de dados

jackson-datatype-joda

2.6.7

com.fasterxml.jackson.module

parâmetro do módulo jackson

2.6.7

com.fasterxml.jackson.module

jackson-module-Scala.11

2.6.7.1

com.github.fommil

descarregador

1.1

com.github.fommil.netlib

abdômen

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-nativos

1.1

com.github.fommil.netlib

sistema_nativo-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.luben

zstd-jni

1,3.2-2

com.github.rwl

jtransforma

2.4.0

com.google.code.findbugs

jsr305

2.0.1

com.google.code.gson

gson

2.2.4

com.google.goiaba

goiaba

15,0

com.google.protobuf

protobuf-java

2.6.1

com.googlecode.javaewah

Java Ewah

0.3.2

banco de dados com.h2

h2

1,3,174

com.jcraft

jsch

0,1,50

com.jolbox

bonecp

VERSÃO 0.8.0.

com.microsoft.azure

azure-data lake-store-sdk

2.2.8

com.microsoft.azure

armazenamento do azure

7.0.0

com.microsoft.sqlserver

mssql-JDBC

6.2.2. jre8

comendo

comprimir-lzf

1.0.3

com.sun.mail

javax.mail

1.5.2

com.thoughtworks.paranamer

paranâmero

2.8

com.trueaccord.lenses

lentes_2.11

0,3

com.Twitter

chill-java

0.9.3

com.Twitter

chill_2.11

0.9.3

com.Twitter

pacote parquet-hadoop

1.6.0

com.Twitter

util-app_2.11

6,23,0

com.Twitter

util-core_2.11

6,23,0

com.Twitter

util-jvm_2.11

6,23,0

com.typesafe

configuração

1.2.1

com.typesafe.Scala-logging

Scala-logging-api_2.11

2.1.2

com.typesafe.Scala-logging

Scala-logging-slf4j_2.11

2.1.2

com.univocidade

analisadores de univocidade

2.7.3

com.vlkan

tampões planos

1,2,0-3f79e055

com.zaxxer

HikaricP

3.1.0

folhas de feijão comum

folhas de feijão comum

1.9.4

comum-CLI

comum-CLI

1.2

codec comum

codec comum

1,10

coleções comuns

coleções comuns

3.2.2

configuração comum

configuração comum

1,6

commons-dbcp

commons-dbcp

1.4

digestor comum

digestor comum

1,8

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2,4

linguagem comum

linguagem comum

2.6

registro de bens comuns

registro de bens comuns

1.1.3

commons-net

commons-net

3.1

comum-pool

comum-pool

1.5.4

info.ganglia.gmetric4j

gmetric4j

1.0.7

io. airlift

compressor de ar

0,10

io.dropwizard.métricas

núcleo de métricas

3.1.5

io.dropwizard.métricas

métricas-ganglia

3.1.5

io.dropwizard.métricas

métricas-grafite

3.1.5

io.dropwizard.métricas

métricas-healthchecks

3.1.5

io.dropwizard.métricas

métricas-jetty9

3.1.5

io.dropwizard.métricas

métricas-JSON

3.1.5

io.dropwizard.métricas

métricas-JVM

3.1.5

io.dropwizard.métricas

métricas-log4j

3.1.5

io.dropwizard.métricas

métricas-servlets

3.1.5

io.netty

urtiga

3.9.9. Final

io.netty

tudo

4.1.42. Final

javax.ativação

ativação

1.1.1

javax.anotação

javax.anotação-api

1.2

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

jsp-api

2.1

javax.transaction

jta

1.1

javax.validação

API de validação

1.1.0. Final

javax.ws.rs

javax.ws.rs-api

2.0.1

javax.xml.bind

jaxb-api

2.2.2

javax.xml.transmissão

stax-api

1,0-2

javolução

javolução

5.5.1

junte-se

junte-se

2.14.6

hora do dia

hora do dia

2.9.3

unidade

unidade

4,12

log4j

apache-log4j-extras

1.2.17

log4j

log4j

1.2.17

net.hydromatic

propriedades de base própria

1.1.5

net.razorvine

pirolita

4,13

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

supercsv

2.2.0

net.snowflake

SDK de ingestão de flocos de neve

0.9.6

net.snowflake

floco de neve-JDBC

3.12.0

net.snowflake

floco de neve faísca_2.11

2.5.9-spark_2.4

net.sourceforge.f2j

arpack_combined_all

0,1

org.acplt

no CRPC

1.0.7

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.4

org.antlr

antlr4-runtime

4.7

org.antlr

modelo de string

3.2.1

org.apache.ant

formiga

1.9.2

org.apache.ant

formiga

1.9.2

org.apache.ant

lançador de formigas

1.9.2

org.apache.arrow

formato de seta

0.10.0

org.apache.arrow

memória de seta

0.10.0

org.apache.arrow

vetor de seta

0.10.0

org.apache.avro

AVRO

1.8.2

org.apache.avro

avro-ipc

1.8.2

org.apache.avro

avro-mapred-hadoop2

1.8.2

org.apache.calcite

calcita-avática

1.2.0 - incubação

org.apache.calcite

núcleo de calcita

1.2.0 - incubação

org.apache.calcite

calcita-linq4j

1.2.0 - incubação

org.apache.commons

compressa comum

1.8.1

org.apache.commons

criptomoeda comum

1.0.0

org.apache.commons

commons-lang3

3,5

org.apache.commons

commons-math3

3.4.1

org.apache.curator

curador-cliente

2.7.1

org.apache.curator

estrutura de curador

2.7.1

org.apache.curator

receitas de curadores

2.7.1

org.apache.derby

derby

10.12.1.1

org.apache.directory.api

api-asn1-api

1,0,0-M20

org.apache.directory.api

utilitário de API

1,0,0-M20

org.apache.directory.server

apacheds-i18n

2,0,0-M15

org.apache.directory.server

codec apacheds-kerberos

2,0,0-M15

org.apache.hadoop

hadoop-anotação

2.7.3

org.apache.hadoop

autenticação hadoop

2.7.3

org.apache.hadoop

cliente hadoop

2.7.3

org.apache.hadoop

hadoop-comum

2.7.3

org.apache.hadoop

hadoop-HDFS

2.7.3

org.apache.hadoop

aplicativo cliente hadoop mapreduce

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-common

2.7.3

org.apache.hadoop

núcleo do cliente hadoop-mapreduce

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-jobclient

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-shuffle

2.7.3

org.apache.hadoop

API hadoop yarn

2.7.3

org.apache.hadoop

cliente hadoop-yarn

2.7.3

org.apache.hadoop

hadoop-yarn-common

2.7.3

org.apache.hadoop

servidor hadoop-yarn-comum

2.7.3

org.apache.htrace

htrace-core

3.1.0 - incubação

org.apache.httpcomponents

cliente http

4.5.6

org.apache.httpcomponents

httpcore

4.4.10

org.apache.ivy

hera

2.4.0

org.apache.orc

orc-core-no-hive

1.5.5

org.apache.orc

orc-mapreduce-nohive

1.5.5

org.apache.orc

calços de orc

1.5.5

org.apache.parquet

coluna de parquete

1.10.1.2 - blocos de dados 4

org.apache.parquet

parquete comum

1.10.1.2 - blocos de dados 4

org.apache.parquet

codificação de parquet

1.10.1.2 - blocos de dados 4

org.apache.parquet

formato de parquet

2.4.0

org.apache.parquet

parquet-hadoop

1.10.1.2 - blocos de dados 4

org.apache.parquet

parquet-jackson

1.10.1.2 - blocos de dados 4

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.9.3

org.apache.xbean

xbean-asm6 sombreado

4,8

org.apache.zookeeper

tratador

3.4.6

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-jaxers

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.jackson

jackson-xc

1.9.13

org.codehaus.janino

compilador common

3.0.10

org.codehaus.janino

janino

3.0.10

org.datanucleus

núcleo de dados-api-jdo

3.2.6

org.datanucleus

núcleo de dados

3.2.10

org.datanucleus

núcleo de dados-rdbms

3.2.9

org.Eclipse.jetty

jetty-client

9.3.27.v 20190418

org.Eclipse.jetty

continuação do cais

9.3.27.v 20190418

org.Eclipse.jetty

jetty-http

9.3.27.v 20190418

org.Eclipse.jetty

jetty-io

9.3.27.v 20190418

org.Eclipse.jetty

jetty-jndi

9.3.27.v 20190418

org.Eclipse.jetty

jetty-plus

9.3.27.v 20190418

org.Eclipse.jetty

jetty-proxy

9.3.27.v 20190418

org.Eclipse.jetty

segurança do cais

9.3.27.v 20190418

org.Eclipse.jetty

servidor jetty-server

9.3.27.v 20190418

org.Eclipse.jetty

jutty-servlet

9.3.27.v 20190418

org.Eclipse.jetty

píer de servlets

9.3.27.v 20190418

org.Eclipse.jetty

jetty-util

9.3.27.v 20190418

org.Eclipse.jetty

aplicativo web jetty-

9.3.27.v 20190418

org.Eclipse.jetty

jetty-xml

9.3.27.v 20190418

org.fusesource.leveldbjni

leveldbjni-tudo

1,8

org.glassfish.hk2

API hk2

2.4.0-b34

org.glassfish.hk2

localizador hk2

2.4.0-b34

org.glassfish.hk2

hk2-utils

2.4.0-b34

org.glassfish.hk2

osgi-recurso-locator

1.0.1

org.glassfish.hk2.external

aopalliance - reembalado

2.4.0-b34

org.glassfish.hk2.external

javax.inject

2.4.0-b34

org.glassfish.jersey.bundles.reembalado

jersey-goiaba

2.22.2

org.glassfish.jersey.containers

servlet de contêiner de camisa

2.22.2

org.glassfish.jersey.containers

jersey-container-servlet-core

2.22.2

org.glassfish.jersey.core

cliente de camisa

2.22.2

org.glassfish.jersey.core

camiseta comum

2.22.2

org.glassfish.jersey.core

servidor de camisa

2.22.2

org.glassfish.jersey.media

jersey-media-jaxb

2.22.2

org.hamcrest

núcleo da hamcrista

1.3

org.hamcrest

biblioteca de hamcrest

1.3

org.hibernate

validador de hibernação

5.1.1. Final

org.iq80.snappy

atrevida

0,2

org.javassist

javassist

3.18.1-GA

org.jboss.logging

registro de jboss-logging

3.1.3. GA

org.jdbi

jdbi

2.63,1

org.joda

conversor de joda

1.7

org.jodd

núcleo nodular

3.5.2

org.json4s

json4s-ast_2.11

3.5.3

org.json4s

json4s-core_2.11

3.5.3

org.json4s

json4s-jackson_2.11

3.5.3

org.json4s

json4s-scalap_2.11

3.5.3

org.lz4

lz4-java

1.4.0

org.mariadb.JDBC

cliente mariadb-java

2.1.2

org.mockito

mockito-core

1,10,19

org.objenesis

objênese

2.5.1

org.postgresql

PostgreSQL

42,14

org.roaringbitmap

Mapa de bits estrondoso

0,7,45

org.roaringbitmap

calços

0,7,45

org.rocksdb

rocksdbjni

6.2.2

org.rosuda.rEngine

Motor

2.1.0

org.Scala-lang

Scala-compiler_2.11

2.11.12

org.Scala-lang

Scala-biblioteca.11

2.11.12

org.Scala-lang

Scala-reflect_2.11

2.11.12

org.Scala-lang.modules

Scala-parser-combinators_2.11

1.1.0

org.Scala-lang.modules

Scala-xml_2.11

1.0.5

org.Scala-sbt

interface de teste

1,0

org.scalacheck

scalacheck_2.11

1,12.5

org.scalactic

scalactic_2.11

3.0.3

org.scalanlp

breeze-macros_2.11

0,13.2

org.scalanlp

breeze_2.11

0,13.2

org.scalatest

scalatest_2.11

3.0.3

org.slf4j

jcl-over-slf4j

1.7.16

org.slf4j

jul-a-slf4j

1.7.16

org.slf4j

slf4j-api

1.7.16

org.slf4j

slf4j-log4j12

1.7.16

org.spark-project.hive

hive-beeline

1.2.1. spark2

org.spark-project.hive

colmeia-CLI

1.2.1. spark2

org.spark-project.hive

hive-JDBC

1.2.1. spark2

org.spark-project.hive

Hive metastore

1.2.1. spark2

org.spark-project.spark

não utilizado

1.0.0

org.spire-math

spire-macros_2.11

0,13,0

org.spire-math

spire_2.11

0,13,0

org.springframework

núcleo de mola

4.1.4. LANÇAMENTO

org.springframework

teste de primavera

4.1.4. LANÇAMENTO

org.tukaani

xz

1.5

org.typelevel

maquinista_2.11

0.6.1

org.typelevel

macro-compat_2.11

1.1.1

org.xerial

sqlite-JDBC

3.8.11.2

org.xerial.snappy

snappy-java

1.1.7.3

org.yaml

snakeyaml

1,16

oro

oro

2.0.8

software.Amazon.ion

ion-java

1.0.2

stax

stax-api

1.0.1

xmlenc

xmlenc

0,52

この記事は役に立ちましたか?