Databricks Runtime 6,5 (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

A Databricks lançou essa versão em abril de 2020.

As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 6.5, com tecnologia Apache Spark.

Novo recurso

operações métricas para todas as gravações, atualizações e exclusões em uma tabela Delta agora são mostradas na história da tabela

Agora o senhor pode ver as operações métricas (por exemplo, número de arquivos e linhas alteradas) para todas as gravações, atualizações e exclusões em uma tabela Delta na história da tabela. A geração dessas métricas é possibilitada pelo site default. O senhor pode ver a história correndo:

SQL

DESCRIBE HISTORY deltaTableName

operationMetrics

Limite de taxa dos dados processados em Delta Lake transmissão micro-lotes

Quando o senhor processa dados do site Delta Lake usando a transmissão estruturada, agora pode definir a opção maxBytesPerTrigger para limitar a quantidade de dados processados em cada microlote. Isso define um "soft max", o que significa que um lote processa aproximadamente essa quantidade de dados e pode processar mais do que o limite.

Se o senhor usar Trigger.Once para sua transmissão, essa opção será ignorada. Além disso, se o senhor usar essa opção em conjunto com maxFilesPerTrigger, o micro-lote processará os dados até que o limite de maxFilesPerTrigger ou maxBytesPerTrigger seja atingido.

Melhorias

Conector Snowflake atualizado para a versão 2.5.9

O conector atualizado promove o driver Snowflake JDBC para a versão 3.12.0.

Java atualizado para 1.8.0_242

Esta versão introduz novas verificações nos certificados âncora de confiança para garantir que as âncoras de confiança sejam certificados CA e contenham extensões adequadas. Os certificados âncora confiáveis devem incluir uma extensão de restrições básicas com o campo ca definido como verdadeiro. Além disso, se eles incluírem uma extensão de uso de chave, o bit keyCertSign deverá ser definido.

Se você usar certificados âncora de confiança autoassinados, poderá atingir as seguintes exceções introduzidas pelas novas verificações:

Console
TrustAnchor with subject "..." is not a CA certificate

TrustAnchor with subject "..." does not have keyCertSign bit set in KeyUsage extension

Para continuar usando certificados de âncora de confiança autoassinados, o senhor tem duas opções para lidar com as exceções acima:

Defina a propriedade do sistema Java jdk.security.allowNonCaAnchor introduzida com o Java 1.9.0_242 como true para restaurar o comportamento anterior. O senhor pode usar spark.driver.extraJavaOptions e spark.executor.extraJavaOptions para definir essa propriedade do sistema como Spark driver e executor, respectivamente.
Inclua uma extensão de restrições básicas com o campo ca definido como true em seus certificados âncora de confiança. Se seus certificados de âncora de confiança incluírem uma extensão de uso de chave, defina o bit keyCertSign.

Se o senhor usar o Java Keytool para gerar pares público/privado key, defina -ext BasicConstraints=ca:true ao gerar certificados de âncora de confiança. Se seus certificados de âncora de confiança incluírem uma extensão de uso de chave, defina o bit keyCertSign -ext KeyUsage=...,keyCertSign ao gerar certificados de âncora de confiança.

S3 Select connector: correção de sintaxe para DECIMAL e CASE WHEN

A conversão do tipo DECIMAL ignora a precisão e a escala ao converter para o tipo DECIMAL em Amazon S3 Select devido à remoção do suporte a DECIMAL(precision, escala) em Amazon S3 Select. Todas as referências internas CASE WHEN foram substituídas pelas funções COALESCE e NULLIF que são oficialmente compatíveis com o Amazon S3 Select.

Kinesis fonte de transmissão lança tarefa de tamanho mais eficiente

A fonte de transmissão Kinesis agora agrupa automaticamente os blocos de dados pré-configurados para reduzir o número de tarefas geradas para processar os blocos.

Biblioteca R atualizada

Atualizou várias instalações da R biblioteca. Consulte R biblioteca instalada.

Depreciações

O pacote boto está obsoleto e será removido em uma próxima versão principal do Databricks Runtime. A Databricks recomenda que o senhor use boto3 em vez disso.
O pacote R a seguir será removido em uma próxima versão principal do Databricks Runtime:
- abandam
- bitops
- carro
- Dados do carro
- Dom C
- gbm
- h2o
- mais pequeno
- lme4
- mapproj
- mapeia
- ferramentas de mapa
- Modelos matriciais
- mina
- norma mvt
- nloptr
- openxlsx
- teste pbkr
- Gatinho PKG
- quantreg
- R. métodos S3
- R.oo
- R. utils
- RCP Pegen
- Curl
- rio
- espião
- SPARSEM
- statmod
- compactar

Databricks recomenda o uso do código a seguir para instalar e carregar pacotes do R que não são instalados pelo site Databricks Runtime:

R
if (!require("package_name")) {
  install.packages("package_name")
  library("package_name")
}

Apache Spark

O Databricks Runtime 6.5 inclui o Apache Spark 2.4.5. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 6.4 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

[SPARK-27099] [SQL] Adicionar 'xxhash64' para fazer hashing de colunas arbitrárias para Long
[SPARK-26151] [SQL] Retorna resultados parciais para registros CSV ruins
[SPARK-30927] [SS] O StreamingQueryManager deve evitar manter a referência ao StreamingQuery encerrado
[SPARK-22590] Copiar SparkContext.localProperties para um tópico filho em BroadcastExchangeExec.ExecutionContext
[SPARK-30671] EmptyDataFrame deve usar um LocalRelation
[SPARK-30556] [SQL] Reset o status foi alterado em SQLExecution withThreadLocalCaptured
[SPARK-30763] [SQL] Corrigir java.lang.IndexOutOfBoundsException No group 1 for regexp_extract
[SPARK-30806] [SQL] Avaliar uma vez por grupo em UnboundedWindowFunctionFrame
[SPARK-30731] Atualizar a opção obsoleta do Modocs
[SPARK-30857] [SQL] Corrigir truncamentos de registros de data e hora antes da época para horas e dias
[SPARK-30798] Sessão de escopo. Ativa na execução da consulta
[SPARK-30793] [SQL] Corrigir truncamentos de registros de data e hora antes da época para minutos e segundos
[SPARK-30826] [SQL] Respeitar o caso de referência em StringStartsWith empurrado para Parquet
[SPARK-30797] [SQL] Definir permissão tradicional de usuário/grupo/outro para entradas de ACL ao configurar ACLs na tabela de truncamento
[SPARK-30065] [SQL] DataFrameNaFunctions.drop deve lidar com colunas duplicadas
[SPARK-29890] [SQL] DataFrameNaFunctions.fill deve lidar com colunas duplicadas
[SPARK-30310] [CORE] Resolva o caso de correspondência ausente no SparkUncaughtExceptionHandler e nos testes adicionados
[SPARK-30512] Adicionado um grupo dedicado ao loop de eventos do chefe

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 6.5.

Ambiente do sistema

Sistema operacional : Ubuntu 16.04.6 LTS
Java : 1.8.0_252
Scala : 2.11.12
Python : 3.7.3
R : R versão 3.6.3 (2020-02-29)
Delta Lake : 0.5.0

nota

Embora o Scala 2.12 esteja disponível como um recurso experimental no Apache Spark 2.4, ele não é compatível com o Databricks Runtime 6.5.

Nesta secção:

Instalado Python biblioteca
Instalada a R biblioteca
Instalei Java e Scala biblioteca (versão de clusteringScala 2.11)

Instalado Python biblioteca

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
criptomoeda asn1	0,24,0	chamada de volta	0.1.0	Boto	2,49,0
boto3	1,9.162	botocore	1,12.163	certifi	2019,3.9
caffi	1.12.2	chardet	3.0.4	criptografia	2.6.1
ciclador	0.10.0	Cython	0,29,6	decorador	4.4.0
docutils	0,14	Índia	2.8	ipykernel	5.1.0
ipython	7.4.0	ipython-genutils	0.2.0	jedi	0,13.3
jmespath	0.9.4	cliente jupyter	5.2.4	núcleo jupyter	4.4.0
solucionador de kiwi	1.1.0	Matplotlib	3.0.3	entorpecido	1.16.2
Pandas	0,24,2	parso	0.3.4	bode expiatório	0.5.1
esperar	4.6.0	picles	0.7.5	pip	19,0,3
kit de ferramentas de aviso	2.0.9	psycopg2	2.7.6.1	processo pty	0.6.0
flecha	0,13,0	pycparser	2,19	pycurl	7,43,0
Pigmentos	2.3.1	Objeto PYG	3.20.0	PyOpenSSL	19.0.0
análise de pipa	2.4.6	Meias PY	1.6.8	Python-apt	1.1.0.b1+ubuntu0.16.04.8
Python-dateutil	2.8.0	pytz	2018,9	pizma	18,0.0
pedidos	2.21,0	transferência s3	0.2.1	scikit-learn	0,20.3
pegajoso	1.2.1	marítimo	0.9.0	ferramentas de configuração	40,8,0
seis	1.12.0	ID de importação ssh	5.5	modelos de estatísticas	0.9.0
tornado	6.0.2	almôndegas	4.3.2	atualizações autônomas	0,1
urllib3	1.24,1	ambiente virtual	16.4.1	largura do wc	0.1.7
Python wheel	0,33,1

Instalou a R biblioteca

As bibliotecas R são instaladas a partir de Microsoft CRAN Snapshot em 2020-02-26.

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
abandam	1,4-5	askpass	1.1	afirme que	0.2.1
portas traseiras	1.1.5	base	3.6.3	base64enc	0,1-3
POR	1,72,0-3	pouco	1,1-15,2	bit64	0,9-7
bitops	1,0-6	bolha	1.2.1	inicialização	1,3-23
fermentar	1,0-6	chamador	3.4.2	carro	3,0-6
Dados do carro	3,0-3	cursor	6,0-85	guarda de celas	1.1.0
crono	2,3-55	Aula	7,3-15	CLIPE	2.0.1
clipe	0.7.0	símbolos cli	1.2.0	Cluster	2.1.0
ferramentas de código	0,2-16	espaço de cores	1,4-1	marca comum	1.7
compilador	3.6.3	configuração	0,3	capa	3.4.0
giz de cera	1.3.4	diafonia	1.0.0	cacho	4.3
data.tabela	1.12.8	conjunto de dados	3.6.3	DBI	1.1.0
dbplyr	1.4.2	desc	1.2.0	ferramentas de desenvolvimento	2.2.2
digerir	0,6,25	Dom C	1.3.6	dplyr	0,8.4
DT	0,12	reticências	0.3.0	avalie	0,14
fansi	0.4.1	colorista	2.0.3	mapa rápido	1.0.1
para gatos	0.4.0	para cada um	1.4.8	estrangeira	0,8-75
forjar	0.2.0	fs	1.3.1	gbm	2.1.5
genéricas	0.0.2	ggplot2	3.2.1	gh	1.1.0
git2r	0.26.1	glmnet	3,0-2	cola	1.3.1
goleiro	0.2.1	gráficos	3.6.3	Dispositivos GR	3.6.3
grade	3.6.3	Grid Extra	2.3	gsubfn	0,7
mesa	0.3.0	h2o	3.28.0.2	refúgio	2.2.0
HMS	0.5.3	ferramentas html	0.4.0	widgets html	1.5.1
http.uv	1.5.2	httr	1.4.1	escritor	1.3.2
HWriter Plus	1,0-3	mini	0.3.1	ipred	0,9-9
iteradores	1.0.12	jsonlite	1.6.1	Kern Smooth	2,23-16
rótulo	0,3	posteriormente	1.0.0	treliça	0,20-40
lava	1.6.6	preguiçoso	0.2.2	ciclo de vida	0.1.0
mais pequeno	0.3.9	lme4	1,1-21	lubrificar	1.7.4
magritter	1.5	mapproj	1.2.7	mapeia	3.3.0
ferramentas de mapa	0,9-9	MASSA	7,3-51,5	Matriz	1,2-18
Modelos matriciais	0,4-1	memoise	1.1.0	métodos	3.6.3
mgcv	1,8-31	mímica	0,9	mina	1.2.4
Métricas do modelo	1.2.2.1	munsell	0.5.0	norma mvt	1,1-0
nome	3,1-144	nloptr	1.2.1	net	7,3-13
Número Deriv	2016,8-1,1	openssl	1.4.1	openxlsx	4.1.4
paralelo	3.6.3	teste pbkr	0,4-8,6	pilar	1.4.3
pkgbuild	1.0.6	pkgconfig	2.0.3	Gatinho PKG	0.1.5
carregamento de pacotes	1.0.2	plogr	0.2.0	plyr	1.8.5
elogio	1.0.0	unidades bonitas	1.1.1	ProC	1.16.1
processa	3.4.2	prodlim	13/11/2019	progresso	1.2.2
promessas	1.1.0	proto	1.0.0	ps	1.3.2
ronronar	0.3.3	quantreg	5,54	R. métodos S3	1.8.0
R.oo	1,23,0	R. utils	2.9.2	r2d3	0.2.3
R6	2.4.1	Floresta aleatória	4,6-14	corredeiras	0.3.1
rcmdcheck	1.3.3	Cervejaria RColor	1,1-2	Rcpp	1.0.3
RCP Pegen	0.3.3.7.0	Curl	1,98-1,1	leitor	1.3.1
readxl	1.3.1	receitas	0.1.9	revanche	1.0.1
controles remotos	2.1.1	remodelar 2	1.4.3	rex	1.1.2
rio	0,5.16	rlang	0.4.4	RODBC	1,3-16
roxigênio2	7.0.2	rpartem	4,1-15	rprojroot	1,3-2
Reservar	1,8-6	RSQLite	2.2.0	API do estúdio	0,11
reversões	2.0.1	escala	1.1.0	informações da sessão	1.1.1
forma	1.4.4	brilhante	1.4.0	ferramentas de origem	0.1.7
espião	1,4-0	Sparklyr	1.1.0	SparkR	2.4.5
SPARSEM	1,78	espacial	7,3-11	splines	3.6.3
sqldf	0,4-11	QUADRADO	2020,2	statmod	1,4,34
estatísticas	3.6.3	estatísticas4	3.6.3	stringi	1.4.6
longarina	1.4.0	sobrevivência	2,44-1,1	diz	3.3
tcltk	3.6.3	Demonstrações de ensino	2,10	teste isso	2.3.1
petiscar	2.1.3	arrumado	1.0.2	seleção arrumada	1.0.0
Hora/Data	3043,102	Ferramentas	3.6.3	use isso	1.5.1
utf 8	1.1.4	utilidades	3.6.3	vctrs	0.2.3
Viridis Lite	0.3.0	bigode	0,4	murchar	2.1.2
xml2	1.2.2	xopen	1.0.0	x estável	1,8-4
yaml	2.2.1	compactar	2.0.4

Instalei Java e Scala biblioteca (versão de clusteringScala 2.11)

ID do grupo	ID do artefato	Versão
chifre	chifre	2.7.7
com.amazonaws	Amazon-kinesis-client	1.8.10
com.amazonaws	aws-java-sdk-autoscale	1,11.595
com.amazonaws	formação de nuvem aws-java-sdk	1,11.595
com.amazonaws	aws-java-sdk-cloudfront	1,11.595
com.amazonaws	aws-java-sdk-cloudhsm	1,11.595
com.amazonaws	aws-java-sdk-cloudsearch	1,11.595
com.amazonaws	aws-java-sdk-cloudtrail	1,11.595
com.amazonaws	aws-java-sdk-cloudwatch	1,11.595
com.amazonaws	métricas aws-java-sdk-cloudwatch	1,11.595
com.amazonaws	aws-java-sdk-codedeploy	1,11.595
com.amazonaws	identidade cognitiva aws-java-sdk	1,11.595
com.amazonaws	aws-java-sdk-cognitosync	1,11.595
com.amazonaws	aws-java-sdk-config	1,11.595
com.amazonaws	aws-java-sdk-core	1,11.595
com.amazonaws	pipeline de dados aws-java-sdk	1,11.595
com.amazonaws	aws-java-sdk-conexão direta	1,11.595
com.amazonaws	diretório aws-java-sdk	1,11.595
com.amazonaws	aws-java-sdk-dynamodb	1,11.595
com.amazonaws	aws-java-sdk-ec2	1,11.595
com.amazonaws	aws-java-sdk-ecs	1,11.595
com.amazonaws	aws-java-sdk-efs	1,11.595
com.amazonaws	aws-java-sdk-elasticache	1,11.595
com.amazonaws	aws-java-sdk-elasticbeanstalk	1,11.595
com.amazonaws	balanceamento de carga elástico aws-java-sdk	1,11.595
com.amazonaws	transcodificador elástico aws-java-sdk-	1,11.595
com.amazonaws	aws-java-sdk-emr	1,11.595
com.amazonaws	aws-java-sdk-glacier	1,11.595
com.amazonaws	aws-java-sdk-glue	1,11.595
com.amazonaws	aws-java-sdk-iam	1,11.595
com.amazonaws	aws-java-sdk-importação/exportação	1,11.595
com.amazonaws	aws-java-sdk-kinesis	1,11.595
com.amazonaws	aws-java-sdk-kms	1,11.595
com.amazonaws	aws-java-sdk-lambda	1,11.595
com.amazonaws	aws-java-sdk-logs	1,11.595
com.amazonaws	aws-java-sdk - aprendizado de máquina	1,11.595
com.amazonaws	aws-java-sdk-opsworks	1,11.595
com.amazonaws	aws-java-sdk-rds	1,11.595
com.amazonaws	aws-java-sdk-redshift	1,11.595
com.amazonaws	aws-java-sdk-route53	1,11.595
com.amazonaws	aws-java-sdk-s3	1,11.595
com.amazonaws	aws-java-sdk-ses	1,11.595
com.amazonaws	aws-java-sdk-simpledb	1,11.595
com.amazonaws	aws-java-sdk - fluxo de trabalho simples	1,11.595
com.amazonaws	aws-java-sdk-sns	1,11.595
com.amazonaws	aws-java-sdk-sqs	1,11.595
com.amazonaws	aws-java-sdk-ssm	1,11.595
com.amazonaws	gateway de armazenamento aws-java-sdk	1,11.595
com.amazonaws	aws-java-sdk-sts	1,11.595
com.amazonaws	suporte aws-java-sdk	1,11.595
com.amazonaws	aws-java-sdk-swf-biblioteca	1.11.22
com.amazonaws	aws-java-sdk-workspace	1,11.595
com.amazonaws	jmespath-java	1,11.595
com.carrotsearch	hppc	0.7.2
com.chuusai	sem forma_2.11	2.3.2
com.clearspring.analítica	transmissão	2.7.0
com.databricks	Reservar	1,8-3
com.databricks	dbml-local_2.11	0.5.0-db8-spark2.4
com.databricks	testes dbml-local_2.11	0.5.0-db8-spark2.4
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	plugin_2.11	0,4.15-9
com.databricks.scalapb	scalapb-runtime_2.11	0,4.15-9
com.esotérico software	crio-sombreado	4.0.2
com.esotérico software	minlog	1.3.0
com.fasterxml	colega de classe	1.0.0
com.fasterxml.jackson.core	jackson-anotação	2.6.7
com.fasterxml.jackson.core	jackson-core	2.6.7
com.fasterxml.jackson.core	vinculação de dados jackson	2.6.7.3
formato de dados com.fasterxml.jackson.	formato de dados jackson-cbor	2.6.7
com.fasterxml.jackson.tipo de dados	jackson-datatype-joda	2.6.7
com.fasterxml.jackson.module	parâmetro do módulo jackson	2.6.7
com.fasterxml.jackson.module	jackson-module-Scala.11	2.6.7.1
com.github.fommil	descarregador	1.1
com.github.fommil.netlib	abdômen	1.1.2
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java-nativos	1.1
com.github.fommil.netlib	sistema_nativo-java	1.1
com.github.fommil.netlib	native_system-java-natives	1.1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1.1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1.1
com.github.luben	zstd-jni	1,3.2-2
com.github.rwl	jtransforma	2.4.0
com.google.code.findbugs	jsr305	2.0.1
com.google.code.gson	gson	2.2.4
com.google.goiaba	goiaba	15,0
com.google.protobuf	protobuf-java	2.6.1
com.googlecode.javaewah	Java Ewah	0.3.2
banco de dados com.h2	h2	1,3,174
com.jcraft	jsch	0,1,50
com.jolbox	bonecp	VERSÃO 0.8.0.
com.microsoft.azure	azure-data lake-store-sdk	2.2.8
com.microsoft.azure	armazenamento do azure	7.0.0
com.microsoft.sqlserver	mssql-JDBC	6.2.2. jre8
comendo	comprimir-lzf	1.0.3
com.sun.mail	javax.mail	1.5.2
com.thoughtworks.paranamer	paranâmero	2.8
com.trueaccord.lenses	lentes_2.11	0,3
com.Twitter	chill-java	0.9.3
com.Twitter	chill_2.11	0.9.3
com.Twitter	pacote parquet-hadoop	1.6.0
com.Twitter	util-app_2.11	6,23,0
com.Twitter	util-core_2.11	6,23,0
com.Twitter	util-jvm_2.11	6,23,0
com.typesafe	configuração	1.2.1
com.typesafe.Scala-logging	Scala-logging-api_2.11	2.1.2
com.typesafe.Scala-logging	Scala-logging-slf4j_2.11	2.1.2
com.univocidade	analisadores de univocidade	2.7.3
com.vlkan	tampões planos	1,2,0-3f79e055
com.zaxxer	HikaricP	3.1.0
folhas de feijão comum	folhas de feijão comum	1.9.4
comum-CLI	comum-CLI	1.2
codec comum	codec comum	1,10
coleções comuns	coleções comuns	3.2.2
configuração comum	configuração comum	1,6
commons-dbcp	commons-dbcp	1.4
digestor comum	digestor comum	1,8
upload de arquivo commons	upload de arquivo commons	1.3.3
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2,4
linguagem comum	linguagem comum	2.6
registro de bens comuns	registro de bens comuns	1.1.3
commons-net	commons-net	3.1
comum-pool	comum-pool	1.5.4
info.ganglia.gmetric4j	gmetric4j	1.0.7
io. airlift	compressor de ar	0,10
io.dropwizard.métricas	núcleo de métricas	3.1.5
io.dropwizard.métricas	métricas-ganglia	3.1.5
io.dropwizard.métricas	métricas-grafite	3.1.5
io.dropwizard.métricas	métricas-healthchecks	3.1.5
io.dropwizard.métricas	métricas-jetty9	3.1.5
io.dropwizard.métricas	métricas-JSON	3.1.5
io.dropwizard.métricas	métricas-JVM	3.1.5
io.dropwizard.métricas	métricas-log4j	3.1.5
io.dropwizard.métricas	métricas-servlets	3.1.5
io.netty	urtiga	3.9.9. Final
io.netty	tudo	4.1.42. Final
javax.ativação	ativação	1.1.1
javax.anotação	javax.anotação-api	1.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.servlet	javax.servlet-api	3.1.0
javax.servlet.jsp	jsp-api	2.1
javax.transaction	jta	1.1
javax.validação	API de validação	1.1.0. Final
javax.ws.rs	javax.ws.rs-api	2.0.1
javax.xml.bind	jaxb-api	2.2.2
javax.xml.transmissão	stax-api	1,0-2
javolução	javolução	5.5.1
junte-se	junte-se	2.14.6
hora do dia	hora do dia	2.9.3
unidade	unidade	4,12
log4j	apache-log4j-extras	1.2.17
log4j	log4j	1.2.17
net.hydromatic	propriedades de base própria	1.1.5
net.razorvine	pirolita	4,13
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	supercsv	2.2.0
net.snowflake	SDK de ingestão de flocos de neve	0.9.6
net.snowflake	floco de neve-JDBC	3.12.0
net.snowflake	floco de neve faísca_2.11	2.5.9-spark_2.4
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt	no CRPC	1.0.7
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.4
org.antlr	antlr4-runtime	4.7
org.antlr	modelo de string	3.2.1
org.apache.ant	formiga	1.9.2
org.apache.ant	formiga	1.9.2
org.apache.ant	lançador de formigas	1.9.2
org.apache.arrow	formato de seta	0.10.0
org.apache.arrow	memória de seta	0.10.0
org.apache.arrow	vetor de seta	0.10.0
org.apache.avro	AVRO	1.8.2
org.apache.avro	avro-ipc	1.8.2
org.apache.avro	avro-mapred-hadoop2	1.8.2
org.apache.calcite	calcita-avática	1.2.0 - incubação
org.apache.calcite	núcleo de calcita	1.2.0 - incubação
org.apache.calcite	calcita-linq4j	1.2.0 - incubação
org.apache.commons	compressa comum	1.8.1
org.apache.commons	criptomoeda comum	1.0.0
org.apache.commons	commons-lang3	3,5
org.apache.commons	commons-math3	3.4.1
org.apache.curator	curador-cliente	2.7.1
org.apache.curator	estrutura de curador	2.7.1
org.apache.curator	receitas de curadores	2.7.1
org.apache.derby	derby	10.12.1.1
org.apache.directory.api	api-asn1-api	1,0,0-M20
org.apache.directory.api	utilitário de API	1,0,0-M20
org.apache.directory.server	apacheds-i18n	2,0,0-M15
org.apache.directory.server	codec apacheds-kerberos	2,0,0-M15
org.apache.hadoop	hadoop-anotação	2.7.3
org.apache.hadoop	autenticação hadoop	2.7.3
org.apache.hadoop	cliente hadoop	2.7.3
org.apache.hadoop	hadoop-comum	2.7.3
org.apache.hadoop	hadoop-HDFS	2.7.3
org.apache.hadoop	aplicativo cliente hadoop mapreduce	2.7.3
org.apache.hadoop	hadoop-mapreduce-client-common	2.7.3
org.apache.hadoop	núcleo do cliente hadoop-mapreduce	2.7.3
org.apache.hadoop	hadoop-mapreduce-client-jobclient	2.7.3
org.apache.hadoop	hadoop-mapreduce-client-shuffle	2.7.3
org.apache.hadoop	API hadoop yarn	2.7.3
org.apache.hadoop	cliente hadoop-yarn	2.7.3
org.apache.hadoop	hadoop-yarn-common	2.7.3
org.apache.hadoop	servidor hadoop-yarn-comum	2.7.3
org.apache.htrace	htrace-core	3.1.0 - incubação
org.apache.httpcomponents	cliente http	4.5.6
org.apache.httpcomponents	httpcore	4.4.10
org.apache.ivy	hera	2.4.0
org.apache.orc	orc-core-no-hive	1.5.5
org.apache.orc	orc-mapreduce-nohive	1.5.5
org.apache.orc	calços de orc	1.5.5
org.apache.parquet	coluna de parquete	1.10.1.2 - blocos de dados 4
org.apache.parquet	parquete comum	1.10.1.2 - blocos de dados 4
org.apache.parquet	codificação de parquet	1.10.1.2 - blocos de dados 4
org.apache.parquet	formato de parquet	2.4.0
org.apache.parquet	parquet-hadoop	1.10.1.2 - blocos de dados 4
org.apache.parquet	parquet-jackson	1.10.1.2 - blocos de dados 4
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.9.3
org.apache.xbean	xbean-asm6 sombreado	4,8
org.apache.zookeeper	tratador	3.4.6
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-jaxers	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.jackson	jackson-xc	1.9.13
org.codehaus.janino	compilador common	3.0.10
org.codehaus.janino	janino	3.0.10
org.datanucleus	núcleo de dados-api-jdo	3.2.6
org.datanucleus	núcleo de dados	3.2.10
org.datanucleus	núcleo de dados-rdbms	3.2.9
org.Eclipse.jetty	jetty-client	9.3.27.v 20190418
org.Eclipse.jetty	continuação do cais	9.3.27.v 20190418
org.Eclipse.jetty	jetty-http	9.3.27.v 20190418
org.Eclipse.jetty	jetty-io	9.3.27.v 20190418
org.Eclipse.jetty	jetty-jndi	9.3.27.v 20190418
org.Eclipse.jetty	jetty-plus	9.3.27.v 20190418
org.Eclipse.jetty	jetty-proxy	9.3.27.v 20190418
org.Eclipse.jetty	segurança do cais	9.3.27.v 20190418
org.Eclipse.jetty	servidor jetty-server	9.3.27.v 20190418
org.Eclipse.jetty	jutty-servlet	9.3.27.v 20190418
org.Eclipse.jetty	píer de servlets	9.3.27.v 20190418
org.Eclipse.jetty	jetty-util	9.3.27.v 20190418
org.Eclipse.jetty	aplicativo web jetty-	9.3.27.v 20190418
org.Eclipse.jetty	jetty-xml	9.3.27.v 20190418
org.fusesource.leveldbjni	leveldbjni-tudo	1,8
org.glassfish.hk2	API hk2	2.4.0-b34
org.glassfish.hk2	localizador hk2	2.4.0-b34
org.glassfish.hk2	hk2-utils	2.4.0-b34
org.glassfish.hk2	osgi-recurso-locator	1.0.1
org.glassfish.hk2.external	aopalliance - reembalado	2.4.0-b34
org.glassfish.hk2.external	javax.inject	2.4.0-b34
org.glassfish.jersey.bundles.reembalado	jersey-goiaba	2.22.2
org.glassfish.jersey.containers	servlet de contêiner de camisa	2.22.2
org.glassfish.jersey.containers	jersey-container-servlet-core	2.22.2
org.glassfish.jersey.core	cliente de camisa	2.22.2
org.glassfish.jersey.core	camiseta comum	2.22.2
org.glassfish.jersey.core	servidor de camisa	2.22.2
org.glassfish.jersey.media	jersey-media-jaxb	2.22.2
org.hamcrest	núcleo da hamcrista	1.3
org.hamcrest	biblioteca de hamcrest	1.3
org.hibernate	validador de hibernação	5.1.1. Final
org.iq80.snappy	atrevida	0,2
org.javassist	javassist	3.18.1-GA
org.jboss.logging	registro de jboss-logging	3.1.3. GA
org.jdbi	jdbi	2.63,1
org.joda	conversor de joda	1.7
org.jodd	núcleo nodular	3.5.2
org.json4s	json4s-ast_2.11	3.5.3
org.json4s	json4s-core_2.11	3.5.3
org.json4s	json4s-jackson_2.11	3.5.3
org.json4s	json4s-scalap_2.11	3.5.3
org.lz4	lz4-java	1.4.0
org.mariadb.JDBC	cliente mariadb-java	2.1.2
org.mockito	mockito-core	1,10,19
org.objenesis	objênese	2.5.1
org.postgresql	PostgreSQL	42,14
org.roaringbitmap	Mapa de bits estrondoso	0,7,45
org.roaringbitmap	calços	0,7,45
org.rocksdb	rocksdbjni	6.2.2
org.rosuda.rEngine	Motor	2.1.0
org.Scala-lang	Scala-compiler_2.11	2.11.12
org.Scala-lang	Scala-biblioteca.11	2.11.12
org.Scala-lang	Scala-reflect_2.11	2.11.12
org.Scala-lang.modules	Scala-parser-combinators_2.11	1.1.0
org.Scala-lang.modules	Scala-xml_2.11	1.0.5
org.Scala-sbt	interface de teste	1,0
org.scalacheck	scalacheck_2.11	1,12.5
org.scalactic	scalactic_2.11	3.0.3
org.scalanlp	breeze-macros_2.11	0,13.2
org.scalanlp	breeze_2.11	0,13.2
org.scalatest	scalatest_2.11	3.0.3
org.slf4j	jcl-over-slf4j	1.7.16
org.slf4j	jul-a-slf4j	1.7.16
org.slf4j	slf4j-api	1.7.16
org.slf4j	slf4j-log4j12	1.7.16
org.spark-project.hive	hive-beeline	1.2.1. spark2
org.spark-project.hive	colmeia-CLI	1.2.1. spark2
org.spark-project.hive	hive-JDBC	1.2.1. spark2
org.spark-project.hive	Hive metastore	1.2.1. spark2
org.spark-project.spark	não utilizado	1.0.0
org.spire-math	spire-macros_2.11	0,13,0
org.spire-math	spire_2.11	0,13,0
org.springframework	núcleo de mola	4.1.4. LANÇAMENTO
org.springframework	teste de primavera	4.1.4. LANÇAMENTO
org.tukaani	xz	1.5
org.typelevel	maquinista_2.11	0.6.1
org.typelevel	macro-compat_2.11	1.1.1
org.xerial	sqlite-JDBC	3.8.11.2
org.xerial.snappy	snappy-java	1.1.7.3
org.yaml	snakeyaml	1,16
oro	oro	2.0.8
software.Amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1
xmlenc	xmlenc	0,52

Novo recurso​

operações métricas para todas as gravações, atualizações e exclusões em uma tabela Delta agora são mostradas na história da tabela​

Limite de taxa dos dados processados em Delta Lake transmissão micro-lotes​

Melhorias​

Conector Snowflake atualizado para a versão 2.5.9​

Java atualizado para 1.8.0_242​

S3 Select connector: correção de sintaxe para DECIMAL e CASE WHEN​

Kinesis fonte de transmissão lança tarefa de tamanho mais eficiente​

Biblioteca R atualizada​

Depreciações​

Apache Spark​

Atualizações de manutenção​

Ambiente do sistema​

Instalado Python biblioteca​

Instalou a R biblioteca​

Instalei Java e Scala biblioteca (versão de clusteringScala 2.11)​