Databricks Runtime 4.1 (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

A Databricks lançou essa versão em maio de 2018.

important

Esta versão foi descontinuada em 17 de janeiro de 2019. Para obter mais informações sobre a política de descontinuidade e programação do Databricks Runtime, consulte Databricks support lifecycles.

As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 4.1, desenvolvido por Apache Spark.

Delta Lake

A versão 4.1 do Databricks Runtime adiciona grandes melhorias de qualidade e funcionalidade ao Delta Lake. A Databricks recomenda enfaticamente que todos os clientes do Delta Lake atualizem para o novo tempo de execução. Essa versão permanece na versão prévia privada, mas representa uma versão candidata em antecipação à próxima versão de disponibilidade geral (GA).

Alterações importantes

• Databricks Runtime O 4.1 inclui alterações no protocolo de transação para permitir novos recursos, como a validação. As tabelas criadas com o Databricks Runtime 4.1 usam automaticamente a nova versão e não podem ser gravadas em versões anteriores do Databricks Runtime. Você deve atualizar as tabelas existentes para aproveitar essas melhorias. Para atualizar uma tabela existente, primeiro atualize todos os trabalhos que estão gravando na tabela. Depois, a execução:

  Scala

  com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")

  Consulte How does Databricks gerenciar Delta Lake recurso compatibility? para obter mais informações.

• As gravações agora são validadas com base no esquema atual da tabela, em vez de adicionar automaticamente as colunas que estão faltando na tabela de destino. Para ativar o comportamento anterior, defina a opção mergeSchema como true.

• Se o senhor estiver executando versões anteriores do Databricks Delta, deverá atualizar todos os trabalhos antes de usar o Databricks Runtime 4.1. Se o senhor encontrar um desses erros, atualize para o Databricks Runtime 4.1:

  java.lang.NumberFormatException: For input string: "00000000000000....crc"
  scala.MatchError

• As tabelas não podem mais ter colunas que diferem apenas por maiúsculas e minúsculas.

• As configurações de tabela específicas do Delta agora devem ser prefixadas com delta.

Novo recurso

• Gerenciamento de esquema - O Databricks Delta agora valida acréscimos e substituições em uma tabela existente para garantir que o esquema que está sendo gravado corresponda ao esquema.

  • Databricks Delta continua a suportar a evolução automática do esquema.
  • O Databricks Delta agora suporta o seguinte DDL para modificar o esquema explicitamente:
    • ALTER TABLE ADD COLUMN para adicionar novas colunas a uma tabela
    • ALTER TABLE CHANGE COLUMNS para alterar a ordem das colunas
    • ALTER TABLE [SET|UNSET] TBLPROPERTIES

  Para obter detalhes, consulte imposição de esquema.

• Suporte aprimorado de DDL e tabela

  • Suporte total para tabelas DDL e saveAsTable(). save() e saveAsTable() agora têm semânticas idênticas.
  • Todos os comandos DDL e DML suportam tanto o nome da tabela quanto delta.`<path-to-table>` .
  • SHOW PARTITIONS
  • SHOW COLUMNS
  • DESC TABLE
  • Informações detalhadas da tabela - O senhor pode ver as versões atuais do leitor e do gravador de uma tabela executando DESCRIBE DETAIL. Consulte Como Databricks o Delta Lake senhor pode gerenciar a compatibilidade do recurso?
  • Detalhes da tabela - As informações de proveniência agora estão disponíveis para cada gravação em uma tabela. A barra lateral Data também mostra informações detalhadas da tabela e o histórico das tabelas do site Databricks Delta. Veja os detalhes da tabela Review Delta Lake com detalhes descritivos.
  • Tabelas de transmissão - a transmissão DataFrames pode ser criada usando spark.readStream.format("delta").table("<table-name>").
  • Tabelas somente com anexos - O site Databricks Delta agora oferece suporte à governança básica de dados. Você pode bloquear exclusões e modificações em uma tabela definindo a propriedade da tabela delta.appendOnly=true.
  • MERGE INTO source - Adiciona um suporte mais abrangente à especificação de consulta de origem de MERGE. Por exemplo, você pode especificar LIMIT, ORDER BY e INLINE TABLE na fonte.
  • Suporte total para ACLs de tabela.

Melhorias no desempenho

• Redução da sobrecarga de coleta de estatísticas - A eficiência da coleta de estatísticas foi aprimorada e agora as estatísticas são coletadas apenas para um número configurável de colunas, definido como 32 em default. O desempenho de gravação do Databricks Delta foi aprimorado em até duas vezes devido à redução da sobrecarga de coleta de estatísticas. Para configurar o número de colunas, defina a propriedade da tabela delta.dataSkippingNumIndexedCols=<number-of-columns>.
• Suporte para limit push down - As estatísticas são usadas para limitar o número de arquivos escaneados em busca de consultas que tenham LIMIT e predicados sobre colunas de partição. Isso é aplicável a consultas no Notebook devido ao limit=1000 implícito em vigor para todos os comandos do Notebook.
• Filtro pushdown na fonte de transmissão - as consultas de transmissão agora usam o particionamento ao iniciar uma nova transmissão para ignorar dados irrelevantes.
• Paralelismo aprimorado para OPTIMIZE - OPTIMIZE agora é executado como uma única Spark tarefa e usará todo o paralelismo disponível no clustering (anteriormente era limitado a 100 arquivos compactados por vez).
• Ignorando dados em DML - UPDATE, DELETE e MERGE agora usam estatísticas ao localizar arquivos que precisam ser reescritos.
• Prefixos aleatórios do S3 - Para evitar pontos quentes nos metadados do S3 para tabelas grandes, agora o senhor pode definir a propriedade da tabela delta.randomizeFilePrefixes=true.
• Redução da retenção de pontos de controle - os pontos de controle agora são retidos por dois dias (o histórico ainda é retido por 30) para reduzir os custos de armazenamento da transação log.

Comportamento da API

• O comportamento de insertInto(<table-name>) em Databricks Delta é o mesmo de outras fontes de dados.

  • Se nenhum modo for especificado ou mode for ErrorIfExists, Ignore ou Append, o senhor anexa os dados em DataFrame à tabela Databricks Delta.
  • Se mode for Overwrite, exclui todos os dados da tabela existente e insere os dados de DataFrame na tabela Databricks Delta.

• Se armazenada em cache, a tabela de destino de MERGE deve ser desarmazenada manualmente.

Melhorias na usabilidade

• Validações de migração de carga de trabalho - Erros comuns cometidos ao migrar cargas de trabalho para o Databricks Delta agora lançam uma exceção em vez de falhar:

  • Usando format("parquet") para ler ou escrever uma tabela.
  • Ler ou gravar diretamente em uma partição (ou seja, /path/to/delta/part=1).
  • vacuum subdiretórios de uma tabela.
  • INSERT OVERWRITE DIRECTORY usando o Parquet em uma mesa.

• Configuração sem distinção entre maiúsculas e minúsculas - As opções das propriedades do DataFrame Reader/Writer e da tabela agora não diferenciam maiúsculas e minúsculas (incluindo o caminho de leitura e o caminho de gravação).

• Nomes das colunas - Os nomes das colunas da tabela agora podem incluir pontos.

Problemas conhecidos

atenção

As gravações em uma única tabela devem se originar de um único clustering. Há suporte experimental para gravações de vários clusters no mesmo workspace. Entre em contato com o suporte da Databricks se estiver interessado em experimentar esse recurso.

• As inserções de declarações com várias inserções estão em diferentes unidades de trabalho, e não na mesma transação.

Correções de bugs

• Foi corrigido um loop infinito ao iniciar uma nova transmissão em uma tabela de atualização rápida.

Depreciações

A transmissão estruturada não trata a entrada que não seja um append e lança uma exceção se ocorrer alguma modificação na tabela que está sendo usada como fonte. Anteriormente, você podia substituir esse comportamento usando o sinalizador ignoreFileDeletion, mas agora ele está obsoleto. Em vez disso, use ignoreDeletes ou ignoreChanges. Veja a tabela Delta como uma fonte.

Outras mudanças e melhorias

• Query Watchdog está ativado para todos os clusters todo-propósito criados usando a UI.

• Desempenho aprimorado do lado do driver para o cache DBIO

• Desempenho aprimorado para a decodificação Parquet por meio de um novo decodificador Parquet nativo

• Desempenho aprimorado para eliminação de subexpressões comuns

• Melhoria no desempenho de ignorar dados para tabelas grandes que unem tabelas pequenas (união de tabelas de dimensão de fatos)

• display() agora renderiza colunas contendo tipos de dados de imagem como HTML avançado.

• Nova fonte de dados s3select para aproveitar o S3 Select

• Aprimoramentos nos modelos de MLflow de log, carga e registro

  • Atualizou o dbml-local para a versão mais recente 0.4.1
  • Corrigido o erro com modelos exportados com o parâmetro threshold especificado
  • Adicionado suporte para exportação de OneVsRestModel, GBTClassificationModel

• Atualizou alguns instalados Python biblioteca:

  • pip: de 9.0.1 a 10.0.0b2
  • ferramentas de configuração: de 38.5.1 a 39.0.1
  • tornado: 4.5.3 a 5.0.1
  • roda: 0,30,0 a 0,31,0

• Atualizou várias instalações da R biblioteca. Consulte R biblioteca instalada.

• Atualização do AWS Java SDK de 1.11.253 para 1.11.313.

• Atualização do SDK do Azure Data Lake Store de 2.0.11 para 2.2.8.

• Atualizamos o CUDA de 8.0 para 9.0 e o CUDNN de 6.0 para 7.0 para clustering de GPU.

• Para o clustering de GPU, as métricas de GPU agora aparecem na UI Ganglia de métricas de clustering.

Apache Spark

O Databricks Runtime 4.1 inclui o Apache Spark 2.3.0. Esta versão inclui todas as correções e melhorias incluídas no Databricks Runtime 4.0 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-24007][SQL] EqualNullSafe para FloatType e DoubleType pode gerar um resultado errado por codegen.
• [SPARK-23942][Python][SQL] Faz a coleta em PySpark como ação para uma consulta executor listener
• [SPARK-23815][CORE] O modo de substituição de partição dinâmica do Spark Writer pode falhar ao gravar a saída em uma partição de vários níveis
• [SPARK-23748] [SS] Corrigir o processo contínuo SS não suporta o problema SubqueryAlias
• [SPARK-23963][SQL] Manipula adequadamente um grande número de colunas na consulta da tabela Hive baseada em texto
• [SPARK-23867][programador] use droppedCount in logWarning
• [SPARK-23816][CORE] A tarefa morta deve ignorar FetchFailures.
• [SPARK-23809][SQL] A Active SparkSession deve ser definida por getOrCreate
• [SPARK-23966] [SS] Refatorando toda a lógica de gravação de arquivos de ponto de verificação em uma interface comum do CheckpointFileManager
• [SPARK-21351][SQL] Atualizar a anulabilidade com base na saída dos filhos
• [SPARK-23847][Python][SQL] Adicionar asc_nulls_first, asc_nulls_last ao PySpark
• [SPARK-23822][SQL] Melhorar a mensagem de erro para incompatibilidades de esquema do Parquet
• [SPARK-23823][SQL] Manter a origem em transformExpression
• [SPARK-23838][WEBUI] A execução da consulta SQL é exibida como "concluída" em SQL tab
• [SPARK-23802][SQL] PropagateEmptyRelation pode deixar o plano de consulta em um estado não resolvido
• [SPARK-23727][SQL] Suporte para filtros push down para DateType em Parquet
• [SPARK-23574][SQL] Reportar SinglePartition em DataSourceV2ScanExec quando há exatamente 1 fábrica de leitores de dados.
• [SPARK-23533] [SS] Adicionar suporte para alterar o startOffset do ContinuousDataReader
• [SPARK-23491][SS] Remover o cancelamento explícito do trabalho da reconfiguração do ContinuousExecution
• [SPARK-23040] [CORE] Retorna o iterador interruptível para o leitor aleatório
• [SPARK-23827] [SS] StreamingJoinExec deve garantir que os dados de entrada sejam particionados em um número específico de partições
• [SPARK-23639][SQL] Obter tokens antes de iniciar o cliente do metastore no SparkSQL CLI
• [SPARK-23806]Broadcast.unpersist pode causar uma exceção fatal quando usado...
• [SPARK-23599][SQL] Use RandomUUIDGenerator na expressão Uuid
• [SPARK-23599][SQL] Adicionar um gerador de UUID a partir de números pseudo-aleatórios
• [SPARK-23759][UI] Unable to bind Spark UI to specific host name / IP
• [SPARK-23769] [CORE] Remova comentários que desativam desnecessariamente a verificação do Scalastyle
• [SPARK-23614][SQL] Corrige a troca de reutilização incorreta quando o cache é usado
• [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs deve salvar/restaurar o estado CSE corretamente
• [SPARK-23729] [CORE] Respeite o fragmento URI ao resolver globos
• [SPARK-23550] [CORE] Utilitários de limpeza
• [SPARK-23288][SS] Corrigir métricas de saída com Parquet sink
• [SPARK-23264][SQL] Corrigir Scala.MatchError em literals.sql.out
• [SPARK-23649][SQL] Ignorando caracteres não permitidos em UTF-8
• [SPARK-23691][Python] Use o utilitário sql_conf nos testes PySpark sempre que possível
• [SPARK-23644][CORE][UI] Use o caminho absoluto para a chamada REST no SHS
• [SPARK-23706][Python] spark.conf.get(value, default=None) deve produzir None no PySpark
• [SPARK-23623][SS] Evite o uso concorrente de consumidores em cache no CachedKafkaConsumer
• [SPARK-23670][SQL] Corrigir vazamento de memória no SparkPlanGraphWrapper
• [SPARK-23608][CORE][WEBUI] Adicionar sincronização no SHS entre as funções attachSparkUI e detachSparkUI para evitar problemas de modificação concorrente nos manipuladores do Jetty
• [SPARK-23671][CORE] Corrigir condição para ativar o pool de threads do SHS.
• [SPARK-23658] [LAUNCHER] InProcessAppHandle usa a classe errada no GetLogger
• [SPARK-23642] [DOCS] A subclasse AccumulatorV2 IsZero scaladoc fix
• [SPARK-22915][MLlib] testes de transmissão para spark.ml.recurso, de N para Z
• [SPARK-23598][SQL] Tornar os métodos do BufferedRowIterator públicos para evitar erros de tempo de execução em uma consulta grande
• [SPARK-23546][SQL] Refatorar métodos/valores sem estado no CodegenContext
• [SPARK-23523][SQL] Corrige o resultado incorreto causado pela regra OptimizeMetadataOnlyQuery
• [SPARK-23462][SQL] Melhorar a mensagem de erro de campo ausente no StructType
• [SPARK-23624][SQL] Revisar o documento do método pushFilters no Datasource V2
• [SPARK-23173][SQL] Evite a criação de arquivos Parquet corrompidos ao carregar dados do JSON
• [SPARK-23436][SQL] Inferir a partição como Date somente se ela puder ser convertida em Date
• [SPARK-23406][SS] Habilitar transmissão-transmissão self-join
• [SPARK-23490][SQL] Verificar storage.locationUri com tabela existente em CreateTable
• [SPARK-23524]Grandes blocos aleatórios locais não devem ser verificados quanto à corrupção.
• [SPARK-23525][SQL] Suporte a ALTER TABLE CHANGE COLUMN COMMENT para tabela de colmeia externa
• [SPARK-23434][SQL] O Spark não deve avisar o diretório de metadados para um caminho de arquivo HDFS
• [SPARK-23457][SQL] registro tarefa completion listeners first in ParquetFileFormat
• [SPARK-23329][SQL] Corrigir a documentação das funções trigonométricas
• [SPARK-23569][Python] Permitir que o pandas_udf funcione com funções type-anotar no estilo python3
• [SPARK-23570][SQL] Adicionar Spark 2.3.0 em HiveExternalCatalogVersionsSuite
• [SPARK-23517][Python] Make PySpark.util._exception_message produzir o rastreamento do lado Java pelo Py4JJavaError
• [SPARK-23508] [CORE] Corrija o BlockManagerID caso o BlockManagerIDCache cause zoom
• [SPARK-23448][SQL] Esclarecer o comportamento do analisador de JSON e CSV no documento
• [SPARK-23365][CORE] Não ajuste o executor numérico ao matar o executor parado.
• [SPARK-23438] [DSTREAMS] Corrija a perda de dados do DStreams com o WAL quando o driver falha
• [SPARK-23475] [UI] Mostrar também etapas puladas
• [SPARK-23518][SQL] Evite o acesso ao metastore quando os usuários quiserem apenas ler e gravar quadros de dados
• [SPARK-23406][SS] Habilitar transmissão-transmissão self-join
• [SPARK-23541][SS] Permitir que a fonte Kafka leia dados com maior paralelismo do que o número de partições de artigos
• [SPARK-23097][SQL][SS] Migrar fonte de soquete de texto para V2
• [SPARK-23362][SS] Migrar a fonte do Kafka Microbatch para a v2
• [SPARK-23445] Refatoração de ColumnStat
• [SPARK-23092][SQL] Migrar MemoryStream para APIs DataSourceV2
• [SPARK-23447][SQL] Limpeza do padrão codegen para Literal
• [SPARK-23366]Melhore o caminho de leitura a quente no ReadAheadInputStream
• [SPARK-22624][PySpark] Expor o shuffle de particionamento de intervalo

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 4.1.

Ambiente do sistema

• Sistema operacional : Ubuntu 16.04.4 LTS
• Java : 1.8.0_162
• Scala : 2.11.8
• Python : 2.7.12 para Python 2 clustering e 3.5.2 para Python 3 clustering.
• R : R versão 3.4.4 (2018-03-15)
• Agrupamento de GPUs : As seguintes bibliotecas de GPU NVIDIA estão instaladas:
  • Motorista Tesla 375.66
  • CUDA 9.0
  • cuDNN 7.0

Instalado Python biblioteca

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
ansi2.html	1.1.1	argparse	1.2.1	backports-abc	0.5
Boto	2,42,0	boto3	1.4.1	botocore	1,4,70
cervejaria 2 ml	1.4.1	certifi	2016,2,28	caffi	1.7.0
chardet	2.3.0	colorama	0.3.7	configobj	5.0.6
criptografia	1.5	ciclador	0.10.0	Cython	0,24,1
decorador	4.0.10	docutils	0,14	enum34	1.1.6
arquivo et-xml	1.0.1	freetype-py	1.0.2	funçõs	1.0.2
fusepy	2.0.4	futuros	3.2.0	ggplot	0.6.8
html5lib	0,999	Índia	2.1	endereço IP	1.0.16
ipython	2.2.0	ipython-genutils	0.1.0	jdcal	1.2
Jinja 2	2.8	jmespath	0.9.0	llvmlite	0,13,0
lxml	3.6.4	MarkupSafe	0,23	Matplotlib	1.5.3
mold3	0,2	msgpack-Python	0.4.7	cliente ndg-https	0.3.3
numba	0,28,1	entorpecido	1.11.1	openpyxl	2.3.2
Pandas	0.19.2	pathlib2	2.1.0	bode expiatório	0.4.1
esperar	4.0.1	picles	0.7.4	Travesseiro	3.3.1
pip	10,0,0b2	dobra	3.9	kit de ferramentas de aviso	1.0.7
psycopg2	2.6.2	processo pty	0.5.1	py4j	0.10.3
flecha	0,8.0	pyasn1	0.1.9	pycparser	2,14
Pigmentos	2.1.3	Objeto PYG	3.20.0	PyOpenSSL	16,0.0
análise de pipa	2.2.0	espião	0,0,18	Python	2.7.12
Python-dateutil	2.5.3	Python-geohash	0,8.5	pytz	2016,6,1
pedidos	2.11.1	transferência s3	0.1.9	scikit-learn	0,18.1
pegajoso	0,18.1	esfregar	0,32	marítimo	0.7.1
ferramentas de configuração	39,0,1	simplejson	3.8.2	simples3	1,0
despacho único	3.4.0.3	seis	1.10.0	modelos de estatísticas	0.6.1
tornado	5.0.1	almôndegas	4.3.0	urllib3	1.19.1
ambiente virtual	15.0.1	largura do wc	0.1.7	Python wheel	0,31,0
wsgiref	0.1.2

Instalada a R biblioteca

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
abandam	1,4-5	afirme que	0.2.0	portas traseiras	1.1.2
base	3.4.4	POR	1,66,0-1	fichário	0.1.1
bindrcpp	0.2.2	pouco	1,1-12	bit64	0,9-7
bitops	1,0-6	bolha	1.1.1	inicialização	1,3-20
fermentar	1,0-6	vassoura	0.4.4	carro	3,0-0
Dados do carro	3,0-1	cursor	6,0-79	guarda de celas	1.1.0
crono	2,3-52	Aula	7,3-14	CLIPE	1.0.0
Cluster	2.0.7	ferramentas de código	0,2-15	espaço de cores	1,3-2
marca comum	1.4	compilador	3.4.4	giz de cera	1.3.4
cacho	3.2	CVST	0,2-1	data.tabela	1.10.4-3
conjunto de dados	3.4.4	DBI	0,8	dalpha	1.3.1.1
DeOptimr	1,0-8	desc	1.1.1	ferramentas de desenvolvimento	1,13.5
dicromato	2,0-0	digerir	0,6,15	Vermelho escuro	0.1.0
Dom C	1.3.5	dplyr	0.7.4	DRR	0,0.3
para gatos	0.3.0	para cada um	1.4.4	estrangeira	0,8-69
gbm	2.1.3	ggplot2	2.2.1	git2r	0,21,0
glmnet	2,0-16	cola	1.2.0	goleiro	0.1.2
gráficos	3.4.4	Dispositivos GR	3.4.4	grade	3.4.4
gsubfn	0,7	mesa	0.2.0	h2o	3.16.0.2
refúgio	1.1.1	HMS	0.4.2	httr	1.3.1
escritor	1.3.2	HWriter Plus	1,0-3	ipred	0,9-6
iteradores	1.0.9	jsonlite	1.5	kernlab	0,9-25
Kern Smooth	2,23-15	rótulo	0,3	treliça	0,20-35
lava	1.6.1	preguiçoso	0.2.1	mais pequeno	0.3.3
lme4	1,1-17	lubrificar	1.7.3	magritter	1.5
mapproj	1.2.6	mapeia	3.3.0	ferramentas de mapa	0,9-2
MASSA	7,3-49	Matriz	1,2-13	Modelos matriciais	0,4-1
memoise	1.1.0	métodos	3.4.4	mgcv	1,8-23
mímica	0.5	mina	1.2.4	norma	1,5-5
Métricas do modelo	1.1.0	munsell	0.4.3	norma mvt	1,0-7
nome	3,1-137	nloptr	1.0.4	net	7,3-12
Número Deriv	2016,8-1	openssl	1.0.1	openxlsx	4.0.17
paralelo	3.4.4	teste pbkr	0,4-7	pilar	1.2.1
pkgconfig	2.0.1	Gatinho PKG	0.1.4	plogr	0.2.0
plyr	1.8.4	elogio	1.0.0	unidades bonitas	1.0.2
ProC	1.11.0	prodlim	1.6.1	proto	1.0.0
psicótico	1.8.3.3	ronronar	0.2.4	quantreg	5,35
R. métodos S3	1.7.1	R.oo	1,21,0	R. utils	2.6.0
R6	2.2.2	Floresta aleatória	4,6-14	Cervejaria RColor	1,1-2
Rcpp	0,12,16	RCP Pegen	0.3.3.4.0	RCPP Roll	0.2.2
Curl	1,95-4,10	leitor	1.1.1	readxl	1.0.0
receitas	0.1.2	revanche	1.0.1	remodelar 2	1.4.3
rio	0.5.10	rlang	0.2.0	base robusta	0,92-8
RODBC	1,3-15	roxigênio2	6.0.1	rpartem	4,1-13
rprojroot	1,3-2	Reservar	1,7-3	RSQLite	2.1.0
API do estúdio	0,7	escala	0.5.0	sfsmisc	1,1-2
espião	1,2-7	SparkR	2.3.0	SPARSEM	1,77
espacial	7,3-11	splines	3.4.4	sqldf	0,4-11
QUADRADO	2017,10-1	statmod	1,4,30	estatísticas	3.4.4
estatísticas4	3.4.4	stringi	1.1.7	longarina	1.3.0
sobrevivência	2,41-3	tcltk	3.4.4	Demonstrações de ensino	2,10
teste isso	2.0.0	petiscar	1.4.2	arrumado	0,8.0
seleção arrumada	0.2.4	Hora/Data	3043,102	Ferramentas	3.4.4
utf 8	1.1.3	utilidades	3.4.4	Viridis Lite	0.3.0
bigode	0,3-2	murchar	2.1.2	xml2	1.2.0

Instalei Java e Scala biblioteca (versão de clusteringScala 2.11)

ID do grupo	ID do artefato	Versão
chifre	chifre	2.7.7
com.amazonaws	Amazon-kinesis-client	1.7.3
com.amazonaws	aws-java-sdk-autoscale	1,11.313
com.amazonaws	formação de nuvem aws-java-sdk	1,11.313
com.amazonaws	aws-java-sdk-cloudfront	1,11.313
com.amazonaws	aws-java-sdk-cloudhsm	1,11.313
com.amazonaws	aws-java-sdk-cloudsearch	1,11.313
com.amazonaws	aws-java-sdk-cloudtrail	1,11.313
com.amazonaws	aws-java-sdk-cloudwatch	1,11.313
com.amazonaws	métricas aws-java-sdk-cloudwatch	1,11.313
com.amazonaws	aws-java-sdk-codedeploy	1,11.313
com.amazonaws	identidade cognitiva aws-java-sdk	1,11.313
com.amazonaws	aws-java-sdk-cognitosync	1,11.313
com.amazonaws	aws-java-sdk-config	1,11.313
com.amazonaws	aws-java-sdk-core	1,11.313
com.amazonaws	pipeline de dados aws-java-sdk	1,11.313
com.amazonaws	aws-java-sdk-conexão direta	1,11.313
com.amazonaws	diretório aws-java-sdk	1,11.313
com.amazonaws	aws-java-sdk-dynamodb	1,11.313
com.amazonaws	aws-java-sdk-ec2	1,11.313
com.amazonaws	aws-java-sdk-ecs	1,11.313
com.amazonaws	aws-java-sdk-efs	1,11.313
com.amazonaws	aws-java-sdk-elasticache	1,11.313
com.amazonaws	aws-java-sdk-elasticbeanstalk	1,11.313
com.amazonaws	balanceamento de carga elástico aws-java-sdk	1,11.313
com.amazonaws	transcodificador elástico aws-java-sdk-	1,11.313
com.amazonaws	aws-java-sdk-emr	1,11.313
com.amazonaws	aws-java-sdk-glacier	1,11.313
com.amazonaws	aws-java-sdk-iam	1,11.313
com.amazonaws	aws-java-sdk-importação/exportação	1,11.313
com.amazonaws	aws-java-sdk-kinesis	1,11.313
com.amazonaws	aws-java-sdk-kms	1,11.313
com.amazonaws	aws-java-sdk-lambda	1,11.313
com.amazonaws	aws-java-sdk-logs	1,11.313
com.amazonaws	aws-java-sdk - aprendizado de máquina	1,11.313
com.amazonaws	aws-java-sdk-opsworks	1,11.313
com.amazonaws	aws-java-sdk-rds	1,11.313
com.amazonaws	aws-java-sdk-redshift	1,11.313
com.amazonaws	aws-java-sdk-route53	1,11.313
com.amazonaws	aws-java-sdk-s3	1,11.313
com.amazonaws	aws-java-sdk-ses	1,11.313
com.amazonaws	aws-java-sdk-simpledb	1,11.313
com.amazonaws	aws-java-sdk - fluxo de trabalho simples	1,11.313
com.amazonaws	aws-java-sdk-sns	1,11.313
com.amazonaws	aws-java-sdk-sqs	1,11.313
com.amazonaws	aws-java-sdk-ssm	1,11.313
com.amazonaws	gateway de armazenamento aws-java-sdk	1,11.313
com.amazonaws	aws-java-sdk-sts	1,11.313
com.amazonaws	suporte aws-java-sdk	1,11.313
com.amazonaws	aws-java-sdk-swf-biblioteca	1.11.22
com.amazonaws	aws-java-sdk-workspace	1,11.313
com.amazonaws	jmespath-java	1,11.313
com.carrotsearch	hppc	0.7.2
com.chuusai	sem forma_2.11	2.3.2
com.clearspring.analítica	transmissão	2.7.0
com.databricks	Reservar	1,8-3
com.databricks	dbml-local_2.11	0.4.1-db1-spark2,3
com.databricks	testes dbml-local_2.11	0.4.1-db1-spark2,3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	plugin_2.11	0,4.15-9
com.databricks.scalapb	scalapb-runtime_2.11	0,4.15-9
com.esotérico software	crio-sombreado	3.0.3
com.esotérico software	minlog	1.3.0
com.fasterxml	colega de classe	1.0.0
com.fasterxml.jackson.core	jackson-anotação	2.6.7
com.fasterxml.jackson.core	jackson-core	2.6.7
com.fasterxml.jackson.core	vinculação de dados jackson	2.6.7.1
formato de dados com.fasterxml.jackson.	formato de dados jackson-cbor	2.6.7
com.fasterxml.jackson.tipo de dados	jackson-datatype-joda	2.6.7
com.fasterxml.jackson.module	parâmetro do módulo jackson	2.6.7
com.fasterxml.jackson.module	jackson-module-Scala.11	2.6.7.1
com.github.fommil	descarregador	1.1
com.github.fommil.netlib	abdômen	1.1.2
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java-nativos	1.1
com.github.fommil.netlib	sistema_nativo-java	1.1
com.github.fommil.netlib	native_system-java-natives	1.1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1.1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1.1
com.github.luben	zstd-jni	1,3.2-2
com.github.rwl	jtransforma	2.4.0
com.google.code.findbugs	jsr305	2.0.1
com.google.code.gson	gson	2.2.4
com.google.goiaba	goiaba	15,0
com.google.protobuf	protobuf-java	2.6.1
com.googlecode.javaewah	Java Ewah	0.3.2
banco de dados com.h2	h2	1,3,174
com.jamesmurty.utils	construtor java-xml	1.1
com.jcraft	jsch	0,1,50
com.jolbox	bonecp	VERSÃO 0.8.0.
com.mchange	cp30	0.9.5.1
com.mchange	mchange-commons-java	0.2.10
com.microsoft.azure	azure-data lake-store-sdk	2.2.8
com.microsoft.sqlserver	mssql-JDBC	6.2.2. jre8
comendo	comprimir-lzf	1.0.3
com.sun.mail	javax.mail	1.5.2
com.thoughtworks.paranamer	paranâmero	2.8
com.trueaccord.lenses	lentes_2.11	0,3
com.Twitter	chill-java	0,8.4
com.Twitter	chill_2.11	0,8.4
com.Twitter	pacote parquet-hadoop	1.6.0
com.Twitter	util-app_2.11	6,23,0
com.Twitter	util-core_2.11	6,23,0
com.Twitter	util-jvm_2.11	6,23,0
com.typesafe	configuração	1.2.1
com.typesafe.Scala-logging	Scala-logging-api_2.11	2.1.2
com.typesafe.Scala-logging	Scala-logging-slf4j_2.11	2.1.2
com.univocidade	analisadores de univocidade	2.5.9
com.vlkan	tampões planos	1,2,0-3f79e055
com.zaxxer	HikaricP	2.4.1
folhas de feijão comum	folhas de feijão comum	1.7.0
folhas de feijão comum	commons-beanutils-core	1.8.0
comum-CLI	comum-CLI	1.2
codec comum	codec comum	1,10
coleções comuns	coleções comuns	3.2.2
configuração comum	configuração comum	1,6
commons-dbcp	commons-dbcp	1.4
digestor comum	digestor comum	1,8
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2,4
linguagem comum	linguagem comum	2.6
registro de bens comuns	registro de bens comuns	1.1.3
commons-net	commons-net	2.2
comum-pool	comum-pool	1.5.4
info.ganglia.gmetric4j	gmetric4j	1.0.7
io. airlift	compressor de ar	0,8
io.dropwizard.métricas	núcleo de métricas	3.1.5
io.dropwizard.métricas	métricas-ganglia	3.1.5
io.dropwizard.métricas	métricas-grafite	3.1.5
io.dropwizard.métricas	métricas-healthchecks	3.1.5
io.dropwizard.métricas	métricas-jetty9	3.1.5
io.dropwizard.métricas	métricas-JSON	3.1.5
io.dropwizard.métricas	métricas-JVM	3.1.5
io.dropwizard.métricas	métricas-log4j	3.1.5
io.dropwizard.métricas	métricas-servlets	3.1.5
io.netty	urtiga	3.9.9. Final
io.netty	tudo	4.1.17.Final
io. prometheus	cliente simples	0,0,16
io. prometheus	simpleclient_common	0,0,16
io. prometheus	simpleclient_dropwizard	0,0,16
io. prometheus	client_servlet simples	0,0,16
io.prometheus.jmx	coletor	0,7
javax.ativação	ativação	1.1.1
javax.anotação	javax.anotação-api	1.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.servlet	javax.servlet-api	3.1.0
javax.servlet.jsp	jsp-api	2.1
javax.transaction	jta	1.1
javax.validação	API de validação	1.1.0. Final
javax.ws.rs	javax.ws.rs-api	2.0.1
javax.xml.bind	jaxb-api	2.2.2
javax.xml.transmissão	stax-api	1,0-2
javolução	javolução	5.5.1
junte-se	junte-se	2,11
hora do dia	hora do dia	2.9.3
log4j	apache-log4j-extras	1.2.17
log4j	log4j	1.2.17
net.hydromatic	propriedades de base própria	1.1.5
net.ihard	base64	2.3.8
net.java.dev.jets3t	jets3t	0.9.4
net.razorvine	pirolita	4,13
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	supercsv	2.2.0
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt	no CRPC	1.0.7
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.4
org.antlr	antlr4-runtime	4.7
org.antlr	modelo de string	3.2.1
org.apache.ant	formiga	1.9.2
org.apache.ant	formiga	1.9.2
org.apache.ant	lançador de formigas	1.9.2
org.apache.arrow	formato de seta	0,8.0
org.apache.arrow	memória de seta	0,8.0
org.apache.arrow	vetor de seta	0,8.0
org.apache.avro	AVRO	1.7.7
org.apache.avro	avro-ipc	1.7.7
org.apache.avro	testes avro-iPC	1.7.7
org.apache.avro	avro-mapred-hadoop2	1.7.7
org.apache.calcite	calcita-avática	1.2.0 - incubação
org.apache.calcite	núcleo de calcita	1.2.0 - incubação
org.apache.calcite	calcita-linq4j	1.2.0 - incubação
org.apache.commons	compressa comum	1.4.1
org.apache.commons	criptomoeda comum	1.0.0
org.apache.commons	commons-lang3	3,5
org.apache.commons	commons-math3	3.4.1
org.apache.curator	curador-cliente	2.7.1
org.apache.curator	estrutura de curador	2.7.1
org.apache.curator	receitas de curadores	2.7.1
org.apache.derby	derby	10.12.1.1
org.apache.directory.api	api-asn1-api	1,0,0-M20
org.apache.directory.api	utilitário de API	1,0,0-M20
org.apache.directory.server	apacheds-i18n	2,0,0-M15
org.apache.directory.server	codec apacheds-kerberos	2,0,0-M15
org.apache.hadoop	hadoop-anotação	2.7.3
org.apache.hadoop	autenticação hadoop	2.7.3
org.apache.hadoop	cliente hadoop	2.7.3
org.apache.hadoop	hadoop-comum	2.7.3
org.apache.hadoop	hadoop-HDFS	2.7.3
org.apache.hadoop	aplicativo cliente hadoop mapreduce	2.7.3
org.apache.hadoop	hadoop-mapreduce-client-common	2.7.3
org.apache.hadoop	núcleo do cliente hadoop-mapreduce	2.7.3
org.apache.hadoop	hadoop-mapreduce-client-jobclient	2.7.3
org.apache.hadoop	hadoop-mapreduce-client-shuffle	2.7.3
org.apache.hadoop	API hadoop yarn	2.7.3
org.apache.hadoop	cliente hadoop-yarn	2.7.3
org.apache.hadoop	hadoop-yarn-common	2.7.3
org.apache.hadoop	servidor hadoop-yarn-comum	2.7.3
org.apache.htrace	htrace-core	3.1.0 - incubação
org.apache.httpcomponents	cliente http	4.5.4
org.apache.httpcomponents	httpcore	4.4.8
org.apache.ivy	hera	2.4.0
org.apache.orc	orc-core-no-hive	1.4.1
org.apache.orc	orc-mapreduce-nohive	1.4.1
org.apache.parquet	coluna de parquete	1.8.2 - blocos de dados 1
org.apache.parquet	parquete comum	1.8.2 - blocos de dados 1
org.apache.parquet	codificação de parquet	1.8.2 - blocos de dados 1
org.apache.parquet	formato de parquet	2.3.1
org.apache.parquet	parquet-hadoop	1.8.2 - blocos de dados 1
org.apache.parquet	parquet-jackson	1.8.2 - blocos de dados 1
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.9.3
org.apache.xbean	xbean-asm5-shaded	4.4
org.apache.zookeeper	tratador	3.4.6
org.bouncycastle	bcprov-jdk15on	1,58
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-jaxers	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.jackson	jackson-xc	1.9.13
org.codehaus.janino	compilador common	3.0.8
org.codehaus.janino	janino	3.0.8
org.datanucleus	núcleo de dados-api-jdo	3.2.6
org.datanucleus	núcleo de dados	3.2.10
org.datanucleus	núcleo de dados-rdbms	3.2.9
org.Eclipse.jetty	jetty-client	9.3.20.v 20170531
org.Eclipse.jetty	continuação do cais	9.3.20.v 20170531
org.Eclipse.jetty	jetty-http	9.3.20.v 20170531
org.Eclipse.jetty	jetty-io	9.3.20.v 20170531
org.Eclipse.jetty	jetty-jndi	9.3.20.v 20170531
org.Eclipse.jetty	jetty-plus	9.3.20.v 20170531
org.Eclipse.jetty	jetty-proxy	9.3.20.v 20170531
org.Eclipse.jetty	segurança do cais	9.3.20.v 20170531
org.Eclipse.jetty	servidor jetty-server	9.3.20.v 20170531
org.Eclipse.jetty	jutty-servlet	9.3.20.v 20170531
org.Eclipse.jetty	píer de servlets	9.3.20.v 20170531
org.Eclipse.jetty	jetty-util	9.3.20.v 20170531
org.Eclipse.jetty	aplicativo web jetty-	9.3.20.v 20170531
org.Eclipse.jetty	jetty-xml	9.3.20.v 20170531
org.fusesource.leveldbjni	leveldbjni-tudo	1,8
org.glassfish.hk2	API hk2	2.4.0-b34
org.glassfish.hk2	localizador hk2	2.4.0-b34
org.glassfish.hk2	hk2-utils	2.4.0-b34
org.glassfish.hk2	osgi-recurso-locator	1.0.1
org.glassfish.hk2.external	aopalliance - reembalado	2.4.0-b34
org.glassfish.hk2.external	javax.inject	2.4.0-b34
org.glassfish.jersey.bundles.reembalado	jersey-goiaba	2.22.2
org.glassfish.jersey.containers	servlet de contêiner de camisa	2.22.2
org.glassfish.jersey.containers	jersey-container-servlet-core	2.22.2
org.glassfish.jersey.core	cliente de camisa	2.22.2
org.glassfish.jersey.core	camiseta comum	2.22.2
org.glassfish.jersey.core	servidor de camisa	2.22.2
org.glassfish.jersey.media	jersey-media-jaxb	2.22.2
org.hibernate	validador de hibernação	5.1.1. Final
org.iq80.snappy	atrevida	0,2
org.javassist	javassist	3.18.1-GA
org.jboss.logging	registro de jboss-logging	3.1.3. GA
org.jdbi	jdbi	2.63,1
org.joda	conversor de joda	1.7
org.jodd	núcleo nodular	3.5.2
org.json4s	json4s-ast_2.11	3.2.11
org.json4s	json4s-core_2.11	3.2.11
org.json4s	json4s-jackson_2.11	3.2.11
org.lz4	lz4-java	1.4.0
org.mariadb.JDBC	cliente mariadb-java	2.1.2
org.mockito	mockito-all	1.9.5
org.objenesis	objênese	2.1
org.postgresql	PostgreSQL	42,14
org.roaringbitmap	Mapa de bits estrondoso	0.5.11
org.rocksdb	rocksdbjni	5.2.1
org.rosuda.rEngine	Motor	2.1.0
org.Scala-lang	Scala-compiler_2.11	2.11.8
org.Scala-lang	Scala-biblioteca.11	2.11.8
org.Scala-lang	Scala-reflect_2.11	2.11.8
org.Scala-lang	scalap_2.11	2.11.8
org.Scala-lang.modules	Scala-parser-combinators_2.11	1.0.2
org.Scala-lang.modules	Scala-xml_2.11	1.0.5
org.Scala-sbt	interface de teste	1,0
org.scalacheck	scalacheck_2.11	1,12.5
org.scalanlp	breeze-macros_2.11	0,13.2
org.scalanlp	breeze_2.11	0,13.2
org.scalatest	scalatest_2.11	2.2.6
org.slf4j	jcl-over-slf4j	1.7.16
org.slf4j	jul-a-slf4j	1.7.16
org.slf4j	slf4j-api	1.7.16
org.slf4j	slf4j-log4j12	1.7.16
org.spark-project.hive	hive-beeline	1.2.1. spark2
org.spark-project.hive	colmeia-CLI	1.2.1. spark2
org.spark-project.hive	hive-exec	1.2.1. spark2
org.spark-project.hive	hive-JDBC	1.2.1. spark2
org.spark-project.hive	Hive metastore	1.2.1. spark2
org.spark-project.spark	não utilizado	1.0.0
org.spire-math	spire-macros_2.11	0,13,0
org.spire-math	spire_2.11	0,13,0
org.springframework	núcleo de mola	4.1.4. LANÇAMENTO
org.springframework	teste de primavera	4.1.4. LANÇAMENTO
org.tukaani	xz	1,0
org.typelevel	maquinista_2.11	0.6.1
org.typelevel	macro-compat_2.11	1.1.1
org.xerial	sqlite-JDBC	3.8.11.2
org.xerial.snappy	snappy-java	1.1.2.6
org.yaml	snakeyaml	1,16
oro	oro	2.0.8
software.Amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1
xmlenc	xmlenc	0,52