Databricks Runtime 4,2 (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

A Databricks lançou essa versão em julho de 2018.

important

Esta versão foi descontinuada em 5 de março de 2019. Para obter mais informações sobre a política de descontinuidade e programação do Databricks Runtime, consulte Databricks support lifecycles.

As notas a seguir sobre a versão fornecem informações sobre o Databricks Runtime 4.2, desenvolvido pelo Apache Spark.

Delta Lake

O Databricks Runtime 4.2 adiciona grandes melhorias de qualidade e funcionalidade ao Delta Lake. A Databricks recomenda enfaticamente que todos os clientes do Delta Lake atualizem para o novo tempo de execução. Essa versão permanece na versão prévia privada, mas representa uma versão candidata em antecipação à próxima versão de disponibilidade geral (GA).

Novo recurso

• Gravações em vários clusters: o site Delta Lake agora oferece suporte a gravações transacionais de vários clusters. Para usar esse recurso, todos os gravadores devem estar executando o Databricks Runtime 4.2.

• A transmissão agora pode ser gravada diretamente em uma tabela Delta registrada no Hive metastore usando df.writeStream.table(...).

Melhorias

• Todos os comandos e consultas do site Delta Lake agora suportam a referência a uma tabela usando seu caminho como identificador:

  delta.`<path-to-table>`

  Anteriormente, OPTIMIZE e VACUUM exigiam o uso não padrão de strings literais (ou seja, '<path-to-table>').

• DESCRIBE HISTORY agora inclui o ID commit e é ordenado do mais novo para o mais antigo por default.

Correções de bugs

• A filtragem baseada em predicados de partição agora funciona corretamente mesmo quando o caso dos predicados difere daquele da tabela.
• Foi corrigida a falta da coluna AnalysisException ao realizar verificações de igualdade em colunas booleanas nas tabelas do site Delta (ou seja, booleanValue = true).
• CREATE TABLE não modifica mais a transação log ao criar um ponteiro para uma tabela existente. Isso evita conflitos desnecessários com a transmissão concorrente e permite a criação de ponteiro de metastore para tabelas em que o usuário só tem acesso de leitura aos dados.
• A chamada para display() em uma transmissão com grandes quantidades de dados não causa mais OOM no driver.
• AnalysisException agora é lançado quando um caminho subjacente do Delta Lake é excluído, em vez de retornar resultados vazios.
• As configurações do Delta Lake que exigem uma versão de protocolo específica (por exemplo, appendOnly) só podem ser aplicadas a tabelas em uma versão apropriada.
• Ao atualizar o estado de uma tabela Delta, as linhagens longas agora são truncadas automaticamente para evitar um StackOverFlowError.

transmissão estruturada

Novo recurso

• O Delta Lake, o SQS e o Kafka agora oferecem suporte total ao Trigger.Once. Anteriormente, os limites de taxa (por exemplo, maxOffsetsPerTrigger ou maxFilesPerTrigger) especificados como opções de origem ou padrão podiam resultar em uma execução apenas parcial dos dados disponíveis. Essas opções agora são ignoradas quando Trigger.Once é usado, permitindo que todos os dados atualmente disponíveis sejam processados.

• Foi adicionada a nova transmissão foreachBatch() em Scala, onde o senhor pode definir uma função para processar a saída de cada microlote usando DataFrame operações. Isso permite o seguinte:

  • Usar lotes fonte de dados existentes para gravar saídas de microlotes em sistemas que ainda não têm uma transmissão fonte de dados (por exemplo, usar Cassandra lotes writer em cada saída de microlotes).
  • Gravando a saída de microbatch em vários locais.
  • Aplicar DataFrame e operações de tabela em saídas de microbatch que ainda não são suportadas na transmissão DataFrames (por exemplo, inserir uma saída de microbatch em uma tabela Delta ).

• Foram adicionadas as funções from_avro/to_avro para ler e gravar dados do Avro em um DataFrame em vez de apenas em arquivos, semelhante a from_json/to_json. Consulte Ler e gravar dados da Avro em qualquer lugar para obter mais detalhes.

• Foi adicionado suporte à transmissão foreach() em Python (já disponível em Scala). Consulte a documentação do foreach e do forEachBatch para obter mais detalhes.

Melhorias

• Geração mais rápida de resultados de saída e/ou limpeza de estado com operações stateful (mapGroupsWithState, transmissão-transmissão join, agregação de transmissão, transmissão dropDuplicates) quando não há dados na transmissão de entrada.

Correções de bugs

• Corrigido o bug de correção SPARK-24588 na transmissão-transmissão join, em que join informava menos resultados quando havia uma repartição explícita antes dela (por exemplo, df1.repartition("a", "b").join(df, "a")).

Outras mudanças e melhorias

• Corrigido o sistema de arquivos S3A para permitir a leitura de arquivos Parquet no S3 com criptografia do lado do cliente. Anteriormente, as leituras geravam erros java.io.EOFException.

• Adicionado suporte para SQL Deny comando para controle de acesso da tabela habilitada para clustering. Agora, os usuários podem negar permissões específicas da mesma forma que antes. Uma permissão negada substituirá uma concedida. Os administradores e proprietários de um objeto específico ainda estão sempre autorizados a realizar ações.

• Nova Azure Data Lake Storage Gen2 fonte de dados que usa o driver ABFS. Consulte Conectar-se a Azure Data Lake Storage Gen2 e Blob Storage

• Atualizou alguns instalados Python biblioteca:

  • pip: de 10.0.0b2 a 10.0.1
  • ferramentas de configuração: de 39.0.1 a 39.2.0
  • tornado: 5.0.1 a 5.0.2
  • roda: 0,31,0 a 0,31,1

• Atualizou várias instalações da R biblioteca. Consulte R biblioteca instalada.

• Suporte aprimorado ao Parquet

• Atualização do Apache ORC de 1.4.1 para 1.4.3

Apache Spark

O Databricks Runtime 4.2 inclui o Apache Spark 2.3.1. Esta versão inclui todas as correções e melhorias incluídas no Databricks Runtime 4.1 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-24588][SS] transmissão join deve exigir HashClusteredPartitioning dos filhos
• [SPARK-23931][SQL] Faça arrays_zip na função.Scala @scala.annotation.varargs.
• [SPARK-24633][SQL] Corrigir codegen quando a divisão é necessária para arrays_zip
• [SPARK-24578] [CORE] Limite o tamanho da sub-região do buffer no retornado
• [SPARK-24613][SQL] Cache com UDF não pôde ser combinado com caches dependentes subsequentes
• [SPARK-24583][SQL] Tipo de esquema incorreto em InsertIntoDataSourceCommand
• [SPARK-24565][SS] Adicionar API para na transmissão estruturada para expor as linhas de saída de cada microbatch como um DataFrame
• [SPARK-24396][SS][PySpark] Adicionar transmissão estructurada ForeachWriter para Python
• [SPARK-24216][SQL] Spark TypedAggregateExpression usa getSimpleName que não é seguro em Scala
• [SPARK-24452][SQL][CORE] Evitar possível estouro na adição ou multiplicação de int
• [SPARK-24187][R] [SQL] Adicionar a função array_join ao SparkR
• [SPARK-24525] [SS] Forneça uma opção para limitar o número de linhas em um MemorySink
• [SPARK-24331][SPARKR][SQL] Adicionando arrays_overlap, array_repeat, map_entries ao SparkR
• [SPARK-23931][SQL] Adiciona a função arrays_zip ao Spark SQL
• [SPARK-24186][R] [SQL] alterar as funções reverse e concat para coleção no R
• [SPARK-24198][SPARKR][SQL] Adicionando a função slice ao SparkR
• [SPARK-23920][SQL] add array_remove to remove all elements that equal element from array
• [SPARK-24197][SPARKR][SQL] Adicionando a função array_sort ao SparkR
• [SPARK-24340][CORE] Limpe os arquivos do gerenciador de blocos de disco não embaralhados após a saída do site executor em um clustering autônomo
• [SPARK-23935][SQL] Adicionando a função map_entries
• [SPARK-24500][SQL] Certifique-se de que as transmissões sejam materializadas durante as transformações da árvore.
• [SPARK-24495][SQL] EnsureRequirement retorna um plano errado ao reordenar chaves iguais
• [SPARK-24506][UI] Adicionar filtros de UI à guia adicionada após a vinculação
• [SPARK-24468][SQL] Lidar com escala negativa ao ajustar a precisão para operações decimais
• [SPARK-24313][SQL] Corrigir a avaliação interpretada das operações de coleta para tipos complexos
• [SPARK-23922][SQL] Adicionar função arrays_overlap
• [SPARK-24369][SQL] Tratamento correto de várias agregações distintas com o mesmo conjunto de argumentos
• [SPARK-24455] [CORE] corrigir erro de digitação no comentário TaskSchedulerImpl
• [SPARK-24397][PySpark] Adicionado TaskContext.getLocalProperty(key) em Python
• [SPARK-24117][SQL] Unificou o getSizePerRow
• [SPARK-24156] Corrigir erro de recuperação da falha em um lote sem dados
• [SPARK-24414][UI] Calcular o número correto de tarefas para um estágio.
• [SPARK-23754][Python] Aumentar novamente o StopIteration no código do cliente
• [SPARK-23991] [DSTREAMS] Corrige a perda de dados quando a gravação WAL falha em AllocateBlocksToBatch
• [SPARK-24373][SQL] Adicionar AnalysisBarrier aos filhos de RelationalGroupedDataset e KeyValueGroupedDataset
• [SPARK-24392][Python] rótulo pandas_udf as Experimental
• [SPARK-24334] Corrigir a condição de corrida no ArrowPythonRunner causa o desligamento impuro do alocador de memória Arrow
• [SPARK-19112] [CORE] Adicione nomes de codecs curtos ausentes à configuração.
• [SPARK-24244][SPARK-24368][SQL] Passando apenas as colunas necessárias para o analisador de CSV
• [SPARK-24366][SQL] Melhoria das mensagens de erro para conversão de tipos
• [SPARK-24371][SQL] Adicionado isInCollection na API DataFrame para Scala e...
• [SPARK-23925][SQL] Adicionar função de coleção array_repeat
• [MENOR] Adicionar configuração de porta SSL em toString e scaladoc
• [SPARK-24378][SQL] Corrigir exemplos incorretos da função date_trunc
• [SPARK-24364] [SS] Evite que inMemoryFileIndex falhe se o caminho do arquivo não existir
• [SPARK-24257][SQL] LongToUnsafeRowMap calcula o novo tamanho pode estar errado
• Correção do erro "element_at" do [SPARK-24348][SQL]
• [SPARK-23930][SQL] Adicionar função de fatia
• [SPARK-23416] [SS] Adicione um método de parada específico para execução contínua.
• [SPARK-23852][SQL] Atualização para o Parquet 1.8.3
• [SPARK-24350][SQL] Corrige ClassCastException na função "array_position".
• [SPARK-24321][SQL] Extrair código comum de Divide/Remainder para uma característica de base
• [SPARK-24309] [CORE] AsyncEventQueue deve parar em caso de interrupção.
• [SPARK-23850][SQL] Adicionar configuração separada para a redação de opções SQL.
• [SPARK-22371] [CORE] Retorne Nenhum em vez de lançar uma exceção quando um acumulador é coletado como lixo.
• [SPARK-24002][SQL] tarefa não serializável causada por org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes
• [SPARK-23921][SQL] Adicionar a função array_sort
• [SPARK-23923][SQL] Adicionar função de cardinalidade
• [SPARK-24159][SS] Habilitar micro lotes sem dados para transmissão mapGroupswithState
• [SPARK-24158][SS] Habilitar lotes sem dados para a junção de transmissão
• [SPARK-24157][SS] Ativou lotes sem dados em MicroBatchExecution para agregação e deduplicação de transmissão
• [SPARK-23799][SQL] FilterEstimation.evaluateInSet produz estatísticas erradas para strings
• [SPARK-17916][SQL] Corrigir strings vazias que estão sendo analisadas como nulas quando nullValue é definido.
• [SPARK-23916][SQL] Adicionar função array_join
• [SPARK-23408][SS] Sincronizar ações sucessivas de AddData na transmissão*JoinSuite
• [SPARK-23780][R] Falha ao usar a biblioteca googleVis com o novo SparkR
• [SPARK-23821][SQL] Função de coleção: achatar
• [SPARK-23627][SQL] Fornecer isEmpty no conjunto de dados
• [SPARK-24027][SQL] Suporte a MapType com StringType para chave como o tipo raiz por from_json
• [SPARK-24035][SQL] Sintaxe SQL para Pivot - corrigir aviso do antlr
• [SPARK-23736][SQL] Estendendo a função concat para suportar colunas de matriz
• [SPARK-24246][SQL] Melhore a AnalysisException definindo a causa quando ela estiver disponível
• [SPARK-24263][R] A verificação do SparkR java é interrompida com o openjdk
• [SPARK-24262][Python] Corrigir erro de digitação na mensagem de erro de correspondência de tipo UDF
• [SPARK-24067][transmissão][Kafka] Permitir offsets não consecutivos
• [SPARK-10878] [CORE] Corrija a condição de corrida quando vários clientes resolvem artefatos ao mesmo tempo
• [SPARK-19181][CORE] Corrigindo falhas no "SparkListenerSuite.local métricas"
• [SPARK-24068]Propagando as opções do DataFrameReader para a fonte de dados de texto na inferência de esquemas
• [SPARK-24214] [SS] Correção para JSON para relação de streaming v2/relação de execução de streaming/relação de execução contínua
• [SPARK-23919][SPARK-23924][SPARK-24054][SQL] Adicionar função array_position/element_at
• [SPARK-23926][SQL] Extensão da função reversa para suportar argumentos ArrayType
• [SPARK-23809][SQL] A Active SparkSession deve ser definida por getOrCreate
• [SPARK-23094][SPARK-23723][SPARK-23724][SQL] Suporte à codificação personalizada para arquivos JSON
• [SPARK-24035][SQL] Sintaxe SQL para Pivot
• [SPARK-24069] [R] Adicionar funções array_min/array_max
• [SPARK-23976] [CORE] Detecte estouro de comprimento em UTF8String.concat () /ByteArray.concat ()
• [SPARK-24188][CORE] Restore "/version" API endpoint.
• [SPARK-24128][SQL] Mencionar opção de configuração em erro implícito de junção CROSS
• [SPARK-23291][SQL][R] O substr do R não deve reduzir a posição inicial em 1 ao chamar a API do Scala
• [SPARK-23697] [CORE] LegacyAccumulatorWrapper deve definir IsZero corretamente
• [SPARK-24168][SQL] O WindowExec não deve acessar o SQLConf no lado do executor
• [SPARK-24143]filtra blocos vazios ao converter mapstatus em par (blockID, tamanho)
• [SPARK-23917][SPARK-23918][SQL] Adicionar a função array_max/array_min
• [SPARK-23905][SQL] Adicionar UDF de dia da semana
• [SPARK-16406][SQL] Melhorar o desempenho do LogicalPlan.resolve
• [SPARK-24013][SQL] Remover compressão desnecessária em ApproximatePercentile
• [SPARK-23433][CORE] As conclusões tardias da tarefa zumbi atualizam todos os conjuntos de tarefas
• [SPARK-24169][SQL] O JsonToStructs não deve acessar o SQLConf no lado do executor
• [SPARK-24133][SQL] Backport [SPARK-24133]Verificação de estouro de número inteiro ao redimensionar WritableColumnVectors
• [SPARK-24166][SQL] O InMemoryTableScanExec não deve acessar o SQLConf no lado do executor
• [SPARK-24133][SQL] Verificação de estouro de número inteiro ao redimensionar WritableColumnVectors
• [SPARK-24085][SQL] A consulta retorna UnsupportedOperationException quando a subconsulta escalar está presente na expressão de particionamento
• [SPARK-24062] [THRIFT SERVER] Corrigir problema de criptografia SASL que não pode ser habilitada no servidor Thrift
• [SPARK-23004][SS] Garantir que o StateStore.commit seja chamado apenas uma vez em uma tarefa de agregação de transmissão
• [SPARK-23188][SQL] Tornar configurável o tamanho dos lotes do leitor columar vetorizado
• [SPARK-23375][SPARK-23973][SQL] Eliminar a classificação desnecessária no Otimizador
• [SPARK-23877][SQL] Usar predicados de filtro para eliminar partições em consultas somente de metadados
• [SPARK-24033][SQL] Corrigir incompatibilidade do quadro de janela especificadowindowframe(RowFrame, -1, -1)
• [SPARK-23340][SQL] Atualize o Apache ORC para a versão 1.4.3
• Corrija um problema de verificação de nulo ausente que provavelmente é acionado pela geração simplificada de código de expressão e exposto pelo SPARK-23986 porque tornou o código-fonte gerado um pouco mais longo e acionou o caminho problemático do código (divisão de código por expression.reduceCodeSize ()).
• [SPARK-23989][SQL] exchange should copy data before non-serialized shuffle
• [SPARK-24021] [CORE] corrige bug no updateBlacklistForFetchFailure do BlacklistTracker
• [SPARK-24014][PySpark] Adicionar o método onStreamingStarted ao StreamingListener
• [SPARK-23963][SQL] Manipula adequadamente um grande número de colunas na consulta da tabela Hive baseada em texto
• [SPARK-23948] Acionar o ouvinte de trabalho do mapstage em submitMissingTasks
• [SPARK-23986][SQL] freshName pode gerar nomes não exclusivos
• [SPARK-23835][SQL] Adicionar verificação de não nulo à desserialização de argumentos de tuplas

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 4.2.

Ambiente do sistema

• Sistema operacional : Ubuntu 16.04.4 LTS
• Java : 1.8.0_162
• Scala : 2.11.8
• Python : 2.7.12 para Python 2 clustering e 3.5.2 para Python 3 clustering.
• R : R versão 3.4.4 (2018-03-15)
• Agrupamento de GPUs : As seguintes bibliotecas de GPU NVIDIA estão instaladas:
  • Motorista Tesla 375.66
  • CUDA 9.0
  • cuDNN 7.0

Instalado Python biblioteca

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
ansi2.html	1.1.1	argparse	1.2.1	backports-abc	0.5
Boto	2,42,0	boto3	1.4.1	botocore	1,4,70
cervejaria 2 ml	1.4.1	certifi	2016,2,28	caffi	1.7.0
chardet	2.3.0	colorama	0.3.7	configobj	5.0.6
criptografia	1.5	ciclador	0.10.0	Cython	0,24,1
decorador	4.0.10	docutils	0,14	enum34	1.1.6
arquivo et-xml	1.0.1	freetype-py	1.0.2	funçõs	1.0.2
fusepy	2.0.4	futuros	3.2.0	ggplot	0.6.8
html5lib	0,999	Índia	2.1	endereço IP	1.0.16
ipython	2.2.0	ipython-genutils	0.1.0	jdcal	1.2
Jinja 2	2.8	jmespath	0.9.0	llvmlite	0,13,0
lxml	3.6.4	MarkupSafe	0,23	Matplotlib	1.5.3
mold3	0,2	msgpack-Python	0.4.7	cliente ndg-https	0.3.3
numba	0,28,1	entorpecido	1.11.1	openpyxl	2.3.2
Pandas	0.19.2	pathlib2	2.1.0	bode expiatório	0.4.1
esperar	4.0.1	picles	0.7.4	Travesseiro	3.3.1
pip	10.0.1	dobra	3.9	kit de ferramentas de aviso	1.0.7
psycopg2	2.6.2	processo pty	0.5.1	py4j	0.10.3
flecha	0,8.0	pyasn1	0.1.9	pycparser	2,14
Pigmentos	2.1.3	Objeto PYG	3.20.0	PyOpenSSL	16,0.0
análise de pipa	2.2.0	espião	0,0,18	Python	2.7.12
Python-dateutil	2.5.3	Python-geohash	0,8.5	pytz	2016,6,1
pedidos	2.11.1	transferência s3	0.1.9	scikit-learn	0,18.1
pegajoso	0,18.1	esfregar	0,32	marítimo	0.7.1
ferramentas de configuração	39,2,0	simplejson	3.8.2	simples3	1,0
despacho único	3.4.0.3	seis	1.10.0	modelos de estatísticas	0.6.1
tornado	5.0.2	almôndegas	4.3.0	urllib3	1.19.1
ambiente virtual	15.0.1	largura do wc	0.1.7	Python wheel	0,31,1
wsgiref	0.1.2

Instalou a R biblioteca

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
abandam	1,4-5	afirme que	0.2.0	portas traseiras	1.1.2
base	3.4.4	POR	1,66,0-1	fichário	0.1.1
bindrcpp	0.2.2	pouco	1,1-12	bit64	0,9-7
bitops	1,0-6	bolha	1.1.1	inicialização	1,3-20
fermentar	1,0-6	vassoura	0.4.4	carro	3,0-0
Dados do carro	3,0-1	cursor	6,0-79	guarda de celas	1.1.0
crono	2,3-52	Aula	7,3-14	CLIPE	1.0.0
Cluster	2.0.7-1	ferramentas de código	0,2-15	espaço de cores	1,3-2
marca comum	1.4	compilador	3.4.4	giz de cera	1.3.4
cacho	3.2	CVST	0,2-1	data.tabela	1.10.4-3
conjunto de dados	3.4.4	DBI	0,8	dalpha	1.3.1.1
DeOptimr	1,0-8	desc	1.1.1	ferramentas de desenvolvimento	1,13.5
dicromato	2,0-0	digerir	0,6,15	Vermelho escuro	0.1.0
Dom C	1.3.5	dplyr	0.7.4	DRR	0,0.3
para gatos	0.3.0	para cada um	1.4.4	estrangeira	0,8-70
gbm	2.1.3	ggplot2	2.2.1	git2r	0,21,0
glmnet	2,0-16	cola	1.2.0	goleiro	0.1.2
gráficos	3.4.4	Dispositivos GR	3.4.4	grade	3.4.4
gsubfn	0,7	mesa	0.2.0	h2o	3.16.0.2
refúgio	1.1.1	HMS	0.4.2	httr	1.3.1
escritor	1.3.2	HWriter Plus	1,0-3	ipred	0,9-6
iteradores	1.0.9	jsonlite	1.5	kernlab	0,9-25
Kern Smooth	2,23-15	rótulo	0,3	treliça	0,20-35
lava	1.6.1	preguiçoso	0.2.1	mais pequeno	0.3.3
lme4	1,1-17	lubrificar	1.7.3	magritter	1.5
mapproj	1.2.6	mapeia	3.3.0	ferramentas de mapa	0,9-2
MASSA	7,3-50	Matriz	1,2-14	Modelos matriciais	0,4-1
memoise	1.1.0	métodos	3.4.4	mgcv	1,8-24
mímica	0.5	mina	1.2.4	norma	1,5-5
Métricas do modelo	1.1.0	munsell	0.4.3	norma mvt	1,0-7
nome	3,1-137	nloptr	1.0.4	net	7,3-12
Número Deriv	2016,8-1	openssl	1.0.1	openxlsx	4.0.17
paralelo	3.4.4	teste pbkr	0,4-7	pilar	1.2.1
pkgconfig	2.0.1	Gatinho PKG	0.1.4	plogr	0.2.0
plyr	1.8.4	elogio	1.0.0	unidades bonitas	1.0.2
ProC	1.11.0	prodlim	1.6.1	proto	1.0.0
psicótico	1.8.3.3	ronronar	0.2.4	quantreg	5,35
R. métodos S3	1.7.1	R.oo	1,21,0	R. utils	2.6.0
R6	2.2.2	Floresta aleatória	4,6-14	Cervejaria RColor	1,1-2
Rcpp	0,12,16	RCP Pegen	0.3.3.4.0	RCPP Roll	0.2.2
Curl	1,95-4,10	leitor	1.1.1	readxl	1.0.0
receitas	0.1.2	revanche	1.0.1	remodelar 2	1.4.3
rio	0.5.10	rlang	0.2.0	base robusta	0,92-8
RODBC	1,3-15	roxigênio2	6.0.1	rpartem	4,1-13
rprojroot	1,3-2	Reservar	1,7-3	RSQLite	2.1.0
API do estúdio	0,7	escala	0.5.0	sfsmisc	1,1-2
espião	1,2-7	SparkR	2.3.1	SPARSEM	1,77
espacial	7,3-11	splines	3.4.4	sqldf	0,4-11
QUADRADO	2017,10-1	statmod	1,4,30	estatísticas	3.4.4
estatísticas4	3.4.4	stringi	1.1.7	longarina	1.3.0
sobrevivência	2,42-3	tcltk	3.4.4	Demonstrações de ensino	2,10
teste isso	2.0.0	petiscar	1.4.2	arrumado	0,8.0
seleção arrumada	0.2.4	Hora/Data	3043,102	Ferramentas	3.4.4
utf 8	1.1.3	utilidades	3.4.4	Viridis Lite	0.3.0
bigode	0,3-2	murchar	2.1.2	xml2	1.2.0

Instalei Java e Scala biblioteca (versão de clusteringScala 2.11)

ID do grupo	ID do artefato	Versão
chifre	chifre	2.7.7
com.amazonaws	Amazon-kinesis-client	1.7.3
com.amazonaws	aws-java-sdk-autoscale	1,11.313
com.amazonaws	formação de nuvem aws-java-sdk	1,11.313
com.amazonaws	aws-java-sdk-cloudfront	1,11.313
com.amazonaws	aws-java-sdk-cloudhsm	1,11.313
com.amazonaws	aws-java-sdk-cloudsearch	1,11.313
com.amazonaws	aws-java-sdk-cloudtrail	1,11.313
com.amazonaws	aws-java-sdk-cloudwatch	1,11.313
com.amazonaws	métricas aws-java-sdk-cloudwatch	1,11.313
com.amazonaws	aws-java-sdk-codedeploy	1,11.313
com.amazonaws	identidade cognitiva aws-java-sdk	1,11.313
com.amazonaws	aws-java-sdk-cognitosync	1,11.313
com.amazonaws	aws-java-sdk-config	1,11.313
com.amazonaws	aws-java-sdk-core	1,11.313
com.amazonaws	pipeline de dados aws-java-sdk	1,11.313
com.amazonaws	aws-java-sdk-conexão direta	1,11.313
com.amazonaws	diretório aws-java-sdk	1,11.313
com.amazonaws	aws-java-sdk-dynamodb	1,11.313
com.amazonaws	aws-java-sdk-ec2	1,11.313
com.amazonaws	aws-java-sdk-ecs	1,11.313
com.amazonaws	aws-java-sdk-efs	1,11.313
com.amazonaws	aws-java-sdk-elasticache	1,11.313
com.amazonaws	aws-java-sdk-elasticbeanstalk	1,11.313
com.amazonaws	balanceamento de carga elástico aws-java-sdk	1,11.313
com.amazonaws	transcodificador elástico aws-java-sdk-	1,11.313
com.amazonaws	aws-java-sdk-emr	1,11.313
com.amazonaws	aws-java-sdk-glacier	1,11.313
com.amazonaws	aws-java-sdk-iam	1,11.313
com.amazonaws	aws-java-sdk-importação/exportação	1,11.313
com.amazonaws	aws-java-sdk-kinesis	1,11.313
com.amazonaws	aws-java-sdk-kms	1,11.313
com.amazonaws	aws-java-sdk-lambda	1,11.313
com.amazonaws	aws-java-sdk-logs	1,11.313
com.amazonaws	aws-java-sdk - aprendizado de máquina	1,11.313
com.amazonaws	aws-java-sdk-opsworks	1,11.313
com.amazonaws	aws-java-sdk-rds	1,11.313
com.amazonaws	aws-java-sdk-redshift	1,11.313
com.amazonaws	aws-java-sdk-route53	1,11.313
com.amazonaws	aws-java-sdk-s3	1,11.313
com.amazonaws	aws-java-sdk-ses	1,11.313
com.amazonaws	aws-java-sdk-simpledb	1,11.313
com.amazonaws	aws-java-sdk - fluxo de trabalho simples	1,11.313
com.amazonaws	aws-java-sdk-sns	1,11.313
com.amazonaws	aws-java-sdk-sqs	1,11.313
com.amazonaws	aws-java-sdk-ssm	1,11.313
com.amazonaws	gateway de armazenamento aws-java-sdk	1,11.313
com.amazonaws	aws-java-sdk-sts	1,11.313
com.amazonaws	suporte aws-java-sdk	1,11.313
com.amazonaws	aws-java-sdk-swf-biblioteca	1.11.22
com.amazonaws	aws-java-sdk-workspace	1,11.313
com.amazonaws	jmespath-java	1,11.313
com.carrotsearch	hppc	0.7.2
com.chuusai	sem forma_2.11	2.3.2
com.clearspring.analítica	transmissão	2.7.0
com.databricks	Reservar	1,8-3
com.databricks	dbml-local_2.11	0.4.1-db1-spark2,3
com.databricks	testes dbml-local_2.11	0.4.1-db1-spark2,3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	plugin_2.11	0,4.15-9
com.databricks.scalapb	scalapb-runtime_2.11	0,4.15-9
com.esotérico software	crio-sombreado	3.0.3
com.esotérico software	minlog	1.3.0
com.fasterxml	colega de classe	1.0.0
com.fasterxml.jackson.core	jackson-anotação	2.6.7
com.fasterxml.jackson.core	jackson-core	2.6.7
com.fasterxml.jackson.core	vinculação de dados jackson	2.6.7.1
formato de dados com.fasterxml.jackson.	formato de dados jackson-cbor	2.6.7
com.fasterxml.jackson.tipo de dados	jackson-datatype-joda	2.6.7
com.fasterxml.jackson.module	parâmetro do módulo jackson	2.6.7
com.fasterxml.jackson.module	jackson-module-Scala.11	2.6.7.1
com.github.fommil	descarregador	1.1
com.github.fommil.netlib	abdômen	1.1.2
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java-nativos	1.1
com.github.fommil.netlib	sistema_nativo-java	1.1
com.github.fommil.netlib	native_system-java-natives	1.1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1.1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1.1
com.github.luben	zstd-jni	1,3.2-2
com.github.rwl	jtransforma	2.4.0
com.google.code.findbugs	jsr305	2.0.1
com.google.code.gson	gson	2.2.4
com.google.goiaba	goiaba	15,0
com.google.protobuf	protobuf-java	2.6.1
com.googlecode.javaewah	Java Ewah	0.3.2
banco de dados com.h2	h2	1,3,174
com.jamesmurty.utils	construtor java-xml	1.1
com.jcraft	jsch	0,1,50
com.jolbox	bonecp	VERSÃO 0.8.0.
com.mchange	cp30	0.9.5.1
com.mchange	mchange-commons-java	0.2.10
com.microsoft.azure	azure-data lake-store-sdk	2.2.8
com.microsoft.sqlserver	mssql-JDBC	6.2.2. jre8
comendo	comprimir-lzf	1.0.3
com.sun.mail	javax.mail	1.5.2
com.thoughtworks.paranamer	paranâmero	2.8
com.trueaccord.lenses	lentes_2.11	0,3
com.Twitter	chill-java	0,8.4
com.Twitter	chill_2.11	0,8.4
com.Twitter	pacote parquet-hadoop	1.6.0
com.Twitter	util-app_2.11	6,23,0
com.Twitter	util-core_2.11	6,23,0
com.Twitter	util-jvm_2.11	6,23,0
com.typesafe	configuração	1.2.1
com.typesafe.Scala-logging	Scala-logging-api_2.11	2.1.2
com.typesafe.Scala-logging	Scala-logging-slf4j_2.11	2.1.2
com.univocidade	analisadores de univocidade	2.5.9
com.vlkan	tampões planos	1,2,0-3f79e055
com.zaxxer	HikaricP	3.1.0
folhas de feijão comum	folhas de feijão comum	1.7.0
folhas de feijão comum	commons-beanutils-core	1.8.0
comum-CLI	comum-CLI	1.2
codec comum	codec comum	1,10
coleções comuns	coleções comuns	3.2.2
configuração comum	configuração comum	1,6
commons-dbcp	commons-dbcp	1.4
digestor comum	digestor comum	1,8
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2,4
linguagem comum	linguagem comum	2.6
registro de bens comuns	registro de bens comuns	1.1.3
commons-net	commons-net	2.2
comum-pool	comum-pool	1.5.4
info.ganglia.gmetric4j	gmetric4j	1.0.7
io. airlift	compressor de ar	0,8
io.dropwizard.métricas	núcleo de métricas	3.1.5
io.dropwizard.métricas	métricas-ganglia	3.1.5
io.dropwizard.métricas	métricas-grafite	3.1.5
io.dropwizard.métricas	métricas-healthchecks	3.1.5
io.dropwizard.métricas	métricas-jetty9	3.1.5
io.dropwizard.métricas	métricas-JSON	3.1.5
io.dropwizard.métricas	métricas-JVM	3.1.5
io.dropwizard.métricas	métricas-log4j	3.1.5
io.dropwizard.métricas	métricas-servlets	3.1.5
io.netty	urtiga	3.9.9. Final
io.netty	tudo	4.1.17.Final
io. prometheus	cliente simples	0,0,16
io. prometheus	simpleclient_common	0,0,16
io. prometheus	simpleclient_dropwizard	0,0,16
io. prometheus	client_servlet simples	0,0,16
io.prometheus.jmx	coletor	0,7
javax.ativação	ativação	1.1.1
javax.anotação	javax.anotação-api	1.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.servlet	javax.servlet-api	3.1.0
javax.servlet.jsp	jsp-api	2.1
javax.transaction	jta	1.1
javax.validação	API de validação	1.1.0. Final
javax.ws.rs	javax.ws.rs-api	2.0.1
javax.xml.bind	jaxb-api	2.2.2
javax.xml.transmissão	stax-api	1,0-2
javolução	javolução	5.5.1
junte-se	junte-se	2,11
hora do dia	hora do dia	2.9.3
log4j	apache-log4j-extras	1.2.17
log4j	log4j	1.2.17
net.hydromatic	propriedades de base própria	1.1.5
net.ihard	base64	2.3.8
net.java.dev.jets3t	jets3t	0.9.4
net.razorvine	pirolita	4,13
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	supercsv	2.2.0
net.snowflake	floco de neve-JDBC	3.6.3
net.snowflake	floco de neve faísca_2.11	2.3.2
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt	no CRPC	1.0.7
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.4
org.antlr	antlr4-runtime	4.7
org.antlr	modelo de string	3.2.1
org.apache.ant	formiga	1.9.2
org.apache.ant	formiga	1.9.2
org.apache.ant	lançador de formigas	1.9.2
org.apache.arrow	formato de seta	0,8.0
org.apache.arrow	memória de seta	0,8.0
org.apache.arrow	vetor de seta	0,8.0
org.apache.avro	AVRO	1.7.7
org.apache.avro	avro-ipc	1.7.7
org.apache.avro	testes avro-iPC	1.7.7
org.apache.avro	avro-mapred-hadoop2	1.7.7
org.apache.calcite	calcita-avática	1.2.0 - incubação
org.apache.calcite	núcleo de calcita	1.2.0 - incubação
org.apache.calcite	calcita-linq4j	1.2.0 - incubação
org.apache.commons	compressa comum	1.4.1
org.apache.commons	criptomoeda comum	1.0.0
org.apache.commons	commons-lang3	3,5
org.apache.commons	commons-math3	3.4.1
org.apache.curator	curador-cliente	2.7.1
org.apache.curator	estrutura de curador	2.7.1
org.apache.curator	receitas de curadores	2.7.1
org.apache.derby	derby	10.12.1.1
org.apache.directory.api	api-asn1-api	1,0,0-M20
org.apache.directory.api	utilitário de API	1,0,0-M20
org.apache.directory.server	apacheds-i18n	2,0,0-M15
org.apache.directory.server	codec apacheds-kerberos	2,0,0-M15
org.apache.hadoop	hadoop-anotação	2.7.3
org.apache.hadoop	autenticação hadoop	2.7.3
org.apache.hadoop	cliente hadoop	2.7.3
org.apache.hadoop	hadoop-comum	2.7.3
org.apache.hadoop	hadoop-HDFS	2.7.3
org.apache.hadoop	aplicativo cliente hadoop mapreduce	2.7.3
org.apache.hadoop	hadoop-mapreduce-client-common	2.7.3
org.apache.hadoop	núcleo do cliente hadoop-mapreduce	2.7.3
org.apache.hadoop	hadoop-mapreduce-client-jobclient	2.7.3
org.apache.hadoop	hadoop-mapreduce-client-shuffle	2.7.3
org.apache.hadoop	API hadoop yarn	2.7.3
org.apache.hadoop	cliente hadoop-yarn	2.7.3
org.apache.hadoop	hadoop-yarn-common	2.7.3
org.apache.hadoop	servidor hadoop-yarn-comum	2.7.3
org.apache.htrace	htrace-core	3.1.0 - incubação
org.apache.httpcomponents	cliente http	4.5.4
org.apache.httpcomponents	httpcore	4.4.8
org.apache.ivy	hera	2.4.0
org.apache.orc	orc-core-no-hive	1.4.3
org.apache.orc	orc-mapreduce-nohive	1.4.3
org.apache.parquet	coluna de parquete	1.8.3 - blocos de dados 2
org.apache.parquet	parquete comum	1.8.3 - blocos de dados 2
org.apache.parquet	codificação de parquet	1.8.3 - blocos de dados 2
org.apache.parquet	formato de parquet	2.3.1
org.apache.parquet	parquet-hadoop	1.8.3 - blocos de dados 2
org.apache.parquet	parquet-jackson	1.8.3 - blocos de dados 2
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.9.3
org.apache.xbean	xbean-asm5-shaded	4.4
org.apache.zookeeper	tratador	3.4.6
org.bouncycastle	bcprov-jdk15on	1,58
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-jaxers	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.jackson	jackson-xc	1.9.13
org.codehaus.janino	compilador common	3.0.8
org.codehaus.janino	janino	3.0.8
org.datanucleus	núcleo de dados-api-jdo	3.2.6
org.datanucleus	núcleo de dados	3.2.10
org.datanucleus	núcleo de dados-rdbms	3.2.9
org.Eclipse.jetty	jetty-client	9.3.20.v 20170531
org.Eclipse.jetty	continuação do cais	9.3.20.v 20170531
org.Eclipse.jetty	jetty-http	9.3.20.v 20170531
org.Eclipse.jetty	jetty-io	9.3.20.v 20170531
org.Eclipse.jetty	jetty-jndi	9.3.20.v 20170531
org.Eclipse.jetty	jetty-plus	9.3.20.v 20170531
org.Eclipse.jetty	jetty-proxy	9.3.20.v 20170531
org.Eclipse.jetty	segurança do cais	9.3.20.v 20170531
org.Eclipse.jetty	servidor jetty-server	9.3.20.v 20170531
org.Eclipse.jetty	jutty-servlet	9.3.20.v 20170531
org.Eclipse.jetty	píer de servlets	9.3.20.v 20170531
org.Eclipse.jetty	jetty-util	9.3.20.v 20170531
org.Eclipse.jetty	aplicativo web jetty-	9.3.20.v 20170531
org.Eclipse.jetty	jetty-xml	9.3.20.v 20170531
org.fusesource.leveldbjni	leveldbjni-tudo	1,8
org.glassfish.hk2	API hk2	2.4.0-b34
org.glassfish.hk2	localizador hk2	2.4.0-b34
org.glassfish.hk2	hk2-utils	2.4.0-b34
org.glassfish.hk2	osgi-recurso-locator	1.0.1
org.glassfish.hk2.external	aopalliance - reembalado	2.4.0-b34
org.glassfish.hk2.external	javax.inject	2.4.0-b34
org.glassfish.jersey.bundles.reembalado	jersey-goiaba	2.22.2
org.glassfish.jersey.containers	servlet de contêiner de camisa	2.22.2
org.glassfish.jersey.containers	jersey-container-servlet-core	2.22.2
org.glassfish.jersey.core	cliente de camisa	2.22.2
org.glassfish.jersey.core	camiseta comum	2.22.2
org.glassfish.jersey.core	servidor de camisa	2.22.2
org.glassfish.jersey.media	jersey-media-jaxb	2.22.2
org.hibernate	validador de hibernação	5.1.1. Final
org.iq80.snappy	atrevida	0,2
org.javassist	javassist	3.18.1-GA
org.jboss.logging	registro de jboss-logging	3.1.3. GA
org.jdbi	jdbi	2.63,1
org.joda	conversor de joda	1.7
org.jodd	núcleo nodular	3.5.2
org.json4s	json4s-ast_2.11	3.2.11
org.json4s	json4s-core_2.11	3.2.11
org.json4s	json4s-jackson_2.11	3.2.11
org.lz4	lz4-java	1.4.0
org.mariadb.JDBC	cliente mariadb-java	2.1.2
org.mockito	mockito-all	1.9.5
org.objenesis	objênese	2.1
org.postgresql	PostgreSQL	42,14
org.roaringbitmap	Mapa de bits estrondoso	0.5.11
org.rocksdb	rocksdbjni	5.2.1
org.rosuda.rEngine	Motor	2.1.0
org.Scala-lang	Scala-compiler_2.11	2.11.8
org.Scala-lang	Scala-biblioteca.11	2.11.8
org.Scala-lang	Scala-reflect_2.11	2.11.8
org.Scala-lang	scalap_2.11	2.11.8
org.Scala-lang.modules	Scala-parser-combinators_2.11	1.0.2
org.Scala-lang.modules	Scala-xml_2.11	1.0.5
org.Scala-sbt	interface de teste	1,0
org.scalacheck	scalacheck_2.11	1,12.5
org.scalanlp	breeze-macros_2.11	0,13.2
org.scalanlp	breeze_2.11	0,13.2
org.scalatest	scalatest_2.11	2.2.6
org.slf4j	jcl-over-slf4j	1.7.16
org.slf4j	jul-a-slf4j	1.7.16
org.slf4j	slf4j-api	1.7.16
org.slf4j	slf4j-log4j12	1.7.16
org.spark-project.hive	hive-beeline	1.2.1. spark2
org.spark-project.hive	colmeia-CLI	1.2.1. spark2
org.spark-project.hive	hive-exec	1.2.1. spark2
org.spark-project.hive	hive-JDBC	1.2.1. spark2
org.spark-project.hive	Hive metastore	1.2.1. spark2
org.spark-project.spark	não utilizado	1.0.0
org.spire-math	spire-macros_2.11	0,13,0
org.spire-math	spire_2.11	0,13,0
org.springframework	núcleo de mola	4.1.4. LANÇAMENTO
org.springframework	teste de primavera	4.1.4. LANÇAMENTO
org.tukaani	xz	1,0
org.typelevel	maquinista_2.11	0.6.1
org.typelevel	macro-compat_2.11	1.1.1
org.xerial	sqlite-JDBC	3.8.11.2
org.xerial.snappy	snappy-java	1.1.2.6
org.yaml	snakeyaml	1,16
oro	oro	2.0.8
software.Amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1
xmlenc	xmlenc	0,52