Databricks Runtime 10.1 (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

As notas a seguir sobre a versão fornecem informações sobre Databricks Runtime 10.1 e Databricks Runtime 10.1 Photon, alimentado por Apache Spark 3.2.0. A Databricks lançou essa versão em novembro de 2021. O Photon está em visualização pública.

Novos recursos e melhorias

• Novas configurações da tabela Delta para compactar arquivos pequenos
• Novas métricas de grupo de linhas para varreduras de consultas Parquet
• Trigger.AvailableNow para consultas de transmissão da fonte Delta
• Trigger.AvailableNow para o Auto Loader
• Suporte Delta para configurações do sistema de arquivos do Hadoop que são passadas por meio de opções DataFrame
• O checkpointing assíncrono do estado agora é compatível com o trabalho de transmissão com estado (Public Preview)
• Sparklyr com passagem de credenciais
• Databricks utilidades data summarize precision control (Public Preview)
• Databricks credenciais de utilidades API para R
• Databricks O Notebook agora pode ser usado com o kernel IPython
• Novas funções no Spark SQL

Novas configurações da tabela Delta para compactar arquivos pequenos

A propriedade da tabela Delta delta.autoOptimize.autoCompact agora aceita os novos valores de auto e legacy, além dos valores existentes de true e false. Quando definido como auto (recomendado), a compactação automática usa um padrão melhor, como a definição de 32 MB como o tamanho do arquivo de destino (embora os comportamentos do site default estejam sujeitos a alterações no futuro). Quando definida como legacy ou true, a compactação automática usa 128 MB como tamanho do arquivo de destino.

Em vez de definir essa propriedade para uma tabela individual, o senhor pode definir a configuração spark.databricks.delta.autoCompact.enabled como auto, legacy, ou true para ativar a compactação automática para todas as tabelas Delta. Essa configuração tem precedência sobre a propriedade da tabela relacionada durante a sessão atual.

O tamanho do arquivo de destino para compactação automática pode ser controlado com a configuração spark.databricks.delta.autoCompact.maxFileSize.

Para obter mais informações sobre Auto Compaction, consulte Auto compaction for Delta Lake em Databricks.

Novas métricas de grupo de linhas para varreduras de consultas Parquet

As consultas com varreduras em Parquet agora apresentam métricas de grupos de linhas em Spark UI. Essas métricas de grupo de linhas são:

• Número total de Parquet grupos de linhas
• Número de grupos de linhas Parquet lidos

Trigger.AvailableNow para consultas de transmissão da fonte Delta

Essa alteração oferece suporte a um novo tipo de acionador para consultas de transmissão de origem Delta em Scala: Trigger.AvailableNow. É como Trigger.Once, que processa todos os dados disponíveis e interrompe a consulta. No entanto, o site Trigger.AvailableNow oferece melhor escalabilidade, pois os dados podem ser processados em vários lotes em vez de um. Essa alteração não introduz uma nova interface; ela implementa uma existente Spark API. Esse acionador também suporta todas as opções de limitação de taxa que já são suportadas pelo Delta como uma fonte.

Exemplo:

Scala

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Veja a cobertura do site Trigger.AvailableNow em What is Auto Loader?

Trigger.AvailableNow para o Auto Loader

Trigger.AvailableNow é um novo modo de acionamento de transmissão semelhante ao Trigger.Once. Trigger.Once processa todos os dados disponíveis e, em seguida, interrompe a consulta. Trigger.AvailableNow tem melhor escalabilidade, pois os dados podem ser processados em vários lotes em vez de um. O Auto Loader agora é compatível com Trigger.AvailableNow nos modos de listagem de diretórios e notificação de arquivos para Scala. Veja a cobertura do site Trigger.AvailableNow em What is Auto Loader?

Suporte Delta para configurações do sistema de arquivos do Hadoop que são passadas por meio de opções DataFrame

Semelhante ao Parquet, o Delta agora suporta a leitura das configurações do sistema de arquivos do Hadoop das opções DataFrameReader e DataFrameWriter quando a tabela é lida ou gravada, usando DataFrameReader.load(path) ou DataFrameWriter.save(path). Consulte Configurar credenciais de armazenamento Delta.

O checkpointing assíncrono do estado agora é compatível com o trabalho de transmissão com estado (Public Preview)

O checkpointing assíncrono de estado é um novo recurso que pode reduzir a latência de microbatch de ponta a ponta no trabalho de transmissão com estado com grandes atualizações de estado. Consulte Ponto de verificação de estado assíncrono para consultas com estado.

Sparklyr com passagem de credenciais

Agora o senhor pode usar o Sparklyr APIs para ler e gravar dados de e para o armazenamento em nuvem usando a passagem de credenciais. Essa funcionalidade é limitada ao clustering padrão com acesso de usuário único. Consulte Acessar S3 com passagem de credencial IAM com SCIM (legado).

Databricks utilidades data summarize precision control (Public Preview)

Um novo parâmetro precise para dbutils.data.summarize controla a precisão dos resultados resumidos. Quando precise é definido como falso (o default), o resumo retorna resultados aproximados para contagem distinta, percentil e contagem de itens frequentes. Quando precise é definido como true, os resumos agora são computados com contagem exata de itens distintos e frequentes, com estimativas de percentil mais precisas. Consulte o comando summarize (dbutils.data.summarize).

Databricks credenciais de utilidades para R API

Agora o senhor pode usar o site dbutils.credentials com passagem de credencial no R Notebook. Consulte Utilidades de credenciais (dbutils.credentials).

Databricks O Notebook agora pode ser usado com o kernel IPython

Agora, o senhor pode configurar um clustering Databricks para usar o kernel IPython para executar o código Python. O uso do kernel do IPython no Databricks adiciona suporte às ferramentas de exibição e saída do IPython. Além disso, o kernel do IPython captura as saídas stdout e stderr dos processos filhos criados por um Notebook, permitindo que essa saída seja incluída nos resultados do comando do Notebook.

Para obter mais informações, consulte IPython kernel.

Novas funções no Spark SQL

Os seguintes objetos e comandos foram adicionados para trabalhar com dados em Unity Catalog (Preview):

• Localizações externas
• ALTER CATALOG
• ALTER CREDENTIAL
• ALTER LOCATION
• CREATE CATALOG
• CREATE LOCATIONIZAÇÃO
• CREATE RECIPIENT
• DESCRIBE CATALOG
• DESCRIBE CREDENTIAL
• DESCRIBE LOCATION
• DROP CATALOG
• DROP CREDENTIAL
• DROP LOCATION
• Lista
• SHOW CATALOGS
• SHOW CREDENTIALS
• SHOW LOCATIONS
• USE CATALOG

Os comandos a seguir foram adicionados ao siteDelta Sharing (Preview), que permite que o senhor compartilhe dados somente leitura com destinatários fora da sua organização:

• Compartilhar
• ALTER SHARE
• CREATE SHARE
• DESCRIBE RECIPIENT
• DESCRIBE SHARE
• DROP RECIPIENT
• DROP SHARE
• GRANT SHARE
• REVOKE SHARE
• SHOW ALL IN SHARE
• SHOW RECIPIENTS
• SHOW SHARES
• SHOW GRANTS ON SHARE
• SHOW GRANTS TO RECIPIENT

Correções de bugs

• Foi corrigida uma condição de corrida que poderia causar uma falha na consulta com um IOException, como No FileSystem for scheme, ou que poderia fazer com que as modificações em sparkContext.hadoopConfiguration não entrassem em vigor nas consultas.

Atualizações da biblioteca

• Atualizado Python biblioteca:

  • filelock de 3.0.12 a 3.3.1
  • coalas de 1.8.1 a 1.8.2
  • plotly a partir de 5.1.0 para 5.3.0

• Biblioteca R atualizada:

  • bslib de 0.3.0 a 0.3.1
  • cursor de 6,0-88 a 6,0-90
  • cpp11 de 0.3.1 a 0.4.0
  • data.table de 1.14.0 a 1.14.2
  • desc de 1.3.0 a 1.4.0
  • diffobj de 0.3.4 a 0.3.5
  • resumo de 0.6.27 a 0.6.28
  • genéricos a partir de 0.1.0 para 0.1.1
  • HMS a partir da versão 1.1.0 para 1.1.1
  • knitr de 1,34 a 1,36
  • rede de 0,20-44 a 0,20-45
  • ciclo de vida de 1.0.0 a 1.0.1
  • lubrificar de 1.7.10 a 1.8.0
  • mgcv de 1,8-37 a 1,8-38
  • mime de 0,11 a 0,12
  • pkgload de 1.2.2 a 1.2.3
  • progressor de 0.8.0 para 0.9.0
  • rcmdcheck de 1.3.3 a 1.4.0
  • leitor de 2.0.1 a 2.0.2
  • receitas de 0.1.16 para 0.1.17
  • remotos de 2.4.0 a 2.4.1
  • rlang de 0.4.11 a 0.4.12
  • rvest de 1.0.1 a 1.0.2
  • brilhante de 1.6.0 a 1.7.1
  • stringi de 1.7.4 a 1.7.5
  • testthat de 3.0.4 a 3.1.0
  • tidyr a partir da 1.1.3 para 1.1.4
  • tinytex de 0,33 a 0,34
  • use isso de 2.0.1 a 2.1.2
  • xfun de 0,26 a 0,27

• Atualizado Java biblioteca:

  • com.zaxxer.Hikaricp de 3.1.0 para 4.0.3

Apache Spark

O Databricks Runtime 10.1 inclui o Apache Spark 3.2.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 10.0 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-37037] [SQL] Melhore a classificação da matriz de bytes unificando a função compareTo de UTF8String e ByteArray
• [SPARK-37091] [R] SystemRequirements para incluir Java < 18
• [SPARK-37041] [SQL] Suporte ao HIVE-15025: suporte à camada de soquete seguro (SSL) para HMS
• [SPARK-37098] [SQL] Alterar as propriedades da tabela deve invalidar o cache
• [SPARK-36992] [SQL] Melhore o desempenho da classificação da matriz de bytes unificando a função getPrefix de UTF8String e ByteArray
• [SPARK-37047] [SQL] Adicionar funções lpad e rpad para strings binárias
• [SPARK-37076] [SQL] Implementar StructType.toString explicitamente para Scala 2.13
• [SPARK-37075] [SQL] Mover a criação de expressões UDAF de sql/catalyst para sql/core
• [SPARK-37084] [SQL] Definir spark.sql.files.openCostInBytes para bytesConf
• [SPARK-37088] [PySpark][sql] O thread do escritor não deve acessar a entrada após o retorno do ouvinte de conclusão da tarefa
• [SPARK-37069] [SQL] Fazer um fallback adequado quando o Hive.getWithoutRegisterFns não estiver disponível
• [SPARK-37050] [Python] Atualizar as instruções de instalação do Conda
• [SPARK-37067] [SQL] Use ZoneId.of() para lidar com strings de fuso horário em DatetimeUtils
• [SPARK-35925] [SQL] Suporte ao DayTimeIntervalType na função width-bucket
• [SPARK-35926] [SQL] Adicionar suporte ao YearMonthIntervalType para width_bucket
• [SPARK-35973] [SQL] Adicionar comando SHOW CATALOGS
• [SPARK-36922] [SQL] As funções SIGN/SIGNUM devem ser compatíveis com os intervalos ANSI
• [SPARK-37078] [CORE] Ofereça suporte a construtores antigos de coletores de 3 parâmetros
• [SPARK-37061] [SQL] Corrigir CustomMetrics ao usar Inner Classes
• [SPARK-35918] [AVRO] Unificar o tratamento de incompatibilidade de esquema para leitura/gravação e aprimorar as mensagens de erro
• [SPARK-36871] [SQL]Migrar o comando CreateViewStatement para a v2
• [SPARK-36898] [SQL] Tornar configurável o fator de hash de embaralhamento join
• [SPARK-36921] [SQL] Suporte a intervalos ANSI por DIV
• [SPARK-36794] [SQL] Ignorar chave join duplicada ao criar relação para hash embaralhado SEMI/ANTI join
• [SPARK-36867] [SQL] Corrigir mensagem de erro com o alias GROUP BY
• [SPARK-36914] [SQL] Implementar dropIndex e listIndexes em JDBC (dialeto MySQL)
• [SPARK-35531] [SQL] Passe diretamente a tabela hive para o HiveClient ao chamar getPartitions para evitar a conversão desnecessária de HiveTable -> CatalogTable - -> HiveTable
• [SPARK-36718] [SQL] Somente colapse projetos se não duplicarmos expressões caras
• [SPARK-37046] [SQL]: ALTER VIEW não preserva a capitalização da coluna
• [SPARK-36978] [SQL] A regra InferConstraints deve criar restrições IsNotNull no campo aninhado acessado em vez de no tipo aninhado raiz
• [SPARK-37052] [CORE] O Spark só deve passar o argumento -verbose para a classe principal quando for um shell sql
• [SPARK-37017] [SQL] Reduzir o escopo do synchronized para evitar um possível deadlock
• [SPARK-37032] [SQL] Corrigir link de sintaxe de SQL quebrado na página de referência de SQL
• [SPARK-36905] [SQL] Corrigir a leitura da visualização da colmeia sem nomes de coluna explícitos
• [SPARK-36678] Migrar SHOW TABLES para usar o comando V2 by default
• [SPARK-36943] [SQL] Melhorar a legibilidade da mensagem de erro de coluna ausente
• [SPARK-36980] [SQL] Inserir consulta de suporte com CTE
• [SPARK-37001] [SQL] Desabilitar dois níveis de mapa para a agregação de hash final por default
• [SPARK-36970] [SQL] Formato manual desativado B da função date_format para tornar o Java 17 compatível com o Java 8
• [SPARK-36546] [SQL] Adicionar suporte de matriz à união por nome
• [SPARK-36979] [SQL] Adicionar regra RewriteLateralSubquery em nonExcludableRules
• [SPARK-36949] [SQL] Não permitir tabelas do provedor Hive com intervalos ANSI
• [SPARK-36849] [SQL] Migrar UseStatement para a estrutura de comando v2
• [SPARK-36868] [SQL] Migrar CreateFunctionStatement para a estrutura de comando v2
• [SPARK-36841] [SQL] Adicionar a sintaxe ansi set catalog xxx para alterar o catálogo atual
• [SPARK-36821] [SQL] Tornar a classe ColumnarBatch extensível - adendo
• [SPARK-36963] [SQL] Adicionar max_by/min_by a sql.functions
• [SPARK-36913] [SQL] Implementar createIndex e IndexExists no DS V2 JDBC (dialeto MySQL)
• [SPARK-36848] [SQL] Migrar ShowCurrentNamespaceStatement para a estrutura de comando v2
• [SPARK-36526] [SQL] Suporte ao índice DSV2: Adicionar interface supportsIndex
• [SPARK-36960] [SQL] Filtros pushdown com valores de intervalo ANSI para ORC
• [SPARK-36929] [SQL] Remover método não utilizado EliminateSubqueryAliasesSuite#assertEquivalent
• [SPARK-36931] [SQL] Suporte à leitura e gravação de intervalos ANSI de/para fontes de dados ORC
• [SPARK-34980] [SQL] Suporte à partição de coalescência por meio de união no AQE
• [SPARK-36809] [SQL] Remover transmissão para InSubqueryExec usado no DPP
• [SPARK-36813] [SQL][Python] Propor uma infraestrutura de as-of join e imlement ps.merge
• [SPARK-36918] [SQL] Ignorar tipos ao comparar structs para unionByName
• [SPARK-36891] [SQL] Refatorar SpecificParquetRecordReaderBase e adicionar mais cobertura na decodificação vetorizada do Parquet
• [SPARK-36920] [SQL] Suporte a intervalos ANSI por ABS()
• [SPARK-36888] [SQL] adicionar casos de teste para a função sha2
• [SPARK-36889] [SQL] Respeitar spark.sql.parquet.filterPushdown pelo construtor de varredura v2 Parquet
• [SPARK-36830] [SQL] Suporte à leitura e gravação de intervalos ANSI de/para fontes de dados JSON
• [SPARK-36870] [SQL] Introduzir a classe de erro INTERNAL_ERROR
• [SPARK-36831] [SQL] Suporte à leitura e gravação de intervalos ANSI de/para fontes de dados CSV.
• [SPARK-36550] [SQL] Causa da propagação quando a reflexão do UDF falha
• [SPARK-36866] [SQL] Filtros pushdown com valores de intervalo ANSI para Parquet
• [SPARK-33832] [SQL] Simplificação e aprimoramento do código Force skew join
• [SPARK-36642] [SQL] Adicionar df.withMetadata PySpark API
• [SPARK-35765] [SQL] Aggs distintos não são sensíveis a duplicatas
• [SPARK-36825] [SQL] Ler/gravar dataframes com intervalos ANSI de/para arquivos Parquet
• [SPARK-36829] [SQL] Refatoração da verificação de NULL para collectionOperators
• [SPARK-32712] [SQL] Suporte à gravação de tabela em balde do Hive (formatos de arquivo do Hive com hash do Hive)
• [SPARK-36797] [SQL] A união deve resolver colunas aninhadas como colunas de nível superior
• [SPARK-36838] [SQL] Melhorar o desempenho do código gerado pelo InSet
• [SPARK-36683] [SQL] Adicionar novas funções integradas SQL: SEC e CSC
• [SPARK-36721] [SQL] Simplificar igualdades booleanas se um lado for literal
• [SPARK-36760] [SQL] Adicionar interface SupportsPushDownV2Filters
• [SPARK-36652] [SQL] A seleção dinâmica do AQE join não deve ser aplicada a sistemas não equitativos. join
• [SPARK-36745] [SQL] ExtractEquiJoinKeys deve retornar os predicados originais na chave join
• [SPARK-36107] [SQL] Refatorar o primeiro conjunto de 20 erros de execução de consulta para usar classes de erro
• [SPARK-32709] [SQL] Suporte à gravação de tabela em balde do Hive (formato Parquet/ORC com hash do Hive)
• [SPARK-36735] [SQL] Ajustar a sobrecarga da relação em cache para DPP
• [SPARK-33832] [SQL] Suporte para otimizar o join enviesado, mesmo se introduzir um embaralhamento extra
• [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec deve usar todas as condições em vez de condições não iguais
• [SPARK-35221] [SQL] Adicionar a verificação das dicas compatíveis com join
• [SPARK-36814] [SQL] Tornar a classe ColumnarBatch extensível
• [SPARK-36663] [SQL] Suporte a nomes de colunas somente com números em ORC fonte de dados
• [SPARK-36751] [SQL][Python][R] Adicionar bit/octet_length APIs a Scala, Python e R
• [SPARK-36733] [SQL] Corrige um problema de desempenho no SchemaPruning quando uma estrutura tem muitos campos
• [SPARK-36724] [SQL] Suporte a timestamp_ntz como um tipo de coluna de tempo para SessionWindow
• [SPARK-36556] [SQL] Adicionar filtros DSV2
• [SPARK-36687] [SQL][core] Renomear classes de erro com o sufixo _ERROR
• [SPARK-35803] [SQL] Suporte ao DataSource V2 CreateTempViewUsing
• [SPARK-36642] [SQL] Adicionar df.withMetadata: uma sugestão de sintaxe para atualizar os metadados de um dataframe

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 10.1.

Ambiente do sistema

• Sistema operacional : Ubuntu 20.04.3 LTS
• Java : Zulu 8.56.0.21-CA-linux64
• Scala : 2.12.14
• Python : 3.8.10
• R : 4.1.1
• Delta Lake : 1.0.0

Instalado Python biblioteca

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
Antergos Linux	2015.10 (versão ISO)	apronta	1.4.4	argônio-2-cffi	20.1.0
gerador assíncrono	1,10	atrai	20,3,0	chamada de volta	0.2.0
cândida	3.3.0	boto3	1,16.7	botocore	1.19,7
certifi	2020.12,5	caffi	1,14.5	chardet	4.0.0
ciclador	0.10.0	Cython	0,29,23	dbus-Python	1.2.16
decorador	5.0.6	xml desfundido	0.7.1	distlib	0.3.3
informação da distribuição	0,23 ubuntu 1	pontos de entrada	0,3	visão geral das facetas	1.0.0
bloqueio de arquivo	3.3.1	Índia	2,10	ipykernel	5.3.4
ipython	7.22,0	ipython-genutils	0.2.0	ipywidgets	7.6.3
jedi	0,17.2	Jinja 2	2.11.3	jmespath	0.10.0
joblib	1.0.1	esquema json	3.2.0	cliente jupyter	6.1.12
núcleo jupyter	4.7.1	pigmentos jupyterlab	0.1.2	widgets jupyterlab	1.0.0
solucionador de kiwi	1.3.1	coalas	1.8.2	MarkupSafe	2.0.1
Matplotlib	3.4.2	confundir	0,8.4	cliente nb	0.5.3
nbconvert	6.0.7	formato nb	5.1.3	nest-assíncio	1.5.1
notebook	6.3.0	entorpecido	1.19.2	fazendo às malas	20,9
Pandas	1.2.4	filtros pandóicos	1.4.3	parso	0.7.0
bode expiatório	0.5.1	esperar	4.8.0	picles	0.7.5
Travesseiro	8.2.0	pip	21.0.1	Plotly	5.3.0
cliente prometheus	0.10.1	kit de ferramentas de aviso	3.0.17	protobuf	3.17.2
psycopg2	2.8.5	processo pty	0.7.0	flecha	4.0.0
pycparser	2,20	Pigmentos	2.8.1	Objeto PYG	3,36,0
análise de pipa	2.4.7	persistente	0,17.3	Python-apt	2.0.0+ubuntu0.20.4.6
Python-dateutil	2.8.1	pytz	2020,5	pizma	20.0.0
pedidos	2.25.1	solicitações - soquete unix	0.2.0	transferência s3	0.3.7
scikit-learn	0,24,1	pegajoso	1.6.2	marítimo	0.11.1
Enviar 2 lixeiras	1.5.0	ferramentas de configuração	52,0,0	seis	1,15.0
ID de importação ssh	5,10	modelos de estatísticas	0.12.2	tenacidade	8.0.1
terminado	0.9.4	caminho de teste	0.4.4	threadpool ctl	2.1.0
tornado	6.1	almôndegas	5.0.5	atualizações autônomas	0,1
urllib3	1,25.11	ambiente virtual	20.4.1	largura do wc	0.2.5
codificações da web	0.5.1	Python wheel	0,36,2	extensão widgetsnb	3.5.1

Instalada a R biblioteca

As bibliotecas R são instaladas a partir do Snapshot Microsoft CRAN em 26/10/2021.

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
askpass	1.1	afirme que	0.2.1	portas traseiras	1.2.1
base	4.1.1	base64enc	0,1-3	pouco	4.0.4
bit64	4.0.5	bolha	1.2.2	inicialização	1,3-28
fermentar	1,0-6	brio	1.1.2	vassoura	0.7.9
babião	0.3.1	cachem	1.0.6	chamador	3.7.0
cursor	6,0-90	guarda de celas	1.1.0	crono	2,3-56
Aula	7,3-19	CLIPE	3.0.1	clipe	0.7.1
Cluster	2.1.2	ferramentas de código	0,2-18	espaço de cores	2,0-2
marca comum	1.7	compilador	4.1.1	configuração	0.3.1
cpp11	0.4.0	giz de cera	1.4.1	Credenciais	1.3.1
cacho	4.3.2	data.tabela	1.14.2	conjunto de dados	4.1.1
DBI	1.1.1	dbplyr	2.1.1	desc	1.4.0
ferramentas de desenvolvimento	2.4.2	diff	0.3.5	digerir	0,6.28
dplyr	1.0.7	dtplyr	1.1.0	e1071	1,7-9
reticências	0.3.2	avalie	0,14	fansi	0.5.0
colorista	2.1.0	mapa rápido	1.1.0	fontawesome	0.2.2
para gatos	0.5.1	para cada um	1.5.1	estrangeira	0,8-81
forjar	0.2.0	fs	1.5.0	futuro	1.22.1
futuro.aplique	1.8.1	gargarejar	1.2.0	genéricas	0.1.1
obter	1.4.1	ggplot2	3.3.5	gh	1.3.0
gitcreds	0.1.1	glmnet	4,1-2	globais	0.14.0
cola	1.4.2	google drive	2.0.0	planilhas do Google 4	1.0.0
goleiro	0.2.2	gráficos	4.1.1	Dispositivos GR	4.1.1
grade	4.1.1	Grid Extra	2.3	gsubfn	0,7
mesa	0.3.0	refúgio	2.4.3	mais alto	0,9
HMS	1.1.1	ferramentas html	0.5.2	widgets html	1.5.4
http.uv	1.6.3	httr	1.4.2	escritor	1.3.2
HWriter Plus	1,0-3	IDs	1.0.1	mini	0.3.1
ipred	0,9-12	isóbanda	0.2.5	iteradores	1,0.13
jquerylib	0.1.4	jsonlite	1.7.2	Kern Smooth	2,23-20
tricotar	1,36	rótulo	0.4.2	posteriormente	1.3.0
treliça	0,20-45	lava	1.6.10	ciclo de vida	1.0.1
ouvindo	0,8.0	lubrificar	1.8.0	magritter	2.0.1
Markdown	1.1	MASSA	7,3-54	Matriz	1,3-4
memoise	2.0.0	métodos	4.1.1	mgcv	1,8-38
mímica	0,12	Métricas do modelo	1.2.2.2	modelar	0.1.8
munsell	0.5.0	nome	3,1-152	net	7,3-16
Número Deriv	2016,8-1,1	openssl	1.4.5	paralelo	4.1.1
paralelamente	1.28,1	pilar	1.6.4	pkgbuild	1.2.0
pkgconfig	2.0.3	carregamento de pacotes	1.2.3	plogr	0.2.0
plyr	1.8.6	elogio	1.0.0	unidades bonitas	1.1.1
ProC	1,18.0	processa	3.5.2	prodlim	13/11/2019
progresso	1.2.2	progressista	0.9.0	promessas	1.2.0.1
proto	1.0.0	proxy	0,4-26	ps	1.6.0
ronronar	0.3.4	r2d3	0.2.5	R6	2.5.1
Floresta aleatória	4,6-14	corredeiras	0.3.3	rcmdcheck	1.4.0
Cervejaria RColor	1,1-2	Rcpp	1.0.7	leitor	2.0.2
readxl	1.3.1	receitas	0,1,17	revanche	1.0.1
revanche 2	2.1.2	controles remotos	2.4.1	reprex	2.0.1
remodelar 2	1.4.4	rlang	0.4.12	rmarkdown	2,11
RODBC	1,3-19	roxigênio2	7.1.2	rpartem	4,1-15
rprojroot	2.0.2	Reservar	1,8-8	RSQLite	2.2.8
API do estúdio	0,13	reversões	2.1.1	colete	1.0.2
atrevimento	0.4.0	escala	1.1.1	seletor	0,4-2
informações da sessão	1.1.1	forma	1.4.6	brilhante	1.7.1
ferramentas de origem	0.1.7	Sparklyr	1.7.2	SparkR	3.2.0
espacial	7,3-11	splines	4.1.1	sqldf	0,4-11
QUADRADO	2021,1	estatísticas	4.1.1	estatísticas4	4.1.1
stringi	1.7.5	longarina	1.4.0	sobrevivência	3,2-13
diz	3.4	tcltk	4.1.1	Demonstrações de ensino	2,10
teste isso	3.1.0	petiscar	3.1.5	arrumado	1.1.4
seleção arrumada	1.1.1	tidyverso	1.3.1	Hora/Data	3043,102
tinytex	0,34	Ferramentas	4.1.1	tzdb	0.1.2
use isso	2.1.2	utf 8	1.2.2	utilidades	4.1.1
uuid	0,1-4	vctrs	0.3.8	Viridis Lite	0.4.0
vadouro	1.5.5	waldo	0.3.1	bigode	0,4
murchar	2.4.2	diversão	0,27	xml2	1.3.2
xopen	1.0.0	x estável	1,8-4	yaml	2.2.1
compactar	2.2.0

Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)

ID do grupo	ID do artefato	Versão
chifre	chifre	2.7.7
com.amazonaws	Amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscale	1,11.655
com.amazonaws	formação de nuvem aws-java-sdk	1,11.655
com.amazonaws	aws-java-sdk-cloudfront	1,11.655
com.amazonaws	aws-java-sdk-cloudhsm	1,11.655
com.amazonaws	aws-java-sdk-cloudsearch	1,11.655
com.amazonaws	aws-java-sdk-cloudtrail	1,11.655
com.amazonaws	aws-java-sdk-cloudwatch	1,11.655
com.amazonaws	métricas aws-java-sdk-cloudwatch	1,11.655
com.amazonaws	aws-java-sdk-codedeploy	1,11.655
com.amazonaws	identidade cognitiva aws-java-sdk	1,11.655
com.amazonaws	aws-java-sdk-cognitosync	1,11.655
com.amazonaws	aws-java-sdk-config	1,11.655
com.amazonaws	aws-java-sdk-core	1,11.655
com.amazonaws	pipeline de dados aws-java-sdk	1,11.655
com.amazonaws	aws-java-sdk-conexão direta	1,11.655
com.amazonaws	diretório aws-java-sdk	1,11.655
com.amazonaws	aws-java-sdk-dynamodb	1,11.655
com.amazonaws	aws-java-sdk-ec2	1,11.655
com.amazonaws	aws-java-sdk-ecs	1,11.655
com.amazonaws	aws-java-sdk-efs	1,11.655
com.amazonaws	aws-java-sdk-elasticache	1,11.655
com.amazonaws	aws-java-sdk-elasticbeanstalk	1,11.655
com.amazonaws	balanceamento de carga elástico aws-java-sdk	1,11.655
com.amazonaws	transcodificador elástico aws-java-sdk-	1,11.655
com.amazonaws	aws-java-sdk-emr	1,11.655
com.amazonaws	aws-java-sdk-glacier	1,11.655
com.amazonaws	aws-java-sdk-glue	1,11.655
com.amazonaws	aws-java-sdk-iam	1,11.655
com.amazonaws	aws-java-sdk-importação/exportação	1,11.655
com.amazonaws	aws-java-sdk-kinesis	1,11.655
com.amazonaws	aws-java-sdk-kms	1,11.655
com.amazonaws	aws-java-sdk-lambda	1,11.655
com.amazonaws	aws-java-sdk-logs	1,11.655
com.amazonaws	aws-java-sdk - aprendizado de máquina	1,11.655
com.amazonaws	aws-java-sdk-opsworks	1,11.655
com.amazonaws	aws-java-sdk-rds	1,11.655
com.amazonaws	aws-java-sdk-redshift	1,11.655
com.amazonaws	aws-java-sdk-route53	1,11.655
com.amazonaws	aws-java-sdk-s3	1,11.655
com.amazonaws	aws-java-sdk-ses	1,11.655
com.amazonaws	aws-java-sdk-simpledb	1,11.655
com.amazonaws	aws-java-sdk - fluxo de trabalho simples	1,11.655
com.amazonaws	aws-java-sdk-sns	1,11.655
com.amazonaws	aws-java-sdk-sqs	1,11.655
com.amazonaws	aws-java-sdk-ssm	1,11.655
com.amazonaws	gateway de armazenamento aws-java-sdk	1,11.655
com.amazonaws	aws-java-sdk-sts	1,11.655
com.amazonaws	suporte aws-java-sdk	1,11.655
com.amazonaws	aws-java-sdk-swf-biblioteca	1.11.22
com.amazonaws	aws-java-sdk-workspace	1,11.655
com.amazonaws	jmespath-java	1,11.655
com.chuusai	sem forma_2.12	2.3.3
com.clearspring.analítica	transmissão	2.9.6
com.databricks	Reservar	1,8-3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	plugin_2.12 do compilador	0,4,15-10
com.databricks.scalapb	scalapb-runtime_2.12	0,4,15-10
com.esotérico software	crio-sombreado	4.0.2
com.esotérico software	minlog	1.3.0
com.fasterxml	colega de classe	1.3.4
com.fasterxml.jackson.core	jackson-anotação	2.12.2
com.fasterxml.jackson.core	jackson-core	2.12.2
com.fasterxml.jackson.core	vinculação de dados jackson	2.12.2
formato de dados com.fasterxml.jackson.	formato de dados jackson-cbor	2.12.2
com.fasterxml.jackson.tipo de dados	jackson-datatype-joda	2.12.2
com.fasterxml.jackson.module	parâmetro do módulo jackson	2.12.2
com.fasterxml.jackson.module	jackson-module-Scala.12	2.12.2
com.github.ben-manes.cafeína	cafeína	2.3.4
com.github.fommil	descarregador	1.1
com.github.fommil.netlib	abdômen	1.1.2
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java-nativos	1.1
com.github.fommil.netlib	sistema_nativo-java	1.1
com.github.fommil.netlib	native_system-java-natives	1.1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1.1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1.1
com.github.luben	zstd-jni	1,5,0-4
com.github.wendykierp	JTransforma	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.8.6
com.google.crypto.tink	eu acho	1.6.0
com.google.flatbuffers	tampões planos-java	1.9.0
com.google.goiaba	goiaba	15,0
com.google.protobuf	protobuf-java	2.6.1
banco de dados com.h2	h2	1,4,195
com.helger	perfilador	1.1.1
com.jcraft	jsch	0,1,50
com.jolbox	bonecp	VERSÃO 0.8.0.
com.lihaoyi	código-fonte_2.12	0.1.9
com.microsoft.azure	azure-data lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-JDBC	9.2.1. jre8
comendo	comprimir-lzf	1.0.3
com.sun.istack	istack-commons-runtime	3.0.8
com.sun.mail	javax.mail	1.5.2
com.trunning	JSON	1,8
com.thoughtworks.paranamer	paranâmero	2.8
com.trueaccord.lenses	lentes_2.12	0.4.12
com.Twitter	chill-java	0.10.0
com.Twitter	chill_2.12	0.10.0
com.Twitter	util-app_2.12	7.1.0
com.Twitter	util-core_2.12	7.1.0
com.Twitter	função-útil_2.12	7.1.0
com.Twitter	util-jvm_2.12	7.1.0
com.Twitter	util-lint_2.12	7.1.0
com.Twitter	util-registry_2.12	7.1.0
com.Twitter	util-stats_2.12	7.1.0
com.typesafe	configuração	1.2.1
com.typesafe.Scala-logging	Scala-logging_2.12	3.7.2
com.univocidade	analisadores de univocidade	2.9.1
com.zaxxer	HikaricP	4.0.3
comum-CLI	comum-CLI	1.2
codec comum	codec comum	1,15
coleções comuns	coleções comuns	3.2.2
commons-dbcp	commons-dbcp	1.4
upload de arquivo commons	upload de arquivo commons	1.3.3
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.8.0
linguagem comum	linguagem comum	2.6
registro de bens comuns	registro de bens comuns	1.1.3
commons-net	commons-net	3.1
comum-pool	comum-pool	1.5.4
dev.ludovic.netlib	mochila	1.3.2
dev.ludovic.netlib	blás	1.3.2
dev.ludovic.netlib	lapack	1.3.2
hive-2.3__hadoop-3.2	jets3t-0.7	liball_deps_2,12
info.ganglia.gmetric4j	gmetric4j	1.0.10
io. airlift	compressor de ar	0,19
io.delta	delta-compartilhamento-spark_2.12	0.2.0
io.dropwizard.métricas	núcleo de métricas	4.1.1
io.dropwizard.métricas	métricas-grafite	4.1.1
io.dropwizard.métricas	métricas-healthchecks	4.1.1
io.dropwizard.métricas	métricas-jetty9	4.1.1
io.dropwizard.métricas	métricas-jmx	4.1.1
io.dropwizard.métricas	métricas-JSON	4.1.1
io.dropwizard.métricas	métricas-JVM	4.1.1
io.dropwizard.métricas	métricas-servlets	4.1.1
io.netty	tudo	4.1.63. Final
io. prometheus	cliente simples	0.7.0
io. prometheus	simpleclient_common	0.7.0
io. prometheus	simpleclient_dropwizard	0.7.0
io. prometheus	gateway client_push simples	0.7.0
io. prometheus	client_servlet simples	0.7.0
io.prometheus.jmx	coletor	0.12.0
jakarta.anotação	jakarta.anotação-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validação	jakarta.validação-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.ativação	ativação	1.1.1
javax.anotação	javax.anotação-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	API de transação	1.1
javax.xml.bind	jaxb-api	2.2.2
javax.xml.transmissão	stax-api	1,0-2
javolução	javolução	5.5.1
junte-se	junte-se	2.14.6
hora do dia	hora do dia	2.10.5
log4j	apache-log4j-extras	1.2.17
log4j	log4j	1.2.17
Maven-árvores	hive-2.3__hadoop-3.2	liball_deps_2,12
net.java.dev.jna	jna	5.8.0
net.razorvine	pirolita	4,30
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	supercsv	2.2.0
net.snowflake	SDK de ingestão de flocos de neve	0.9.6
net.snowflake	floco de neve-JDBC	3.13.3
net.snowflake	floco de neve faísca_2.12	2.9.0-spark_3.1
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	chá remoto - oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4,8
org.antlr	modelo de string	3.2.1
org.apache.ant	formiga	1.9.2
org.apache.ant	formiga	1.9.2
org.apache.ant	lançador de formigas	1.9.2
org.apache.arrow	formato de seta	2.0.0
org.apache.arrow	núcleo de memória de seta	2.0.0
org.apache.arrow	rede de memória de seta	2.0.0
org.apache.arrow	vetor de seta	2.0.0
org.apache.avro	AVRO	1.10.2
org.apache.avro	avro-ipc	1.10.2
org.apache.avro	mapeado automaticamente	1.10.2
org.apache.commons	compressa comum	1,20
org.apache.commons	criptomoeda comum	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.4.1
org.apache.commons	texto comum	1,6
org.apache.curator	curador-cliente	2.13.0
org.apache.curator	estrutura de curador	2.13.0
org.apache.curator	receitas de curadores	2.13.0
org.apache.derby	derby	10.14.2.0
org.apache.hadoop	API de cliente hadoop	3.3.1 - blocos de dados
org.apache.hadoop	tempo de execução do cliente hadoop	3.3.1
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	colmeia-CLI	2.3.9
org.apache.hive	hive-JDBC	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-lap-common	2.3.9
org.apache.hive	colmeia	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	API de armazenamento em nuvem	2.7.2
org.apache.hive.shims	calços de colmeia - 0,23	2.3.9
org.apache.hive.shims	calços de colmeia comuns	2.3.9
org.apache.hive.shims	hive-shims-programador	2.3.9
org.apache.htrace	htrace-core4	4.1.0 - incubação
org.apache.httpcomponents	cliente http	4.5.13
org.apache.httpcomponents	httpcore	4.4.12
org.apache.ivy	hera	2.5.0
org.apache.mesos	protobuf sombreado em mesos	1.4.0
org.apache.orc	núcleo orc	1.6.10
org.apache.orc	orc-mapreduce	1.6.10
org.apache.orc	calços de orc	1.6.10
org.apache.parquet	coluna de parquete	1.12.0-databricks-0003
org.apache.parquet	parquete comum	1.12.0-databricks-0003
org.apache.parquet	codificação de parquet	1.12.0-databricks-0003
org.apache.parquet	estruturas em formato de parquet	1.12.0-databricks-0003
org.apache.parquet	parquet-hadoop	1.12.0-databricks-0003
org.apache.parquet	parquet-jackson	1.12.0-databricks-0003
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.xbean	xbean-asm9-shaded	4,20
org.apache.yetus	audiência-anotação	0.5.0
org.apache.zookeeper	tratador	3.6.2
org.apache.zookeeper	tratador de zoológico - juta	3.6.2
org.checkerframework	xadrez igual	3.5.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	compilador common	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	núcleo de dados-api-jdo	4.2.4
org.datanucleus	núcleo de dados	4.1.17
org.datanucleus	núcleo de dados-rdbms	4.1.19
org.datanucleus	javax.jdo	3,2,0-m3
org.Eclipse.jetty	jetty-client	9.4.40.v20210413
org.Eclipse.jetty	continuação do cais	9.4.40.v20210413
org.Eclipse.jetty	jetty-http	9.4.40.v20210413
org.Eclipse.jetty	jetty-io	9.4.40.v20210413
org.Eclipse.jetty	jetty-jndi	9.4.40.v20210413
org.Eclipse.jetty	jetty-plus	9.4.40.v20210413
org.Eclipse.jetty	jetty-proxy	9.4.40.v20210413
org.Eclipse.jetty	segurança do cais	9.4.40.v20210413
org.Eclipse.jetty	servidor jetty-server	9.4.40.v20210413
org.Eclipse.jetty	jutty-servlet	9.4.40.v20210413
org.Eclipse.jetty	píer de servlets	9.4.40.v20210413
org.Eclipse.jetty	jetty-util	9.4.40.v20210413
org.Eclipse.jetty	jetty-util-ajax	9.4.40.v20210413
org.Eclipse.jetty	aplicativo web jetty-	9.4.40.v20210413
org.Eclipse.jetty	jetty-xml	9.4.40.v20210413
org.Eclipse.jetty.websocket	API de websoquete	9.4.40.v20210413
org.Eclipse.jetty.websocket	cliente websocket	9.4.40.v20210413
org.Eclipse.jetty.websocket	websocket-comum	9.4.40.v20210413
org.Eclipse.jetty.websocket	servidor websocket	9.4.40.v20210413
org.Eclipse.jetty.websocket	servlet websocket	9.4.40.v20210413
org.fusesource.leveldbjni	leveldbjni-tudo	1,8
org.glassfish.hk2	API hk2	2.6.1
org.glassfish.hk2	localizador hk2	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-recurso-locator	1.0.3
org.glassfish.hk2.external	aopalliance - reembalado	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jaxb	jaxb-runtime	2.3.2
org.glassfish.jersey.containers	servlet de contêiner de camisa	2,34
org.glassfish.jersey.containers	jersey-container-servlet-core	2,34
org.glassfish.jersey.core	cliente de camisa	2,34
org.glassfish.jersey.core	camiseta comum	2,34
org.glassfish.jersey.core	servidor de camisa	2,34
org.glassfish.jersey.inject	camiseta-hk2	2,34
org.hibernate.validator	validador de hibernação	6.1.0. Final
org.javassist	javassist	3,25,0 GA
org.jboss.logging	registro de jboss-logging	3.3.2. Final
org.jdbi	jdbi	2.63,1
org.jetbrains	anotação	17.0.0
org.joda	conversor de joda	1.7
org.jodd	núcleo nodular	3.5.2
org.json4s	json4s-ast_2.12	3,7,0-M11
org.json4s	json4s-core_2.12	3,7,0-M11
org.json4s	json4s-jackson_2.12	3,7,0-M11
org.json4s	json4s-scalap_2.12	3,7,0-M11
org.lz4	lz4-java	1.7.1
org.mariadb.JDBC	cliente mariadb-java	2.2.5
org.objenesis	objênese	2.5.1
org.postgresql	PostgreSQL	42,2,19
org.roaringbitmap	Mapa de bits estrondoso	0,9.14
org.roaringbitmap	calços	0,9.14
org.rocksdb	rocksdbjni	6.20.3
org.rosuda.rEngine	Motor	2.1.0
org.Scala-lang	Scala-compiler_2.12	2.12.14
org.Scala-lang	Scala-biblioteca.12	2.12.14
org.Scala-lang	Scala-reflect_2.12	2.12.14
org.Scala-lang.modules	Scala-collection-compat_2.12	2.4.3
org.Scala-lang.modules	Scala-parser-combinators_2.12	1.1.2
org.Scala-lang.modules	Scala-xml_2.12	1.2.0
org.Scala-sbt	interface de teste	1,0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	breeze-macros_2.12	1,0
org.scalanlp	breeze_2.12	1,0
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1,7.30
org.slf4j	jul-a-slf4j	1,7.30
org.slf4j	slf4j-api	1,7.30
org.slf4j	slf4j-log4j12	1,7.30
org.spark-project.spark	não utilizado	1.0.0
org.springframework	núcleo de mola	4.1.4. LANÇAMENTO
org.springframework	teste de primavera	4.1.4. LANÇAMENTO
org.threeten	treze e mais	1.5.0
org.tukaani	xz	1,8
org.typelevel	álgebra_2.12	2,0,0-M2
org.typelevel	cats-kernel_2.12	2,0,0-M4
org.typelevel	maquinista_2.12	0.6.8
org.typelevel	macro-compat_2,12	1.1.1
org.typelevel	spire-macros_2.12	0,17.0-M1
org.typelevel	spire-platform_2.12	0,17.0-M1
org.typelevel	spire-util_2.12	0,17.0-M1
org.typelevel	spire_2.12	0,17.0-M1
org.wildfly.openssl	wildfly-openssl	1.0.7. Final
org.xerial	sqlite-JDBC	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.4
org.yaml	snakeyaml	1,24
oro	oro	2.0.8
pt.edu.icm	Matrizes JLarge	1.5
software.Amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1