Databricks Runtime 8,4 (EoS)
O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.
As notas a seguir sobre a versão fornecem informações sobre Databricks Runtime 8.4 e Databricks Runtime 8.4 Photon, alimentado por Apache Spark 3.1.2. A Databricks lançou essa versão em julho de 2021. O Photon está em visualização pública.
Estas notas sobre a versão podem incluir referências a recursos que não estão disponíveis no Google Cloud a partir desta versão.
Novos recursos e melhorias
- Delta Lake recurso e melhorias
- Auto Loader recurso e melhorias
- Atualizações de conectores
- Correções de bugs
Delta Lake recurso e melhorias
- Delta feed de dados de modificação de tabela (GA)
- Carregue tabelas Delta compartilhadas facilmente com o Databricks Runtime
- Mais tabelas se beneficiam da remoção dinâmica de arquivos
- Melhor desempenho com ajuste automático do tamanho do arquivo de destino
- Mais maneiras de especificar tabelas no
DeltaTable.forName
- Transmissão robusta de gravações em várias tabelas usando
foreachBatch
- Melhoria no desempenho da consulta de leitura em determinadas cargas de trabalho devido a pontos de verificação ajustados
- Crie o site
GroupState
para testar as funções de transmissão estruturada definidas pelo usuário
Delta feed de dados de modificação de tabela (GA)
O feed de dados de alteração da tabela Delta já está disponível para todos. Ela representa as mudanças no nível da linha entre as diferentes versões da tabela. Quando ativado, são registradas informações adicionais sobre as alterações no nível da linha para cada operação de gravação na tabela. Consulte Usar o feed de dados de alterações do Delta Lake na Databricks.
Carregue tabelas Delta compartilhadas facilmente com o Databricks Runtime
O conector Apache Spark para Delta Sharing 0.1.0 está agora no Databricks Runtime. O senhor pode carregar uma tabela compartilhada usando spark.read.format("deltaSharing").load(uri)
diretamente sem anexar o conector Delta Sharing Spark ao seu cluster.
Mais tabelas se beneficiam da remoção dinâmica de arquivos
O recurso de poda dinâmica de arquivos foi ajustado para ser acionado em tabelas com menos arquivos. Consulte Poda dinâmica de arquivos.
Melhor desempenho com ajuste automático do tamanho do arquivo de destino
O tamanho do arquivo de destino para tabelas Delta agora é ajustado automaticamente com base no tamanho da tabela. Anteriormente, o tamanho do arquivo de destino para OPTIMIZE
e OPTIMIZE ZORDER BY
era de 1 GB. Com o ajuste automático baseado no tamanho da tabela, as tabelas Delta de até 2,56 TB usarão 256 MB como tamanho de destino. Tabelas maiores que 10 TB usarão 1 GB como antes. Tabelas entre esses tamanhos usarão tamanhos-alvo que crescem proporcionalmente ao tamanho da tabela.
Consulte Configurar o Delta Lake para controlar o tamanho do arquivo de dados.
Mais maneiras de especificar tabelas no DeltaTable.forName
DeltaTable.forName
agora suporta o uso de delta.`<path>`
para identificar tabelas.
Transmissão robusta de gravações em várias tabelas usando foreachBatch
Idempotente Delta transmissão escreve dentro do comando foreachBatch()
agora é suportada. Para obter detalhes, consulte Gravações idempotentes em várias tabelas.
Melhor desempenho da consulta de leitura em determinadas cargas de trabalho devido a pontos de verificação ajustados
A Delta Lake agora ajusta a frequência com que realiza os pontos de controle aprimorados. Em vez de fazer o checkpoint em um intervalo fixo, o Delta agora ajusta dinamicamente a frequência do checkpoint com base em determinados acionadores de eventos. Isso melhora o desempenho da consulta de leitura em cargas de trabalho em que não era possível aplicar alguma otimização de omissão de dados anteriormente. Para usar essas otimizações, atualize seu trabalho que grava em Delta Lake para Databricks Runtime 8.4. Consulte Ativar pontos de verificação aprimorados para consultas de transmissão estruturada.
Crie o site GroupState
para testar as funções de transmissão estruturada definidas pelo usuário
Até agora, somente o mecanismo de transmissão estruturada podia criar instâncias de GroupState
. Portanto, qualquer teste de unidade da função definida pelo usuário exigia a execução de uma consulta de transmissão em Apache Spark.
Agora você pode criar instâncias de GroupState
usando TestGroupState.create(…)
. Isso permite que o senhor teste uma função definida pelo usuário em testes unitários simples que não exigem a execução do Spark. Consulte Teste a função de atualização mapGroupsWithState
. Especificamente, ele produz instâncias do tipo TestGroupState
que estendem a interface GroupState
com métodos adicionais para introspecção do estado interno após a aplicação da função definida pelo usuário.
Auto Loader recurso e melhorias
- Configure o preenchimento para capturar arquivos perdidos
- Espaço de armazenamento limitado para transmissão de grandes volumes
- Configuração simplificada com suporte sem caminhos
Configure o preenchimento para capturar arquivos perdidos
O Auto Loader agora suporta a execução de backfills de forma assíncrona para capturar quaisquer arquivos que poderiam ter sido perdidos com as notificações de arquivos. Os sistemas de armazenamento de arquivos e os sistemas de notificação não podem garantir a entrega de 100% de todos os eventos de arquivos. Portanto, a Databricks recomenda ativar backfills periódicos para capturar todos os seus dados com o Auto Loader. Use a opção cloudFiles.backfillInterval
para programar backfills regulares sobre seus dados. Consulte Opções comuns do Auto Loader.
Espaço de armazenamento limitado para transmissão de grandes volumes
Agora o senhor pode configurar o Auto Loader para expirar e remover entradas no RocksDB para limitar o espaço de armazenamento no local do ponto de verificação. A Databricks não recomenda o uso a menos que o senhor esteja ingerindo dados da ordem de milhões de arquivos por hora. Definir essa opção incorretamente ou tentar ajustá-la pode causar muitos problemas de qualidade de dados, como a ignoração de arquivos não processados ou a duplicação de alguns arquivos em vez de serem processados exatamente uma vez. Para obter detalhes, consulte Retenção de eventos.
Configuração simplificada com suporte sem caminhos
Baldes S3
Agora o senhor pode fornecer a fila SQS que recebe eventos de vários caminhos ou buckets S3.
Se você fornecer a URL da fila SQS, a opção path
não será necessária para esse caso de uso.
Auto Loader constrói os caminhos S3 usando o bucket e key a partir dos eventos S3. Se quiser ler os arquivos
por meio de pontos de montagem DBFS, o senhor pode usar cloudFiles.pathRewrites
para alterar os prefixos de caminho para DBFS. Isso não é necessário, a menos que o senhor esteja acessando dados em uma conta diferente com AssumeRole
.
Consulte Opções de notificação de arquivo.
Contêineres do Azure Data Lake Storage Gen2
Agora, o senhor pode fornecer a fila do Azure que recebe eventos de vários contêineres.
Se o senhor fornecer o nome da fila do Azure, a opção path
não será necessária.
Por default, Auto Loader constrói caminhos Azure Data Lake Storage Gen2 usando o contêiner e key nos eventos de arquivo.
Se quiser usar caminhos WASB ou pontos de montagem DBFS, o senhor pode usar cloudFiles.pathRewrites
para alterar os prefixos de caminho.
Consulte Opções de notificação de arquivo.
Atualizações de conectores
- O conector Snowflake Spark foi atualizado para a versão 2.9.0.
- A criptografia KMS agora é compatível com a declaração
UNLOAD
do conector Redshift.
Correções de bugs
- Foi corrigido um problema no clustering ativado com o controle de acesso da tabela, em que o site
select * from folder
pode mostrar o conteúdo da pasta mesmo que o usuário não tenha permissão de acesso ao arquivo. - Agora, proprietários de bancos de dados que não são administradores podem descartar tabelas não próprias nos bancos de dados. Isso corrige o problema em que os proprietários do banco de dados não podiam descartar um banco de dados se existissem tabelas não próprias no banco de dados.
Atualizações da biblioteca
-
Atualizado Python biblioteca:
- certificado atualizado de 2020.12.5 para 2021.5.30
- destilação atualizada de 0.3.1 para 0.3.2
- koalas atualizados de 1.8.0 para 1.8.1
- protobuf atualizado de 3.17.0 para 3.17.3
-
Biblioteca R atualizada:
- base de 4.0.4 a 4.1.0
- inicialize de 1,3-27 a 1,3-28
- classe de 7,3-18 a 7,3-19
- clustering de 2.1.1 para 2.1.2
- compilador de 4.0.4 a 4.1.0
- conjunto de dados de 4.0.4 para 4.1.0
- gráficos de 4.0.4 a 4.1.0
- GRDevices de 4.0.4 a 4.1.0
- grade de 4.0.4 a 4.1.0
- KernSmooth de 2,23-18 a 2,23-20
- rede de 0,20-41 a 0,20-44
- MASS de 7,3-53,1 a 7,3-54
- Matriz de 1,3-2 a 1,3-3
- métodos de 4.0.4 a 4.1.0
- mgcv de 1,8-33 a 1,8-35
- nnet de 7,3-15 a 7,3-16
- paralelo de 4.0.4 a 4.1.0
- Reserve de 1,8-7 a 1,8-8
- SparkR de 3.1.1 para 3.1.2
- splines de 4.0.4 a 4.1.0
- estatísticas de 4.0.4 a 4.1.0
- stats4 de 4.0.4 a 4.1.0
- sobrevivência de 3,2-7 a 3,2-11
- tcltk de 4.0.4 a 4.1.0
- ferramentas de 4.0.4 a 4.1.0
- utilitários de 4.0.4 a 4.1.0
-
Atualizado Java biblioteca:
- snowflake-JDBC da versão 3.12.8 para a 3.13.3
- spark-snowflake_2.12 de 2.8.1-spark_3.0 a 2.9.0-spark_3.1
- RoaringBitmap de 0.9.0 a 0.9.14
- calços de 0.9.0 a 0.9.14
- rocksdbni de 6.2.2 a 6.20.3
Apache Spark
O Databricks Runtime 8.4 inclui o Apache Spark 3.1.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.3 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:
- [SPARK-35792] [SQL] a visualização não deve capturar as configurações usadas no
RelationConversions
- [SPARK-35700] [SQL] Ler tabela orc char/varchar criada e gravada por sistemas externos
- [SPARK-35636] [SQL] A chave Lambda não deve ser referenciada fora da função lambda
- [SPARK-35800] [Cherry Pick] Melhorando a testabilidade do GroupState com a introdução do TestGroupState
- [SPARK-35391] Corrigir vazamento de memória no ExecutorAllocationListener
- [SPARK-35799] [CherryPick] Corrigir a medição métrica allUpdatesTimeMs em FlatMapGroupsWithStateExec
- [SPARK-35763] [SS] Remova a dependência de enumeração da subclasse StatStoreCustomMetric
- [SPARK-35791 [SQL] Liberar corretamente o mapa em andamento para ANTI join com reconhecimento de NULL
- [SPARK-35695] [SQL] Coleta métricas observadas de subárvores de execução adaptáveis e em cache
- [SPARK-35767] [SQL] Evite executar o plano filho duas vezes no CoalesceExec
- [SPARK-35746] [UI] Corrigir taskid na linha do tempo do evento de tarefa da página de estágio
- [SPARK-35673] [SQL] Corrige a dica definida pelo usuário e a dica não reconhecida na subconsulta.
- [SPARK-35714] [CORE] Correção de bug para deadlock durante o desligamento do executor
- [SPARK-35689] [SS] Adicionar log warn when keyWithIndexToValue returns null value
- [SPARK-35589] [NÚCLEO] [3,1] O BlockManagerMasterEndpoint não deve ignorar o arquivo aleatório somente de índice durante a atualização
- [SPARK-35643] [Python] Corrigir referência ambígua em functions.py column()
- [SPARK-35652] [SQL] joinWith em duas tabelas geradas a partir da mesma
- [SPARK-35679] [SQL] estouro do instantToMicros
- [SPARK-35602] [SS] Atualizar o esquema de estado para poder aceitar JSON de comprimento longo
- [SPARK-35653] [SQL] Corrigir falha no caminho interpretado CatalystToExternalMap para Map com classes de caso como chave ou valores
- [SPARK-35296] [SQL] Permitir que o dataset.observe funcione mesmo que o CollectMetricsExec em uma tarefa manipule várias partições.
- [SPARK-35659] [SS] Evite gravar null no StateStore
- [SPARK-35665] [SQL] Resolve UnresolvedAlias in CollectMetrics
- [SPARK-35558] Otimiza para recuperação de vários quantis
- [SPARK-35621] [SQL] Adicionar poda de id de regra à regra TypeCoercion
- [SPARK-35077] [SQL] Migrar para transformWithPruning para as regras de otimização restantes
- [SPARK-35610] [CORE] Corrige o vazamento de memória introduzido pelo gancho de desligamento do executor
- [SPARK-35544] [SQL] Adicionar poda de padrão de árvore às regras do Analyzer
- [SPARK-35566] [SS] Corrigir linhas de saída StateStoreRestoreExec
- [SPARK-35454] [SQL][3.1] Um LogicalPlan pode corresponder a vários dataset ids
- [SPARK-35538] [SQL] Migrar os sites de chamada do transformAllExpressions para usar o transformAllExpressionsWithPruning
- [SPARK-35106] [Core] [sql] Evite falhas na renomeação causadas pela inexistência do diretório de destino
- [SPARK-35287] [SQL] Permitir que RemoveRedundantProjects preserve o ProjectExec que gera UnsafeRow para DataSourceV2ScanRelation
- [SPARK-35495] [R] Alterar o mantenedor do SparkR para o CRAN
- [SPARK-27991] [CORE] Adiar a solicitação de busca no Netty OOM
- [SPARK-35171] [R] Declare o pacote markdown como uma dependência do pacote SparkR
- [SPARK-35454] [SQL] Um LogicalPlan pode corresponder a vários dataset ids
- [SPARK-35298] [SQL] Migrar para transformWithPruning para regras no Optimizer.Scala
- [SPARK-35480] [SQL] Fazer percentile_approx funcionar com pivô
- [SPARK-35093] [SQL] O AQE agora usa o plano newQueryStage como key para procurar trocas em cache para reutilização.
- [SPARK-35146] [SQL] Migrar para transformWithPruning ou resolveWithPruning para regras em finishAnalysis.Scala
- [SPARK-35411] [SQL] Adicionar informações essenciais ao serializar TreeNode para JSON
- [SPARK-35294] [SQL] Adicionar poda de passagem de árvore em regras com arquivos dedicados no otimizador
- [SPARK-34897] [SQL][3.1] Ofereça suporte à reconciliação de esquemas com base no índice após a remoção de colunas aninhadas
- [SPARK-35144] [SQL] Migrar para transformWithPruning para regras de objeto
- [SPARK-35155] [SQL] Adicionar poda de id de regra às regras do Analyzer
- [SPARK-35382] [Python] Corrigir problemas de nome de variável lambda em funções DataFrame aninhadas em Python APIs.
- [SPARK-35359] [SQL] A inserção de dados com o tipo de dados char/varchar falhará quando o comprimento dos dados exceder a limitação de comprimento
- [SPARK-35381] [R] Corrigir problemas de nome de variável lambda em funções de ordem superior aninhadas nas APIs do R
Ambiente do sistema
- Sistema operacional : Ubuntu 18.04.5 LTS
- Java : Zulu 8.54.0.21-CA-linux64
- Scala : 2.12.10
- Python : 3.8.8
- R : 4.1.0 (2021-05-18)
- Delta Lake 1.0.0
Instalado Python biblioteca
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
apronta | 1.4.4 | criptomoeda asn1 | 1.4.0 | chamada de volta | 0.2.0 |
boto3 | 1,16.7 | botocore | 1.19,7 | brotlipy | 0.7.0 |
certifi | 2021/05/30 | caffi | 1,14.3 | chardet | 3.0.4 |
criptografia | 3.1.1 | ciclador | 0.10.0 | Cython | 0,29,21 |
decorador | 4.4.2 | distlib | 0.3.2 | docutils | 0,15.2 |
pontos de entrada | 0,3 | visão geral das facetas | 1.0.0 | bloqueio de arquivo | 3.0.12 |
Índia | 2,10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
ipython-genutils | 0.2.0 | jedi | 0,17.2 | jmespath | 0.10.0 |
joblib | 0,17.0 | cliente jupyter | 6.1.7 | núcleo jupyter | 4.6.3 |
solucionador de kiwi | 1.3.0 | coalas | 1.8.1 | Matplotlib | 3.2.2 |
entorpecido | 1.19.2 | Pandas | 1.1.5 | parso | 0.7.0 |
bode expiatório | 0.5.1 | esperar | 4.8.0 | picles | 0.7.5 |
pip | 20.2.4 | Plotly | 4.14.3 | kit de ferramentas de aviso | 3.0.8 |
protobuf | 3.17.3 | psycopg2 | 2.8.5 | processo pty | 0.6.0 |
flecha | 1.0.1 | pycparser | 2,20 | Pigmentos | 2.7.2 |
PyOpenSSL | 19.1.0 | análise de pipa | 2.4.7 | Meias PY | 1.7.1 |
Python-dateutil | 2.8.1 | pytz | 2020,5 | pizma | 19,0.2 |
pedidos | 2.24,0 | tentando novamente | 1.3.3 | transferência s3 | 0.3.6 |
scikit-learn | 0,23,2 | pegajoso | 1.5.2 | marítimo | 0.10.0 |
ferramentas de configuração | 50,3.1 | seis | 1,15.0 | modelos de estatísticas | 0.12.0 |
threadpool ctl | 2.1.0 | tornado | 6.0.4 | almôndegas | 5.0.5 |
urllib3 | 1,25.11 | ambiente virtual | 20.2.1 | largura do wc | 0.2.5 |
Python wheel | 0,35,1 |
Instalada a R biblioteca
As bibliotecas R são instaladas a partir do Snapshot Microsoft CRAN em 2020-11-02.
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
askpass | 1.1 | afirme que | 0.2.1 | portas traseiras | 1.2.1 |
base | 4.1.0 | base64enc | 0,1-3 | POR | 1,72,0-3 |
pouco | 4.0.4 | bit64 | 4.0.5 | bolha | 1.2.1 |
inicialização | 1,3-28 | fermentar | 1,0-6 | brio | 1.1.0 |
vassoura | 0.7.2 | chamador | 3.5.1 | cursor | 6,0-86 |
guarda de celas | 1.1.0 | crono | 2,3-56 | Aula | 7,3-19 |
CLIPE | 2.2.0 | clipe | 0.7.1 | Cluster | 2.1.2 |
ferramentas de código | 0,2-18 | espaço de cores | 2,0-0 | marca comum | 1.7 |
compilador | 4.1.0 | configuração | 0,3 | capa | 3.5.1 |
cpp11 | 0.2.4 | giz de cera | 1.3.4 | Credenciais | 1.3.0 |
diafonia | 1.1.0.1 | cacho | 4.3 | data.tabela | 1,13.4 |
conjunto de dados | 4.1.0 | DBI | 1.1.0 | dbplyr | 2.0.0 |
desc | 1.2.0 | ferramentas de desenvolvimento | 2.3.2 | diff | 0.3.2 |
digerir | 0,6.27 | dplyr | 1.0.2 | DT | 0,16 |
reticências | 0.3.1 | avalie | 0,14 | fansi | 0.4.1 |
colorista | 2.0.3 | mapa rápido | 1.0.1 | para gatos | 0.5.0 |
para cada um | 1.5.1 | estrangeira | 0,8-81 | forjar | 0.2.0 |
fs | 1.5.0 | futuro | 1,21,0 | genéricas | 0.1.0 |
obter | 1.0.2 | ggplot2 | 3.3.2 | gh | 1.2.0 |
gitcreds | 0.1.1 | glmnet | 4,0-2 | globais | 0.14.0 |
cola | 1.4.2 | goleiro | 0.2.2 | gráficos | 4.1.0 |
Dispositivos GR | 4.1.0 | grade | 4.1.0 | Grid Extra | 2.3 |
gsubfn | 0,7 | mesa | 0.3.0 | refúgio | 2.3.1 |
mais alto | 0,8 | HMS | 0.5.3 | ferramentas html | 0.5.0 |
widgets html | 1.5.3 | http.uv | 1.5.4 | httr | 1.4.2 |
escritor | 1.3.2 | HWriter Plus | 1,0-3 | mini | 0.3.1 |
ipred | 0,9-9 | isóbanda | 0.2.3 | iteradores | 1,0.13 |
jsonlite | 1.7.2 | Kern Smooth | 2,23-20 | tricotar | 1,30 |
rótulo | 0.4.2 | posteriormente | 1.1.0.1 | treliça | 0,20-44 |
lava | 1.6.8.1 | preguiçoso | 0.2.2 | ciclo de vida | 0.2.0 |
ouvindo | 0,8.0 | lubrificar | 1.7.9.2 | magritter | 2.0.1 |
Markdown | 1.1 | MASSA | 7,3-54 | Matriz | 1,3-3 |
memoise | 1.1.0 | métodos | 4.1.0 | mgcv | 1,8-35 |
mímica | 0,9 | Métricas do modelo | 1.2.2.2 | modelar | 0.1.8 |
munsell | 0.5.0 | nome | 3,1-152 | net | 7,3-16 |
Número Deriv | 2016,8-1,1 | openssl | 1.4.3 | paralelo | 4.1.0 |
paralelamente | 1,22,0 | pilar | 1.4.7 | pkgbuild | 1.1.0 |
pkgconfig | 2.0.3 | carregamento de pacotes | 1.1.0 | plogr | 0.2.0 |
plyr | 1.8.6 | elogio | 1.0.0 | unidades bonitas | 1.1.1 |
ProC | 1.16.2 | processa | 3.4.5 | prodlim | 13/11/2019 |
progresso | 1.2.2 | promessas | 1.1.1 | proto | 1.0.0 |
ps | 1.5.0 | ronronar | 0.3.4 | r2d3 | 0.2.3 |
R6 | 2.5.0 | Floresta aleatória | 4,6-14 | corredeiras | 0.3.1 |
rcmdcheck | 1.3.3 | Cervejaria RColor | 1,1-2 | Rcpp | 1.0.5 |
leitor | 1.4.0 | readxl | 1.3.1 | receitas | 0,1,15 |
revanche | 1.0.1 | revanche 2 | 2.1.2 | controles remotos | 2.2.0 |
reprex | 0.3.0 | remodelar 2 | 1.4.4 | rex | 1.2.0 |
rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1,3-17 |
roxigênio2 | 7.1.1 | rpartem | 4,1-15 | rprojroot | 2.0.2 |
Reservar | 1,8-8 | RSQLite | 2.2.1 | API do estúdio | 0,13 |
reversões | 2.0.2 | colete | 0.3.6 | escala | 1.1.1 |
seletor | 0,4-2 | informações da sessão | 1.1.1 | forma | 1.4.5 |
brilhante | 1.5.0 | ferramentas de origem | 0.1.7 | Sparklyr | 1.5.2 |
SparkR | 3.1.1 | espacial | 7,3-11 | splines | 4.1.0 |
sqldf | 0,4-11 | QUADRADO | 2020,5 | estatísticas | 4.1.0 |
estatísticas4 | 4.1.0 | stringi | 1.5.3 | longarina | 1.4.0 |
sobrevivência | 3,2-11 | diz | 3.4 | tcltk | 4.1.0 |
Demonstrações de ensino | 2,10 | teste isso | 3.0.0 | petiscar | 3.0.4 |
arrumado | 1.1.2 | seleção arrumada | 1.1.0 | tidyverso | 1.3.0 |
Hora/Data | 3043,102 | tinytex | 0,28 | Ferramentas | 4.1.0 |
use isso | 2.0.0 | utf 8 | 1.1.4 | utilidades | 4.1.0 |
uuid | 0,1-4 | vctrs | 0.3.5 | Viridis Lite | 0.3.0 |
waldo | 0.2.3 | bigode | 0,4 | murchar | 2.3.0 |
diversão | 0,19 | xml2 | 1.3.2 | xopen | 1.0.0 |
x estável | 1,8-4 | yaml | 2.2.1 | compactar | 2.1.1 |
Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)
ID do grupo | ID do artefato | Versão |
---|---|---|
chifre | chifre | 2.7.7 |
com.amazonaws | Amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscale | 1,11.655 |
com.amazonaws | formação de nuvem aws-java-sdk | 1,11.655 |
com.amazonaws | aws-java-sdk-cloudfront | 1,11.655 |
com.amazonaws | aws-java-sdk-cloudhsm | 1,11.655 |
com.amazonaws | aws-java-sdk-cloudsearch | 1,11.655 |
com.amazonaws | aws-java-sdk-cloudtrail | 1,11.655 |
com.amazonaws | aws-java-sdk-cloudwatch | 1,11.655 |
com.amazonaws | métricas aws-java-sdk-cloudwatch | 1,11.655 |
com.amazonaws | aws-java-sdk-codedeploy | 1,11.655 |
com.amazonaws | identidade cognitiva aws-java-sdk | 1,11.655 |
com.amazonaws | aws-java-sdk-cognitosync | 1,11.655 |
com.amazonaws | aws-java-sdk-config | 1,11.655 |
com.amazonaws | aws-java-sdk-core | 1,11.655 |
com.amazonaws | pipeline de dados aws-java-sdk | 1,11.655 |
com.amazonaws | aws-java-sdk-conexão direta | 1,11.655 |
com.amazonaws | diretório aws-java-sdk | 1,11.655 |
com.amazonaws | aws-java-sdk-dynamodb | 1,11.655 |
com.amazonaws | aws-java-sdk-ec2 | 1,11.655 |
com.amazonaws | aws-java-sdk-ecs | 1,11.655 |
com.amazonaws | aws-java-sdk-efs | 1,11.655 |
com.amazonaws | aws-java-sdk-elasticache | 1,11.655 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1,11.655 |
com.amazonaws | balanceamento de carga elástico aws-java-sdk | 1,11.655 |
com.amazonaws | transcodificador elástico aws-java-sdk- | 1,11.655 |
com.amazonaws | aws-java-sdk-emr | 1,11.655 |
com.amazonaws | aws-java-sdk-glacier | 1,11.655 |
com.amazonaws | aws-java-sdk-glue | 1,11.655 |
com.amazonaws | aws-java-sdk-iam | 1,11.655 |
com.amazonaws | aws-java-sdk-importação/exportação | 1,11.655 |
com.amazonaws | aws-java-sdk-kinesis | 1,11.655 |
com.amazonaws | aws-java-sdk-kms | 1,11.655 |
com.amazonaws | aws-java-sdk-lambda | 1,11.655 |
com.amazonaws | aws-java-sdk-logs | 1,11.655 |
com.amazonaws | aws-java-sdk - aprendizado de máquina | 1,11.655 |
com.amazonaws | serviço de medição de mercado aws-java-sdk | 1,11.655 |
com.amazonaws | aws-java-sdk-opsworks | 1,11.655 |
com.amazonaws | aws-java-sdk-rds | 1,11.655 |
com.amazonaws | aws-java-sdk-redshift | 1,11.655 |
com.amazonaws | aws-java-sdk-route53 | 1,11.655 |
com.amazonaws | aws-java-sdk-s3 | 1,11.655 |
com.amazonaws | aws-java-sdk-ses | 1,11.655 |
com.amazonaws | aws-java-sdk-simpledb | 1,11.655 |
com.amazonaws | aws-java-sdk - fluxo de trabalho simples | 1,11.655 |
com.amazonaws | aws-java-sdk-sns | 1,11.655 |
com.amazonaws | aws-java-sdk-sqs | 1,11.655 |
com.amazonaws | aws-java-sdk-ssm | 1,11.655 |
com.amazonaws | gateway de armazenamento aws-java-sdk | 1,11.655 |
com.amazonaws | aws-java-sdk-sts | 1,11.655 |
com.amazonaws | suporte aws-java-sdk | 1,11.655 |
com.amazonaws | aws-java-sdk-swf-biblioteca | 1.11.22 |
com.amazonaws | aws-java-sdk-workspace | 1,11.655 |
com.amazonaws | jmespath-java | 1,11.655 |
com.chuusai | sem forma_2.12 | 2.3.3 |
com.clearspring.analítica | transmissão | 2.9.6 |
com.databricks | Reservar | 1,8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | plugin_2.12 do compilador | 0,4,15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0,4,15-10 |
com.esotérico software | crio-sombreado | 4.0.2 |
com.esotérico software | minlog | 1.3.0 |
com.fasterxml | colega de classe | 1.3.4 |
com.fasterxml.jackson.core | jackson-anotação | 2.10.0 |
com.fasterxml.jackson.core | jackson-core | 2.10.0 |
com.fasterxml.jackson.core | vinculação de dados jackson | 2.10.0 |
formato de dados com.fasterxml.jackson. | formato de dados jackson-cbor | 2.10.0 |
com.fasterxml.jackson.tipo de dados | jackson-datatype-joda | 2.10.0 |
com.fasterxml.jackson.module | parâmetro do módulo jackson | 2.10.0 |
com.fasterxml.jackson.module | jackson-module-Scala.12 | 2.10.0 |
com.github.ben-manes.cafeína | cafeína | 2.3.4 |
com.github.fommil | descarregador | 1.1 |
com.github.fommil.netlib | abdômen | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
com.github.fommil.netlib | sistema_nativo-java | 1.1 |
com.github.fommil.netlib | native_system-java-natives | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.joshelser | dropwizard-métricas-hadoop-metrics2-reporter | 0.1.2 |
com.github.luben | zstd-jni | 1,4,8-1 |
com.github.wendykierp | JTransforma | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.2.4 |
com.google.flatbuffers | tampões planos-java | 1.9.0 |
com.google.goiaba | goiaba | 15,0 |
com.google.protobuf | protobuf-java | 2.6.1 |
banco de dados com.h2 | h2 | 1,4,195 |
com.helger | perfilador | 1.1.1 |
com.jcraft | jsch | 0,1,50 |
com.jolbox | bonecp | VERSÃO 0.8.0. |
com.lihaoyi | código-fonte_2.12 | 0.1.9 |
com.microsoft.azure | azure-data lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-JDBC | 9.2.1. jre8 |
comendo | comprimir-lzf | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.trunning | JSON | 1,8 |
com.thoughtworks.paranamer | paranâmero | 2.8 |
com.trueaccord.lenses | lentes_2.12 | 0.4.12 |
com.Twitter | chill-java | 0,9.5 |
com.Twitter | chill_2.12 | 0,9.5 |
com.Twitter | util-app_2.12 | 7.1.0 |
com.Twitter | util-core_2.12 | 7.1.0 |
com.Twitter | função-útil_2.12 | 7.1.0 |
com.Twitter | util-jvm_2.12 | 7.1.0 |
com.Twitter | util-lint_2.12 | 7.1.0 |
com.Twitter | util-registry_2.12 | 7.1.0 |
com.Twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | configuração | 1.2.1 |
com.typesafe.Scala-logging | Scala-logging_2.12 | 3.7.2 |
com.univocidade | analisadores de univocidade | 2.9.1 |
com.zaxxer | HikaricP | 3.1.0 |
folhas de feijão comum | folhas de feijão comum | 1.9.4 |
comum-CLI | comum-CLI | 1.2 |
codec comum | codec comum | 1,10 |
coleções comuns | coleções comuns | 3.2.2 |
configuração comum | configuração comum | 1,6 |
commons-dbcp | commons-dbcp | 1.4 |
digestor comum | digestor comum | 1,8 |
upload de arquivo commons | upload de arquivo commons | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2,4 |
linguagem comum | linguagem comum | 2.6 |
registro de bens comuns | registro de bens comuns | 1.1.3 |
commons-net | commons-net | 3.1 |
comum-pool | comum-pool | 1.5.4 |
hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2,12 |
hive-2.3__hadoop-2.7 | tratador do zoológico-3.4 | liball_deps_2,12 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io. airlift | compressor de ar | 0,10 |
io.delta | delta-compartilhamento-spark_2.12 | 0.1.0 |
io.dropwizard.métricas | núcleo de métricas | 4.1.1 |
io.dropwizard.métricas | métricas-grafite | 4.1.1 |
io.dropwizard.métricas | métricas-healthchecks | 4.1.1 |
io.dropwizard.métricas | métricas-jetty9 | 4.1.1 |
io.dropwizard.métricas | métricas-jmx | 4.1.1 |
io.dropwizard.métricas | métricas-JSON | 4.1.1 |
io.dropwizard.métricas | métricas-JVM | 4.1.1 |
io.dropwizard.métricas | métricas-servlets | 4.1.1 |
io.netty | tudo | 4.1.51.Final |
io. prometheus | cliente simples | 0.7.0 |
io. prometheus | simpleclient_common | 0.7.0 |
io. prometheus | simpleclient_dropwizard | 0.7.0 |
io. prometheus | gateway client_push simples | 0.7.0 |
io. prometheus | client_servlet simples | 0.7.0 |
io.prometheus.jmx | coletor | 0.12.0 |
jakarta.anotação | jakarta.anotação-api | 1.3.5 |
jakarta.validação | jakarta.validação-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.ativação | ativação | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | jsp-api | 2.1 |
javax.transaction | jta | 1.1 |
javax.transaction | API de transação | 1.1 |
javax.xml.bind | jaxb-api | 2.2.2 |
javax.xml.transmissão | stax-api | 1,0-2 |
javolução | javolução | 5.5.1 |
junte-se | junte-se | 2.14.6 |
hora do dia | hora do dia | 2.10.5 |
log4j | apache-log4j-extras | 1.2.17 |
log4j | log4j | 1.2.17 |
Maven-árvores | hive-2.3__hadoop-2.7 | liball_deps_2,12 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | pirolita | 4,30 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | supercsv | 2.2.0 |
net.snowflake | SDK de ingestão de flocos de neve | 0.9.6 |
net.snowflake | floco de neve-JDBC | 3.13.3 |
net.snowflake | floco de neve faísca_2.12 | 2.9.0-spark_3.1 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | chá remoto - oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4,8-1 |
org.antlr | modelo de string | 3.2.1 |
org.apache.ant | formiga | 1.9.2 |
org.apache.ant | formiga | 1.9.2 |
org.apache.ant | lançador de formigas | 1.9.2 |
org.apache.arrow | formato de seta | 2.0.0 |
org.apache.arrow | núcleo de memória de seta | 2.0.0 |
org.apache.arrow | rede de memória de seta | 2.0.0 |
org.apache.arrow | vetor de seta | 2.0.0 |
org.apache.avro | AVRO | 1.8.2 |
org.apache.avro | avro-ipc | 1.8.2 |
org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
org.apache.commons | compressa comum | 1,20 |
org.apache.commons | criptomoeda comum | 1.1.0 |
org.apache.commons | commons-lang3 | 3.10 |
org.apache.commons | commons-math3 | 3.4.1 |
org.apache.commons | texto comum | 1,6 |
org.apache.curator | curador-cliente | 2.7.1 |
org.apache.curator | estrutura de curador | 2.7.1 |
org.apache.curator | receitas de curadores | 2.7.1 |
org.apache.derby | derby | 10.12.1.1 |
org.apache.directory.api | api-asn1-api | 1,0,0-M20 |
org.apache.directory.api | utilitário de API | 1,0,0-M20 |
org.apache.directory.server | apacheds-i18n | 2,0,0-M15 |
org.apache.directory.server | codec apacheds-kerberos | 2,0,0-M15 |
org.apache.hadoop | hadoop-anotação | 2.7.4 |
org.apache.hadoop | autenticação hadoop | 2.7.4 |
org.apache.hadoop | cliente hadoop | 2.7.4 |
org.apache.hadoop | hadoop-comum | 2.7.4 |
org.apache.hadoop | hadoop-HDFS | 2.7.4 |
org.apache.hadoop | aplicativo cliente hadoop mapreduce | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
org.apache.hadoop | núcleo do cliente hadoop-mapreduce | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
org.apache.hadoop | API hadoop yarn | 2.7.4 |
org.apache.hadoop | cliente hadoop-yarn | 2.7.4 |
org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
org.apache.hadoop | servidor hadoop-yarn-comum | 2.7.4 |
org.apache.hive | hive-beeline | 2.3.7 |
org.apache.hive | colmeia-CLI | 2.3.7 |
org.apache.hive | hive-JDBC | 2.3.7 |
org.apache.hive | hive-llap-client | 2.3.7 |
org.apache.hive | hive-lap-common | 2.3.7 |
org.apache.hive | colmeia | 2.3.7 |
org.apache.hive | hive-shims | 2.3.7 |
org.apache.hive | API de armazenamento em nuvem | 2.7.2 |
org.apache.hive.shims | calços de colmeia - 0,23 | 2.3.7 |
org.apache.hive.shims | calços de colmeia comuns | 2.3.7 |
org.apache.hive.shims | hive-shims-programador | 2.3.7 |
org.apache.htrace | htrace-core | 3.1.0 - incubação |
org.apache.httpcomponents | cliente http | 4.5.6 |
org.apache.httpcomponents | httpcore | 4.4.12 |
org.apache.ivy | hera | 2.4.0 |
org.apache.mesos | protobuf sombreado em mesos | 1.4.0 |
org.apache.orc | núcleo orc | 1.5.12 |
org.apache.orc | orc-mapreduce | 1.5.12 |
org.apache.orc | calços de orc | 1.5.12 |
org.apache.parquet | coluna de parquete | 1.10.1 - blocos de dados 9 |
org.apache.parquet | parquete comum | 1.10.1 - blocos de dados 9 |
org.apache.parquet | codificação de parquet | 1.10.1 - blocos de dados 9 |
org.apache.parquet | formato de parquet | 2.4.0 |
org.apache.parquet | parquet-hadoop | 1.10.1 - blocos de dados 9 |
org.apache.parquet | parquet-jackson | 1.10.1 - blocos de dados 9 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm7-shaded | 4,15 |
org.apache.yetus | audiência-anotação | 0.5.0 |
org.apache.zookeeper | tratador | 3.4.14 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-jaxers | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.jackson | jackson-xc | 1.9.13 |
org.codehaus.janino | compilador common | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | núcleo de dados-api-jdo | 4.2.4 |
org.datanucleus | núcleo de dados | 4.1.17 |
org.datanucleus | núcleo de dados-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3,2,0-m3 |
org.Eclipse.jetty | jetty-client | 9.4.36.v20210114 |
org.Eclipse.jetty | continuação do cais | 9.4.36.v20210114 |
org.Eclipse.jetty | jetty-http | 9.4.36.v20210114 |
org.Eclipse.jetty | jetty-io | 9.4.36.v20210114 |
org.Eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
org.Eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
org.Eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
org.Eclipse.jetty | segurança do cais | 9.4.36.v20210114 |
org.Eclipse.jetty | servidor jetty-server | 9.4.36.v20210114 |
org.Eclipse.jetty | jutty-servlet | 9.4.36.v20210114 |
org.Eclipse.jetty | píer de servlets | 9.4.36.v20210114 |
org.Eclipse.jetty | jetty-util | 9.4.36.v20210114 |
org.Eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
org.Eclipse.jetty | aplicativo web jetty- | 9.4.36.v20210114 |
org.Eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
org.fusesource.leveldbjni | leveldbjni-tudo | 1,8 |
org.glassfish.hk2 | API hk2 | 2.6.1 |
org.glassfish.hk2 | localizador hk2 | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-recurso-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance - reembalado | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | servlet de contêiner de camisa | 2,30 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2,30 |
org.glassfish.jersey.core | cliente de camisa | 2,30 |
org.glassfish.jersey.core | camiseta comum | 2,30 |
org.glassfish.jersey.core | servidor de camisa | 2,30 |
org.glassfish.jersey.inject | camiseta-hk2 | 2,30 |
org.glassfish.jersey.media | jersey-media-jaxb | 2,30 |
org.hibernate.validator | validador de hibernação | 6.1.0. Final |
org.javassist | javassist | 3,25,0 GA |
org.jboss.logging | registro de jboss-logging | 3.3.2. Final |
org.jdbi | jdbi | 2.63,1 |
org.joda | conversor de joda | 1.7 |
org.jodd | núcleo nodular | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3,7,0 M5 |
org.json4s | json4s-core_2.12 | 3,7,0 M5 |
org.json4s | json4s-jackson_2.12 | 3,7,0 M5 |
org.json4s | json4s-scalap_2.12 | 3,7,0 M5 |
org.lz4 | lz4-java | 1.7.1 |
org.mariadb.JDBC | cliente mariadb-java | 2.2.5 |
org.objenesis | objênese | 2.5.1 |
org.postgresql | PostgreSQL | 42,14 |
org.roaringbitmap | Mapa de bits estrondoso | 0,9.14 |
org.roaringbitmap | calços | 0,9.14 |
org.rocksdb | rocksdbjni | 6.20.3 |
org.rosuda.rEngine | Motor | 2.1.0 |
org.Scala-lang | Scala-compiler_2.12 | 2.12.10 |
org.Scala-lang | Scala-biblioteca.12 | 2.12.10 |
org.Scala-lang | Scala-reflect_2.12 | 2.12.10 |
org.Scala-lang.modules | Scala-collection-compat_2.12 | 2.1.1 |
org.Scala-lang.modules | Scala-parser-combinators_2.12 | 1.1.2 |
org.Scala-lang.modules | Scala-xml_2.12 | 1.2.0 |
org.Scala-sbt | interface de teste | 1,0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | breeze-macros_2.12 | 1,0 |
org.scalanlp | breeze_2.12 | 1,0 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1,7.30 |
org.slf4j | jul-a-slf4j | 1,7.30 |
org.slf4j | slf4j-api | 1,7.30 |
org.slf4j | slf4j-log4j12 | 1,7.30 |
org.spark-project.spark | não utilizado | 1.0.0 |
org.springframework | núcleo de mola | 4.1.4. LANÇAMENTO |
org.springframework | teste de primavera | 4.1.4. LANÇAMENTO |
org.threeten | treze e mais | 1.5.0 |
org.tukaani | xz | 1.5 |
org.typelevel | álgebra_2.12 | 2,0,0-M2 |
org.typelevel | cats-kernel_2.12 | 2,0,0-M4 |
org.typelevel | maquinista_2.12 | 0.6.8 |
org.typelevel | macro-compat_2,12 | 1.1.1 |
org.typelevel | spire-macros_2.12 | 0,17.0-M1 |
org.typelevel | spire-platform_2.12 | 0,17.0-M1 |
org.typelevel | spire-util_2.12 | 0,17.0-M1 |
org.typelevel | spire_2.12 | 0,17.0-M1 |
org.wildfly.openssl | wildfly-openssl | 1.0.7. Final |
org.xerial | sqlite-JDBC | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.8.2 |
org.yaml | snakeyaml | 1,24 |
oro | oro | 2.0.8 |
pt.edu.icm | Matrizes JLarge | 1.5 |
software.Amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |
xmlenc | xmlenc | 0,52 |