Databricks Runtime 7,2 (EoS)
O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.
A Databricks lançou essa versão em agosto de 2020.
As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 7.2, alimentado por Apache Spark 3.0.
Novo recurso
Databricks Runtime A versão 7.2 inclui o novo recurso a seguir.
O Auto Loader está geralmente disponível
O Auto Loader é um método eficiente para ingerir de forma incremental um grande número de arquivos no Delta Lake. Ele agora é GA e adiciona o seguinte recurso: listagem de diretórios, gerenciamento de recurso de nuvem API, opção de limitação de taxa e validação de opção.
Opção de modo de listagem do diretório
O Auto Loader adiciona um novo modo de listagem de diretórios, além do modo de notificação de arquivos existente, para determinar quando há novos arquivos.
- Modo de listagem de diretórios: Em alguns cenários, há apenas alguns arquivos que precisam ser transmitidos regularmente. Nesses casos, identificar novos arquivos listando paralelamente o diretório de entrada e ingerindo-os é razoavelmente eficiente. Isso permite que o senhor comece Auto Loader transmissão sem nenhuma configuração de permissão. O modo de listagem de diretórios é o modo default para Auto Loader de Databricks Runtime 7.2 e acima.
- Modo de notificação de arquivo: O senhor pode optar explicitamente pelo modo de notificação de arquivo, que é mais eficiente e escalável para grandes diretórios de entrada, mas exige que configure as permissões para que o serviço de notificação assine eventos de arquivo e defina
.option("cloudFiles.useNotifications", "true"). Os usuários existentes do Auto Loader transmissão começarão no Databricks Runtime 7.1 e abaixo automaticamente optarão pelo modo de notificação de arquivo quando atualizarem para o Databricks Runtime 7.2.
Para obter mais informações, consulte O que é Auto Loader?
Gerenciamento de recursos na nuvem API
Agora, o senhor pode usar nosso Scala API para gerenciar o recurso de nuvem criado por Auto Loader. O senhor pode listar o serviço de notificação e remover o serviço de notificação específico usando este API. Para obter mais informações, consulte Configurar manualmente ou gerenciar recurso de notificação de arquivo.
Opção de limitação de taxa
Agora você pode usar a opção cloudFiles.maxBytesPerTrigger para limitar a quantidade de dados processados em cada microlote. O senhor pode especificar uma cadeia de bytes, como 10g, para limitar cada microbatch a 10 GB de dados. Este é um máximo flexível. Se o senhor tiver arquivos de 3 GB cada, a Databricks processa 12 GB em um microbatch. Essa opção não tem efeito quando usada com Trigger.Once(). Quando essa opção não é fornecida, o valor default de cloudFiles.maxFilesPerTrigger de 1000 arquivos é usado para limitar a taxa. Quando usado junto com cloudFiles.maxFilesPerTrigger, o Databricks consome até o limite mais baixo de cloudFiles.maxFilesPerTrigger ou cloudFiles.maxBytesPerTrigger, o que for atingido primeiro.
Para obter mais informações, consulte O que é Auto Loader?
Validação de opções
O Auto Loader agora valida as opções fornecidas pelo senhor. Se o senhor fornecer uma opção desconhecida, o Auto Loader retornará um erro em vez de ignorar silenciosamente a opção. A validação também detecta inconsistências nas opções fornecidas. Por exemplo, se o senhor definir cloudFiles.useNotifications como false e, ao mesmo tempo, fornecer opções de permissão para AWS SNS e SQS serviço, validation falhará. Para pular a validação da opção, defina cloudFiles.validateOptions como false.
Alterações nos valores e na compatibilidade da opção default
O comportamento default de algumas opções Auto Loader foi alterado em Databricks Runtime 7.2. Para garantir a compatibilidade, o comportamento da transmissão começar em Databricks Runtime 7.1 e abaixo permanecerá inalterado mesmo depois que o senhor fizer upgrade para executar essa transmissão em um clustering que esteja executando Databricks Runtime 7.2 ou acima. Consulte O que é o Auto Loader?
Copie com eficiência uma tabela Delta com clone (visualização pública)
Agora o senhor pode criar com eficiência um clone superficial ou profundo de uma tabela Delta em uma versão específica com o comando clone. Um clone profundo é um clone autônomo de uma tabela Delta formado pela cópia dos arquivos em paralelo da tabela de origem para a tabela de destino. Um clone superficial é um clone criado de forma barata que não copia arquivos para a tabela de destino, mas aponta para arquivos na tabela original. Qualquer alteração feita em um clone profundo ou superficial afeta somente o clone e não a tabela original. Consulte Clonar uma tabela em Databricks.
O conector S3 atualizado oferece melhor estabilidade e desempenho (Public Preview)
O conector atualizado é baseado no Hadoop 3.1.3 e contém muitas melhorias de estabilidade (consulte os épicos de estabilidade do Hadoop 2, 3 e 4), incluindo otimizações na LIST que podem levar a uma redução significativa do custo da LIST, dependendo da profundidade e do fôlego da estrutura do diretório S3. Para obter detalhes, consulte Conectar-se ao Amazon S3.
Melhorias
-
Conector Snowflake: O conector foi atualizado para a versão 2.8.1, que inclui suporte ao Spark 3.0.
-
PySpark Usabilidade: quando um PySpark ou Pandas UDF falha, o Databricks agora exibe a exceção do lado do Pythone a linha de código do Notebook executada mais recentemente (se aplicável) na parte superior da mensagem de erro.
-
Passagem de credenciais:
- Agora, o senhor pode usar a função de transformação LDA em um clustering habilitado para passthrough.
- Agora, o senhor pode definir o diretório de ponto de verificação de armazenamento em um cluster ativado por passagem.
-
clustering biblioteca: Databricks agora processa todos os clustering biblioteca na ordem em que foram instalados no clustering. Em Databricks Runtime 7.1 e abaixo, somente Maven e CRAN biblioteca foram processados na ordem em que foram instalados no clustering. Outras bibliotecas foram instaladas em uma ordem não determinística.
-
TensorBoard:
- gerenciar TensorBoard processos com o
tensorboard.notebookAPI. - O senhor pode ter vários backends do TensorBoard em execução em um único cluster.
- No Python Notebook, exiba a UI do TensorBoard em linha usando o comando mágico de linha
%tensorboard. dbutils.tensorboardestá obsoleto.
Consulte TensorBoard.
- gerenciar TensorBoard processos com o
-
Atualizado Python biblioteca:
- jmespath foi atualizado de 0.9.4 para 0.10.0.
- koalas foram atualizados de 1.0.1 para 1.1.0.
-
Atualizou várias instalações da R biblioteca. Consulte R biblioteca instalada.
Apache Spark
O Databricks Runtime 7.2 inclui o Apache Spark 3.0.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 7.1 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:
- [SPARK-32234] [SQL] Spark O comando sql está falhando ao selecionar as tabelas orc
- [SPARK-30616] [SQL] Introduzir a opção de configuração TTL para o cache de metadados do SQL
- [SPARK-21117] [SQL] Suporte à função SQL integrada - WIDTH_BUCKET
- [SPARK-32168] [SQL] Corrigir erro de correção de particionamento oculto na substituição de SQL
- [SPARK-31935] A configuração do sistema de arquivos Hadoop deve ser efetiva nas opções de fonte de dados
- [SPARK-32270] [SQL] Usar TextFileFormat na inferência do esquema CSV com uma codificação diferente
- [SPARK-28481] [SQL] Mais expressões devem estender o NullIntolerant
- [SPARK-32220] [SQL] SHUFFLE_REPLICATE_NL A dica não deve alterar o resultado do produto não cartesiano join
- [SPARK-32232] [ML][PySpark] Certifique-se de que ML tenha os mesmos valores do solver default entre Scala e Python
- [SPARK-32238] [SQL] Use Utils.getSimpleName para evitar o uso de um nome de classe malformado no ScalaUDF
- [SPARK-32220] [SQL] SHUFFLE_REPLICATE_NL A dica não deve alterar o resultado do produto não cartesiano join
- [SPARK-32256] [SQL] Forçar a inicialização do Hadoop VersionInfo no HiveExternalCatalog
- [SPARK-32159] [SQL] Corrigir a integração entre Aggregator[Array[_], _, _] e UnresolvedMapObjects
- [SPARK-32160] [CORE][PySpark] Não permitir a criação de SparkContext no executor
- [SPARK-32168] [SQL] Corrigir erro de correção de particionamento oculto na substituição de SQL
- [SPARK-32024] [WEBUI] Atualize ApplicationStoreInfo.size durante a inicialização do HistoryServerDiskManager
- [SPARK-32214] [SQL] A função de conversão de tipo gerada em makeFromJava para o tipo "other" usa uma variável errada
- [SPARK-30703] [SQL] Atualizar SqlBase.g4 comentário inválido
- [SPARK-32163] [SQL] A poda aninhada deve funcionar mesmo com variações cosméticas
- [SPARK-32124] [CORE] Use o valor inválido Int.MinValue para preencher o índice do mapa quando o evento logs da versão antiga Spark
- [SPARK-32167] [SQL] Corrigir GetArrayStructFields para respeitar a nulidade do campo interno em conjunto
- [SPARK-32130] [SQL] Habilitar inferência de carimbos de data/hora no JsonBenchmark
- [SPARK-32121] [SHUFFLE] Suporte ao sistema operacional Windows no ExecutorDiskUtils
- [SPARK-32130] [SQL] Desative a opção JSON
inferTimestampao default - [SPARK-31935] [SQL] A configuração do sistema de arquivos Hadoop deve ser efetiva nas opções de fonte de dados
- [SPARK-32095] [SQL] Atualizar a documentação para refletir o uso de estatísticas atualizadas
- [SPARK-32131] [SQL] Corrigir mensagens AnalysisException em operações UNION/EXCEPT/MINUS
- [SPARK-32068] [WEBUI] Corrige o problema da tarefa lauchtime show devido ao fuso horário no estágio tab
- [SPARK-29999] [SS] Corrigir o teste para verificar os metadados reais do diretório log
- [SPARK-32127] [SQL] As regras de verificação para MERGE INTO devem usar MergeAction.conditition em vez de MergeAction.children
- [SPARK-32038] [SQL] Tornar o nome do alias bonito após a normalização de float/duplo
- [SPARK-32126] [SS] Sessão de escopo. Ativa em execução incremental
- [SPARK-32115] [SQL] Corrigir SUBSTRING para lidar com estouros de números inteiros
- [SPARK-32098] [Python] Usar iloc para fatiamento posicional em vez de fatiamento direto em createDataFrame com Arrow
- [SPARK-32080] [SPARK-31998] [SQL] Simplificar o acessório ArrowColumnVector ListArray
- [SPARK-32028] [WEBUI] Corrigir o link do ID do aplicativo para o aplicativo de várias tentativas na página de resumo da história
- [SPARK-31918] [R] Ignorar métodos genéricos S4 sob o namespace SparkR na limpeza de fechamento para suportar o R 4.0.0+
- [SPARK-32038] [SQL] NormalizeFloatingNumbers também deveria funcionar em agregados distintos
- [SPARK-32034] [SQL] Porta HIVE-14817: Desligue o thread do SessionManager timeoutChecker corretamente após o desligamento
- [SPARK-32021] [SQL] Aumentar a precisão de segundos e frações de
make_interval - [SPARK-31980] [SQL] A função sequence() falha se o início e o fim do intervalo forem datas iguais
- [SPARK-32020] [SQL] Melhorar a mensagem de erro quando SPARK_HOME ou spark.test.home não estiver definido
- [SPARK-32011] [Python][core] Remover avisos sobre pin-thread modes e guia para usar collectWithJobGroup
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 7.2.
Ambiente do sistema
- Sistema operacional : Ubuntu 18.04.4 LTS
- Java : 1.8.0_252
- Scala : 2.12.10
- Python : 3.7.5
- R : R versão 3.6.3 (2020-02-29)
- Delta Lake 0.7.0
Instalado Python biblioteca
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
criptomoeda asn1 | 1.3.0 | chamada de volta | 0.1.0 | boto3 | 1.12.0 |
botocore | 1,15.0 | certifi | 2020.6.20 | caffi | 1,14.0 |
chardet | 3.0.4 | criptografia | 2.8 | ciclador | 0.10.0 |
Cython | 0,29,15 | decorador | 4.4.1 | docutils | 0,15.2 |
pontos de entrada | 0,3 | Índia | 2.8 | ipykernel | 5.1.4 |
ipython | 7.12.0 | ipython-genutils | 0.2.0 | jedi | 0,14.1 |
jmespath | 0.10.0 | joblib | 0,14.1 | cliente jupyter | 5.3.4 |
núcleo jupyter | 4.6.1 | solucionador de kiwi | 1.1.0 | coalas | 1.1.0 |
Matplotlib | 3.1.3 | entorpecido | 1.18.1 | Pandas | 1.0.1 |
parso | 0.5.2 | bode expiatório | 0.5.1 | esperar | 4.8.0 |
picles | 0.7.5 | pip | 20,0.2 | kit de ferramentas de aviso | 3.0.3 |
psycopg2 | 2.8.4 | processo pty | 0.6.0 | flecha | 0.15.1 |
pycparser | 2,19 | Pigmentos | 2.5.2 | Objeto PYG | 3.26.1 |
PyOpenSSL | 19.1.0 | análise de pipa | 2.4.6 | Meias PY | 1.7.1 |
Python-apt | 1.6.5+ubuntu0.3 | Python-dateutil | 2.8.1 | pytz | 2019,3 |
pizma | 18.1.1 | pedidos | 2.22,0 | transferência s3 | 0.3.3 |
scikit-learn | 0,22,1 | pegajoso | 1.4.1 | marítimo | 0.10.0 |
ferramentas de configuração | 45,2,0 | seis | 1,14.0 | ID de importação ssh | 5.7 |
modelos de estatísticas | 0.11.0 | tornado | 6.0.3 | almôndegas | 4.3.3 |
atualizações autônomas | 0,1 | urllib3 | 1,25,8 | ambiente virtual | 16.7.10 |
largura do wc | 0.1.8 | Python wheel | 0,34,2 |
Instalada a R biblioteca
As bibliotecas R são instaladas a partir de Microsoft CRAN Snapshot em 2020-07-14.
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
askpass | 1.1 | afirme que | 0.2.1 | portas traseiras | 1.1.8 |
base | 3.6.3 | base64enc | 0,1-3 | POR | 1,72,0-3 |
pouco | 1,1-15,2 | bit64 | 0,9-7 | bolha | 1.2.1 |
inicialização | 1,3-25 | fermentar | 1,0-6 | vassoura | 0.7.0 |
chamador | 3.4.3 | cursor | 6,0-86 | guarda de celas | 1.1.0 |
crono | 2,3-55 | Aula | 7,3-17 | CLIPE | 2.0.2 |
clipe | 0.7.0 | Cluster | 2.1.0 | ferramentas de código | 0,2-16 |
espaço de cores | 1,4-1 | marca comum | 1.7 | compilador | 3.6.3 |
configuração | 0,3 | capa | 3.5.0 | giz de cera | 1.3.4 |
diafonia | 1.1.0.1 | cacho | 4.3 | data.tabela | 1.12.8 |
conjunto de dados | 3.6.3 | DBI | 1.1.0 | dbplyr | 1.4.4 |
desc | 1.2.0 | ferramentas de desenvolvimento | 2.3.0 | digerir | 0,6,25 |
dplyr | 0,8.5 | DT | 0,14 | reticências | 0.3.1 |
avalie | 0,14 | fansi | 0.4.1 | colorista | 2.0.3 |
mapa rápido | 1.0.1 | para gatos | 0.5.0 | para cada um | 1.5.0 |
estrangeira | 0,8-76 | forjar | 0.2.0 | fs | 1.4.2 |
genéricas | 0.0.2 | ggplot2 | 3.3.2 | gh | 1.1.0 |
git2r | 0,27.1 | glmnet | 3,0-2 | globais | 0,12,5 |
cola | 1.4.1 | goleiro | 0.2.2 | gráficos | 3.6.3 |
Dispositivos GR | 3.6.3 | grade | 3.6.3 | Grid Extra | 2.3 |
gsubfn | 0,7 | mesa | 0.3.0 | refúgio | 2.3.1 |
mais alto | 0,8 | HMS | 0.5.3 | ferramentas html | 0.5.0 |
widgets html | 1.5.1 | http.uv | 1.5.4 | httr | 1.4.1 |
escritor | 1.3.2 | HWriter Plus | 1,0-3 | mini | 0.3.1 |
ipred | 0,9-9 | isóbanda | 0.2.2 | iteradores | 1.0.12 |
jsonlite | 1.7.0 | Kern Smooth | 2,23-17 | tricotar | 1,29 |
rótulo | 0,3 | posteriormente | 1.1.0.1 | treliça | 0,20-41 |
lava | 1.6.7 | preguiçoso | 0.2.2 | ciclo de vida | 0.2.0 |
lubrificar | 1.7.9 | magritter | 1.5 | Markdown | 1.1 |
MASSA | 7,3-51,6 | Matriz | 1,2-18 | memoise | 1.1.0 |
métodos | 3.6.3 | mgcv | 1,8-31 | mímica | 0,9 |
Métricas do modelo | 1.2.2.2 | modelar | 0.1.8 | munsell | 0.5.0 |
nome | 3,1-147 | net | 7,3-14 | Número Deriv | 2016,8-1,1 |
openssl | 1.4.2 | paralelo | 3.6.3 | pilar | 1.4.6 |
pkgbuild | 1.1.0 | pkgconfig | 2.0.3 | carregamento de pacotes | 1.1.0 |
plogr | 0.2.0 | plyr | 1.8.6 | elogio | 1.0.0 |
unidades bonitas | 1.1.1 | ProC | 1.16.2 | processa | 3.4.3 |
prodlim | 13/11/2019 | progresso | 1.2.2 | promessas | 1.1.1 |
proto | 1.0.0 | ps | 1.3.3 | ronronar | 0.3.4 |
r2d3 | 0.2.3 | R6 | 2.4.1 | Floresta aleatória | 4,6-14 |
corredeiras | 0.3.1 | rcmdcheck | 1.3.3 | Cervejaria RColor | 1,1-2 |
Rcpp | 1.0.5 | leitor | 1.3.1 | readxl | 1.3.1 |
receitas | 0.1.13 | revanche | 1.0.1 | revanche 2 | 2.1.2 |
controles remotos | 2.1.1 | reprex | 0.3.0 | remodelar 2 | 1.4.4 |
rex | 1.2.0 | rojson | 0.2.20 | rlang | 0.4.7 |
rmarkdown | 2.3 | RODBC | 1,3-16 | roxigênio2 | 7.1.1 |
rpartem | 4,1-15 | rprojroot | 1,3-2 | Reservar | 1,8-7 |
RSQLite | 2.2.0 | API do estúdio | 0,11 | reversões | 2.0.2 |
colete | 0.3.5 | escala | 1.1.1 | seletor | 0,4-2 |
informações da sessão | 1.1.1 | forma | 1.4.4 | brilhante | 1.5.0 |
ferramentas de origem | 0.1.7 | Sparklyr | 1.3.1 | SparkR | 3.0.0 |
espacial | 7,3-11 | splines | 3.6.3 | sqldf | 0,4-11 |
QUADRADO | 2020,3 | estatísticas | 3.6.3 | estatísticas4 | 3.6.3 |
stringi | 1.4.6 | longarina | 1.4.0 | sobrevivência | 3,1-12 |
diz | 3.3 | tcltk | 3.6.3 | Demonstrações de ensino | 2,10 |
teste isso | 2.3.2 | petiscar | 3.0.3 | arrumado | 1.1.0 |
seleção arrumada | 1.1.0 | tidyverso | 1.3.0 | Hora/Data | 3043,102 |
tinytex | 0,24 | Ferramentas | 3.6.3 | use isso | 1.6.1 |
utf 8 | 1.1.4 | utilidades | 3.6.3 | uuid | 0,1-4 |
vctrs | 0.3.1 | Viridis Lite | 0.3.0 | bigode | 0,4 |
murchar | 2.2.0 | diversão | 0,15 | xml2 | 1.3.2 |
xopen | 1.0.0 | x estável | 1,8-4 | yaml | 2.2.1 |
Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)
ID do grupo | ID do artefato | Versão |
|---|---|---|
chifre | chifre | 2.7.7 |
com.amazonaws | Amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscale | 1,11.655 |
com.amazonaws | formação de nuvem aws-java-sdk | 1,11.655 |
com.amazonaws | aws-java-sdk-cloudfront | 1,11.655 |
com.amazonaws | aws-java-sdk-cloudhsm | 1,11.655 |
com.amazonaws | aws-java-sdk-cloudsearch | 1,11.655 |
com.amazonaws | aws-java-sdk-cloudtrail | 1,11.655 |
com.amazonaws | aws-java-sdk-cloudwatch | 1,11.655 |
com.amazonaws | métricas aws-java-sdk-cloudwatch | 1,11.655 |
com.amazonaws | aws-java-sdk-codedeploy | 1,11.655 |
com.amazonaws | identidade cognitiva aws-java-sdk | 1,11.655 |
com.amazonaws | aws-java-sdk-cognitosync | 1,11.655 |
com.amazonaws | aws-java-sdk-config | 1,11.655 |
com.amazonaws | aws-java-sdk-core | 1,11.655 |
com.amazonaws | pipeline de dados aws-java-sdk | 1,11.655 |
com.amazonaws | aws-java-sdk-conexão direta | 1,11.655 |
com.amazonaws | diretório aws-java-sdk | 1,11.655 |
com.amazonaws | aws-java-sdk-dynamodb | 1,11.655 |
com.amazonaws | aws-java-sdk-ec2 | 1,11.655 |
com.amazonaws | aws-java-sdk-ecs | 1,11.655 |
com.amazonaws | aws-java-sdk-efs | 1,11.655 |
com.amazonaws | aws-java-sdk-elasticache | 1,11.655 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1,11.655 |
com.amazonaws | balanceamento de carga elástico aws-java-sdk | 1,11.655 |
com.amazonaws | transcodificador elástico aws-java-sdk- | 1,11.655 |
com.amazonaws | aws-java-sdk-emr | 1,11.655 |
com.amazonaws | aws-java-sdk-glacier | 1,11.655 |
com.amazonaws | aws-java-sdk-iam | 1,11.655 |
com.amazonaws | aws-java-sdk-importação/exportação | 1,11.655 |
com.amazonaws | aws-java-sdk-kinesis | 1,11.655 |
com.amazonaws | aws-java-sdk-kms | 1,11.655 |
com.amazonaws | aws-java-sdk-lambda | 1,11.655 |
com.amazonaws | aws-java-sdk-logs | 1,11.655 |
com.amazonaws | aws-java-sdk - aprendizado de máquina | 1,11.655 |
com.amazonaws | aws-java-sdk-opsworks | 1,11.655 |
com.amazonaws | aws-java-sdk-rds | 1,11.655 |
com.amazonaws | aws-java-sdk-redshift | 1,11.655 |
com.amazonaws | aws-java-sdk-route53 | 1,11.655 |
com.amazonaws | aws-java-sdk-s3 | 1,11.655 |
com.amazonaws | aws-java-sdk-ses | 1,11.655 |
com.amazonaws | aws-java-sdk-simpledb | 1,11.655 |
com.amazonaws | aws-java-sdk - fluxo de trabalho simples | 1,11.655 |
com.amazonaws | aws-java-sdk-sns | 1,11.655 |
com.amazonaws | aws-java-sdk-sqs | 1,11.655 |
com.amazonaws | aws-java-sdk-ssm | 1,11.655 |
com.amazonaws | gateway de armazenamento aws-java-sdk | 1,11.655 |
com.amazonaws | aws-java-sdk-sts | 1,11.655 |
com.amazonaws | suporte aws-java-sdk | 1,11.655 |
com.amazonaws | aws-java-sdk-swf-biblioteca | 1.11.22 |
com.amazonaws | aws-java-sdk-workspace | 1,11.655 |
com.amazonaws | jmespath-java | 1,11.655 |
com.chuusai | sem forma_2.12 | 2.3.3 |
com.clearspring.analítica | transmissão | 2.9.6 |
com.databricks | Reservar | 1,8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | plugin_2.12 do compilador | 0,4,15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0,4,15-10 |
com.esotérico software | crio-sombreado | 4.0.2 |
com.esotérico software | minlog | 1.3.0 |
com.fasterxml | colega de classe | 1.3.4 |
com.fasterxml.jackson.core | jackson-anotação | 2.10.0 |
com.fasterxml.jackson.core | jackson-core | 2.10.0 |
com.fasterxml.jackson.core | vinculação de dados jackson | 2.10.0 |
formato de dados com.fasterxml.jackson. | formato de dados jackson-cbor | 2.10.0 |
com.fasterxml.jackson.tipo de dados | jackson-datatype-joda | 2.10.0 |
com.fasterxml.jackson.module | parâmetro do módulo jackson | 2.10.0 |
com.fasterxml.jackson.module | jackson-module-Scala.12 | 2.10.0 |
com.github.ben-manes.cafeína | cafeína | 2.3.4 |
com.github.fommil | descarregador | 1.1 |
com.github.fommil.netlib | abdômen | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
com.github.fommil.netlib | sistema_nativo-java | 1.1 |
com.github.fommil.netlib | native_system-java-natives | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.joshelser | dropwizard-métricas-hadoop-metrics2-reporter | 0.1.2 |
com.github.luben | zstd-jni | 1,4.4-3 |
com.github.wendykierp | JTransforma | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.2.4 |
com.google.flatbuffers | tampões planos-java | 1.9.0 |
com.google.goiaba | goiaba | 15,0 |
com.google.protobuf | protobuf-java | 2.6.1 |
banco de dados com.h2 | h2 | 1,4,195 |
com.helger | perfilador | 1.1.1 |
com.jcraft | jsch | 0,1,50 |
com.jolbox | bonecp | VERSÃO 0.8.0. |
com.lihaoyi | código-fonte_2.12 | 0.1.9 |
com.microsoft.azure | azure-data lake-store-sdk | 2.2.8 |
com.microsoft.sqlserver | mssql-JDBC | 8.2.1. jre8 |
comendo | comprimir-lzf | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.trunning | JSON | 1,8 |
com.thoughtworks.paranamer | paranâmero | 2.8 |
com.trueaccord.lenses | lentes_2.12 | 0.4.12 |
com.Twitter | chill-java | 0,9.5 |
com.Twitter | chill_2.12 | 0,9.5 |
com.Twitter | util-app_2.12 | 7.1.0 |
com.Twitter | util-core_2.12 | 7.1.0 |
com.Twitter | função-útil_2.12 | 7.1.0 |
com.Twitter | util-jvm_2.12 | 7.1.0 |
com.Twitter | util-lint_2.12 | 7.1.0 |
com.Twitter | util-registry_2.12 | 7.1.0 |
com.Twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | configuração | 1.2.1 |
com.typesafe.Scala-logging | Scala-logging_2.12 | 3.7.2 |
com.univocidade | analisadores de univocidade | 2.8.3 |
com.zaxxer | HikaricP | 3.1.0 |
folhas de feijão comum | folhas de feijão comum | 1.9.4 |
comum-CLI | comum-CLI | 1.2 |
codec comum | codec comum | 1,10 |
coleções comuns | coleções comuns | 3.2.2 |
configuração comum | configuração comum | 1,6 |
commons-dbcp | commons-dbcp | 1.4 |
digestor comum | digestor comum | 1,8 |
upload de arquivo commons | upload de arquivo commons | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2,4 |
linguagem comum | linguagem comum | 2.6 |
registro de bens comuns | registro de bens comuns | 1.1.3 |
commons-net | commons-net | 3.1 |
comum-pool | comum-pool | 1.5.4 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io. airlift | compressor de ar | 0,10 |
io.dropwizard.métricas | núcleo de métricas | 4.1.1 |
io.dropwizard.métricas | métricas-grafite | 4.1.1 |
io.dropwizard.métricas | métricas-healthchecks | 4.1.1 |
io.dropwizard.métricas | métricas-jetty9 | 4.1.1 |
io.dropwizard.métricas | métricas-jmx | 4.1.1 |
io.dropwizard.métricas | métricas-JSON | 4.1.1 |
io.dropwizard.métricas | métricas-JVM | 4.1.1 |
io.dropwizard.métricas | métricas-servlets | 4.1.1 |
io.netty | tudo | 4.1.47. Final |
jakarta.anotação | jakarta.anotação-api | 1.3.5 |
jakarta.validação | jakarta.validação-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.ativação | ativação | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | jsp-api | 2.1 |
javax.transaction | jta | 1.1 |
javax.transaction | API de transação | 1.1 |
javax.xml.bind | jaxb-api | 2.2.2 |
javax.xml.transmissão | stax-api | 1,0-2 |
javolução | javolução | 5.5.1 |
junte-se | junte-se | 2.14.6 |
hora do dia | hora do dia | 2.10.5 |
log4j | apache-log4j-extras | 1.2.17 |
log4j | log4j | 1.2.17 |
net.razorvine | pirolita | 4,30 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | supercsv | 2.2.0 |
net.snowflake | SDK de ingestão de flocos de neve | 0.9.6 |
net.snowflake | floco de neve-JDBC | 3.12.8 |
net.snowflake | floco de neve faísca_2.12 | 2.8.1-spark_3.0 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | chá remoto - oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.7.1 |
org.antlr | modelo de string | 3.2.1 |
org.apache.ant | formiga | 1.9.2 |
org.apache.ant | formiga | 1.9.2 |
org.apache.ant | lançador de formigas | 1.9.2 |
org.apache.arrow | formato de seta | 0.15.1 |
org.apache.arrow | memória de seta | 0.15.1 |
org.apache.arrow | vetor de seta | 0.15.1 |
org.apache.avro | AVRO | 1.8.2 |
org.apache.avro | avro-ipc | 1.8.2 |
org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
org.apache.commons | compressa comum | 1.8.1 |
org.apache.commons | criptomoeda comum | 1.0.0 |
org.apache.commons | commons-lang3 | 3.9 |
org.apache.commons | commons-math3 | 3.4.1 |
org.apache.commons | texto comum | 1,6 |
org.apache.curator | curador-cliente | 2.7.1 |
org.apache.curator | estrutura de curador | 2.7.1 |
org.apache.curator | receitas de curadores | 2.7.1 |
org.apache.derby | derby | 10.12.1.1 |
org.apache.directory.api | api-asn1-api | 1,0,0-M20 |
org.apache.directory.api | utilitário de API | 1,0,0-M20 |
org.apache.directory.server | apacheds-i18n | 2,0,0-M15 |
org.apache.directory.server | codec apacheds-kerberos | 2,0,0-M15 |
org.apache.hadoop | hadoop-anotação | 2.7.4 |
org.apache.hadoop | autenticação hadoop | 2.7.4 |
org.apache.hadoop | cliente hadoop | 2.7.4 |
org.apache.hadoop | hadoop-comum | 2.7.4 |
org.apache.hadoop | hadoop-HDFS | 2.7.4 |
org.apache.hadoop | aplicativo cliente hadoop mapreduce | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
org.apache.hadoop | núcleo do cliente hadoop-mapreduce | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
org.apache.hadoop | API hadoop yarn | 2.7.4 |
org.apache.hadoop | cliente hadoop-yarn | 2.7.4 |
org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
org.apache.hadoop | servidor hadoop-yarn-comum | 2.7.4 |
org.apache.hive | hive-beeline | 2.3.7 |
org.apache.hive | colmeia-CLI | 2.3.7 |
org.apache.hive | colmeia comum | 2.3.7 |
org.apache.hive | núcleo hive-exec-core | 2.3.7 |
org.apache.hive | hive-JDBC | 2.3.7 |
org.apache.hive | hive-llap-client | 2.3.7 |
org.apache.hive | hive-lap-common | 2.3.7 |
org.apache.hive | Hive metastore | 2.3.7 |
org.apache.hive | colmeia | 2.3.7 |
org.apache.hive | hive-shims | 2.3.7 |
org.apache.hive | API de armazenamento em nuvem | 2.7.1 |
org.apache.hive | geração de código vetorial hive | 2.3.7 |
org.apache.hive.shims | calços de colmeia - 0,23 | 2.3.7 |
org.apache.hive.shims | calços de colmeia comuns | 2.3.7 |
org.apache.hive.shims | hive-shims-programador | 2.3.7 |
org.apache.htrace | htrace-core | 3.1.0 - incubação |
org.apache.httpcomponents | cliente http | 4.5.6 |
org.apache.httpcomponents | httpcore | 4.4.12 |
org.apache.ivy | hera | 2.4.0 |
org.apache.orc | núcleo orc | 1.5.10 |
org.apache.orc | orc-mapreduce | 1.5.10 |
org.apache.orc | calços de orc | 1.5.10 |
org.apache.parquet | coluna de parquete | 1.10.1.2 - blocos de dados 4 |
org.apache.parquet | parquete comum | 1.10.1.2 - blocos de dados 4 |
org.apache.parquet | codificação de parquet | 1.10.1.2 - blocos de dados 4 |
org.apache.parquet | formato de parquet | 2.4.0 |
org.apache.parquet | parquet-hadoop | 1.10.1.2 - blocos de dados 4 |
org.apache.parquet | parquet-jackson | 1.10.1.2 - blocos de dados 4 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.velocity | velocidade | 1.5 |
org.apache.xbean | xbean-asm7-shaded | 4,15 |
org.apache.yetus | audiência-anotação | 0.5.0 |
org.apache.zookeeper | tratador | 3.4.14 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-jaxers | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.jackson | jackson-xc | 1.9.13 |
org.codehaus.janino | compilador common | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | núcleo de dados-api-jdo | 4.2.4 |
org.datanucleus | núcleo de dados | 4.1.17 |
org.datanucleus | núcleo de dados-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3,2,0-m3 |
org.Eclipse.jetty | jetty-client | 9.4.18.v20190429 |
org.Eclipse.jetty | continuação do cais | 9.4.18.v20190429 |
org.Eclipse.jetty | jetty-http | 9.4.18.v20190429 |
org.Eclipse.jetty | jetty-io | 9.4.18.v20190429 |
org.Eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
org.Eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
org.Eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
org.Eclipse.jetty | segurança do cais | 9.4.18.v20190429 |
org.Eclipse.jetty | servidor jetty-server | 9.4.18.v20190429 |
org.Eclipse.jetty | jutty-servlet | 9.4.18.v20190429 |
org.Eclipse.jetty | píer de servlets | 9.4.18.v20190429 |
org.Eclipse.jetty | jetty-util | 9.4.18.v20190429 |
org.Eclipse.jetty | aplicativo web jetty- | 9.4.18.v20190429 |
org.Eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
org.fusesource.leveldbjni | leveldbjni-tudo | 1,8 |
org.glassfish.hk2 | API hk2 | 2.6.1 |
org.glassfish.hk2 | localizador hk2 | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-recurso-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance - reembalado | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | servlet de contêiner de camisa | 2,30 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2,30 |
org.glassfish.jersey.core | cliente de camisa | 2,30 |
org.glassfish.jersey.core | camiseta comum | 2,30 |
org.glassfish.jersey.core | servidor de camisa | 2,30 |
org.glassfish.jersey.inject | camiseta-hk2 | 2,30 |
org.glassfish.jersey.media | jersey-media-jaxb | 2,30 |
org.hibernate.validator | validador de hibernação | 6.1.0. Final |
org.javassist | javassist | 3,25,0 GA |
org.jboss.logging | registro de jboss-logging | 3.3.2. Final |
org.jdbi | jdbi | 2.63,1 |
org.joda | conversor de joda | 1.7 |
org.jodd | núcleo nodular | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.6.6 |
org.json4s | json4s-core_2.12 | 3.6.6 |
org.json4s | json4s-jackson_2.12 | 3.6.6 |
org.json4s | json4s-scalap_2.12 | 3.6.6 |
org.lz4 | lz4-java | 1.7.1 |
org.mariadb.JDBC | cliente mariadb-java | 2.1.2 |
org.objenesis | objênese | 2.5.1 |
org.postgresql | PostgreSQL | 42,14 |
org.roaringbitmap | Mapa de bits estrondoso | 0,7,45 |
org.roaringbitmap | calços | 0,7,45 |
org.rocksdb | rocksdbjni | 6.2.2 |
org.rosuda.rEngine | Motor | 2.1.0 |
org.Scala-lang | Scala-compiler_2.12 | 2.12.10 |
org.Scala-lang | Scala-biblioteca.12 | 2.12.10 |
org.Scala-lang | Scala-reflect_2.12 | 2.12.10 |
org.Scala-lang.modules | Scala-collection-compat_2.12 | 2.1.1 |
org.Scala-lang.modules | Scala-parser-combinators_2.12 | 1.1.2 |
org.Scala-lang.modules | Scala-xml_2.12 | 1.2.0 |
org.Scala-sbt | interface de teste | 1,0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | breeze-macros_2.12 | 1,0 |
org.scalanlp | breeze_2.12 | 1,0 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1,7.30 |
org.slf4j | jul-a-slf4j | 1,7.30 |
org.slf4j | slf4j-api | 1,7.30 |
org.slf4j | slf4j-log4j12 | 1,7.30 |
org.spark-project.spark | não utilizado | 1.0.0 |
org.springframework | núcleo de mola | 4.1.4. LANÇAMENTO |
org.springframework | teste de primavera | 4.1.4. LANÇAMENTO |
org.threeten | treze e mais | 1.5.0 |
org.tukaani | xz | 1.5 |
org.typelevel | álgebra_2.12 | 2,0,0-M2 |
org.typelevel | cats-kernel_2.12 | 2,0,0-M4 |
org.typelevel | maquinista_2.12 | 0.6.8 |
org.typelevel | macro-compat_2,12 | 1.1.1 |
org.typelevel | spire-macros_2.12 | 0,17.0-M1 |
org.typelevel | spire-platform_2.12 | 0,17.0-M1 |
org.typelevel | spire-util_2.12 | 0,17.0-M1 |
org.typelevel | spire_2.12 | 0,17.0-M1 |
org.xerial | sqlite-JDBC | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.7.5 |
org.yaml | snakeyaml | 1,24 |
oro | oro | 2.0.8 |
pt.edu.icm | Matrizes JLarge | 1.5 |
software.Amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |
xmlenc | xmlenc | 0,52 |