Databricks Runtime 12,0 (EoS)
O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.
As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 12.0, alimentado pelo Apache Spark 3.3.1.
A Databricks lançou essa versão em dezembro de 2022.
Novos recursos e melhorias
- A E/S preditiva é GA
- O Photon Writer oferece suporte à compactação zstd
- Suporte ao perfil de recurso de tarefa em nível de estágio para clustering autônomo
- Suporte SQL para substituição seletiva com
REPLACE WHERE
- As marcas d'água agora são compatíveis com o SQL
- Perfil de memória do PySpark
- Poda dinâmica para DELETE e UPDATE
- Métricas de exclusão em nível de linha para operações de linguagem de manipulação de dados particionados
A E/S preditiva é GA
A E/S preditiva agora está disponível ao público em geral. Para obter mais informações, consulte O que é I/O preditivo?
O Photon Writer oferece suporte à compactação zstd
O gravador nativo do Photon agora oferece suporte ao codec de compactação zstd quando o zstd está ativado, definindo spark.sql.parquet.compression.codec
como zstd
.
Suporte ao perfil de recurso de tarefa em nível de estágio para clustering autônomo
Agora o senhor pode usar a programação em nível de estágio no clustering autônomo quando a alocação dinâmica estiver desativada. Para usar esse recurso, especifique o recurso de tarefa com ResourceProfileBuilder
para cada estágio.
Suporte SQL para substituição seletiva com REPLACE WHERE
Agora o senhor pode sobrescrever seletivamente os dados que correspondem a uma expressão arbitrária em uma tabela Delta usando o seguinte padrão.
INSERT INTO table_name REPLACE WHERE predicate append_relation
Consulte Substituição seletiva arbitrária por replaceWhere
.
As marcas d'água agora são compatíveis com o SQL
Agora, o senhor pode especificar marcas d'água usando a interface DLT SQL e em consultas SQL contra a transmissão DataFrames. Consulte a cláusula WATERMARK.
Perfil de memória do PySpark
O perfil de memória agora está habilitado para as funções definidas pelo usuário do PySpark. Isso fornece informações sobre o incremento de memória, o uso de memória e o número de ocorrências de cada linha de código em uma função definida pelo usuário.
Poda dinâmica para DELETE e UPDATE
Ao usar o Photon-enabled compute, DELETE
e UPDATE
agora usam a poda dinâmica de arquivos e partições, o que melhora o desempenho. Por exemplo, a remoção dinâmica é ativada quando uma tabela de origem menor é usada para atualizar ou excluir linhas em uma tabela maior.
Métricas de exclusão em nível de linha para operações de linguagem de manipulação de dados particionados
Com os predicados particionados, os usuários agora podem auditar quantas linhas são excluídas ao executar operações de linguagem de manipulação de dados (DML), como DELETE
, TRUNCATE
e replaceWhere
.
Correções de bugs
Foi corrigido um problema com a análise de JSON no Auto Loader em que todas as colunas eram deixadas como strings. Anteriormente, cloudFiles.inferColumnTypes
não era definido ou era definido como false
e o JSON continha objetos aninhados.
Atualizações da biblioteca
-
Atualizado Python biblioteca:
- argon2-cffi a partir de 20.1.0 até 21.3.0
- atributos de 21.2.0 a 21.4.0
- backports.pontos de entrada selecionáveis de 1.1.1 a 1.2.0
- lixívia de 4.0.0 a 4.1.0
- boto3 de 1.21.18 a 1.21.32
- botocore de 1.24.18 a 1.24.32
- cffi de 1.14.6 a 1.15.0
- clique de 8.0.3 a 8.0.4
- ciclador de 0.10.0 a 0.11.0
- Cython de 0.29.24 a 0.29.28
- debugpy de 1.4.1 a 1.5.1
- decorador da versão 5.1.0 para 5.1.1
- pontos de entrada de 0,3 a 0,4
- idna de 3,2 a 3,3
- ipykernel de 6.12.1 a 6.15.3
- ipython de 7.32.0 a 8.5.0
- ipywidgets de 7.7.0 a 7.7.2
- jedi de 0.18.0 a 0.18.1
- joblib de 1.0.1 a 1.1.0
- jsonschema de 3.2.0 a 4.4.0
- kiwisolver de 1.3.1 a 1.3.2
- matplotlib de 3.4.3 a 3.5.1
- nbclient de 0.5.3 a 0.5.13
- nbconvert a partir de 6.1.0 para 6.4.4
- nbformat de 5.1.3 para 5.3.0
- nest-asyncio de 1.5.1 a 1.5.5
- Notebook da versão 6.4.5 para a 6.4.8
- numpy de 1.20.3 a 1.21.5
- embalagem de 21,0 a 21,3
- Pandas De 1.3.4 para 1.4.2
- pandocfilters de 1.4.3 a 1.5.0
- parso de 0.8.2 a 0.8.3
- Almofada de 8.4.0 a 9.0.1
- platformdirs de 2.5.2 a 2.5.4
- plotly de 5.9.0 a 5.6.0
- prometheus-client de 0.11.0 a 0.13.1
- protobuf de 4.21.5 a 3.19.4
- pycparser de 2.20 a 2.21
- Pigmentos de 2.10.0 a 2.11.2
- pyodbc de 4.0.31 para 4.0.32
- pyzmq de 22.2.1 a 22.3.0
- solicitações de 2.26.0 a 2.27.1
- s3transfer de 0.5.2 para 0.5.0
- scikit-learn de 0.24.2 para 1.0.2
- scipy de 1.7.1 a 1.7.3
- modelos de estatísticas de 0.12.2 a 0.13.2
- terminado de 0.9.4 a 0.13.1
- tomli de 2.0.1 a 1.2.2
- traitlets a partir de 5.1.0 para 5.1.1
- urllib3 de 1.26.7 a 1.26.9
- extensão widgetsnb de 3.6.0 para 3.6.1
-
Biblioteca R atualizada:
- base de 4.1.3 para 4.2.2
- fermentar de 1,0-7 a 1,0-8
- bslib de 0.4.0 a 0.4.1
- callr de 3.7.2 a 3.7.3
- crono de 2,3-57 a 2,3-58
- CLI De 3.3.0 para 3.4.1
- agrupamento de 2.1.3 para 2.1.4
- marca comum de 1.8.0 a 1.8.1
- compilador a partir de 4.1.3 para 4.2.2
- cpp11 de 0.4.2 a 0.4.3
- giz de cera de 1.5.1 a 1.5.2
- curl de 4.3.2 a 4.3.3
- data.table de 1.14.2 a 1.14.4
- conjunto de dados da seção 4.1.3 para 4.2.2
- desc de 1.4.1 a 1.4.2
- devtools de 2.4.4 a 2.4.5
- resumo de 0.6.29 a 0.6.30
- e1071 de 1,7-11 a 1,7-12
- avaliar de 0,16 a 0,18
- fontawesome de 0.3.0 a 0.4.0
- futuro de 1.28.0 a 1.29.0
- future.apply de 1.9.1 a 1.10.0
- gargareje de 1.2.0 a 1.2.1
- vá de 1.8.0 para 1.9.1
- ggplot2 de 3.3.6 a 3.4.0
- gh de 1.3.0 a 1.3.1
- gitcreds de 0.1.1 a 0.1.2
- gráficos da versão 4.1.3 para 4.2.2
- GRDevices da versão 4.1.3 para 4.2.2
- grade a partir de 4.1.3 para 4.2.2
- httpuv de 1.6.5 a 1.6.6
- isoband de 0,2,5 a 0,2.6
- jsonlite de 1.8.0 a 1.8.3
- lava de 1.6.10 a 1.7.0
- ciclo de vida de 1.0.1 a 1.0.3
- lubrificar de 1.8.0 a 1.9.0
- markdown de 1,1 a 1,3
- MASS de 7,3-56 a 7,3-58
- Matriz de 1,4-1 a 1,5-1
- métodos de 4.1.3 para 4.2.2
- mgcv de 1,8-40 a 1,8-41
- nome de 3,1-157 a 3,1-160
- nnet de 7,3-17 a 7,3-18
- openssl de 2.0.2 a 2.0.4
- paralelo a partir de 4.1.3 para 4.2.2
- pkgload de 1.3.0 a 1.3.1
- processos de 3.7.0 a 3.8.0
- ps de 1.7.1 a 1.7.2
- purrr de 0.3.4 a 0.3.5
- ragg de 1.2.2 a 1.2.4
- RCPPeigen de 0.3.3.9.2 a 0.3.3.9.3
- leitor a partir de 2.1.2 para 2.1.3
- receitas de 1.0.1 a 1.0.3
- rlang de 1.0.5 a 1.0.6
- rmarkdown da versão 2.16 para a 2.18
- a partir de 4.1.16 até 4.1.19
- RSQLite de 2.2.16 a 2.2.18
- brilhante de 1.7.2 a 1.7.3
- SparkR de 3.3.0 para 3.3.1
- splines de 4.1.3 para 4.2.2
- estatísticas de 4.1.3 para 4.2.2
- stats4 de 4.1.3 para 4.2.2
- diz de 3.4 a 3.4.1
- tcltk da 4.1.3 para 4.2.2
- testthat a partir de 3.1.4 para 3.1.5
- tidyr de 1.2.0 a 1.2.1
- tidyselect da versão 1.1.2 para 1.2.0
- Horário/Data de 4021.104 a 4021.106
- tinytex de 0,41 a 0,42
- ferramentas da versão 4.1.3 para 4.2.2
- utilitários da versão 4.1.3 para 4.2.2
- vctrs de 0.4.1 a 0.5.0
- vroom de 1.5.7 a 1.6.0
- xfun de 0,32 a 0,34
- yaml de 2.3.5 a 2.3.6
- zip de 2.2.0 a 2.2.2
-
Atualizado Java biblioteca:
- com.fasterxml.jackson.core.jackson-databind de 2.13.4 a 2.13.4.2
- org.apache.parquet.parquet-column de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
- org.apache.parquet.parquet-common de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
- org.apache.parquet.codificação de parquet de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
- org.apache.parquet.estruturas de formato de parquet de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
- org.apache.parquet.parquet-hadoop de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
- org.apache.parquet.parquet-jackson de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
- org.apache.yetus.audience-anotação de 0.5.0 a 0.13.0
Apache Spark
O Databricks Runtime 12.0 inclui o Apache Spark 3.3.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 11.3 LTS, bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:
- [SPARK-40844] [SC-116996] [12,1x] [12,0] [12,0.0] Reverter "[SC-113542][ss] Inverter o valor default de Kafka offset fetching config"
- [SPARK-40646] [SC-116061] Reverter "[SC-113379][sql] Corrigir o retorno de resultados parciais nas funções JSON fonte de dados e JSON "
- [SPARK-41195] [SC-116305][sql] Suporte a PIVOT/UNPIVOT com join children
- [SPARK-41178] [SC-116139][sql] Corrigir a precedência da regra do analisador entre junção e vírgula
- [SPARK-41072] [SC-116140] [sc-116044] [SC-115852] [sql] [SS] Adicione a classe de erro
STREAM_FAILED
aStreamingQueryException
- [SPARK-40921] Reverter "[SC-115140][sc-114585][SQL] Adicionar a cláusula WHEN NOT MATCHED BY SOURCE para MERGE INTO
- [SPARK-37980] [SC-115758] [SQL] Estender a coluna METADATA para suportar índices de linha para arquivos Parquet
- [SPARK-41055] [SC-115582] [sql] Renomear
_LEGACY_ERROR_TEMP_2424
paraGROUP_BY_AGGREGATE
- [SPARK-41101] [SC-115849][Python][PROTOBUF] Suporte de nome de classe de mensagem para PySpark-PROTOBUF
- [SPARK-40956] [SC-115867] Equivalente SQL para o comando de substituição de Dataframe
- [SPARK-41095] [SC-115659] [sql] Converter operadores não resolvidos em erros internos
- [SPARK-41144] [SC-115866] [sql] A dica não resolvida não deve causar falha na consulta
- [SPARK-41137] [SC-115858] [sql] Renomear
LATERAL_JOIN_OF_TYPE
paraINVALID_LATERAL_JOIN_TYPE
- [SPARK-40998] [SC-114754] [sql] Renomeie a classe de erro
_LEGACY_ERROR_TEMP_0040
paraINVALID_IDENTIFIER
- [SPARK-41015] [SC-115130] [sql] [PROTOBUF] Verificação nula do UnitTest para gerador de dados
- [SPARK-40769] [SC-114923][core][SQL] Migrar as falhas de verificação de tipo das expressões agregadas para as classes de erro
- [SPARK-41043] [SC-115183] [sql] Renomeie a classe de erro
_LEGACY_ERROR_TEMP_2429
paraNUM_COLUMNS_MISMATCH
- [SPARK-40777] [SC-114855][sql][PROTOBUF] Protobuf suporte à importação e mover classes de erro.
- [SPARK-41019] [SC-114987] [sql] Forneça um contexto de consulta para
failAnalysis()
- [SPARK-41027] [SC-115131] [sql] Use
UNEXPECTED_INPUT_TYPE
em vez deMAP_FROM_ENTRIES_WRONG_TYPE
- [SPARK-40476] [SC-115868][sc-111163][ML][sql] Reduzir o tamanho do embaralhamento do ALS
- [SPARK-41134] [SC-115851] [sql] Melhorar a mensagem de erro de erros internos
- [SPARK-37980] Reverter " [SQL] Estender a coluna METADATA para suportar índices de linha para arquivos Parquet
- [SPARK-41109] [SC-115788] [sql] Renomeie a classe de erro _LEGACY_ERROR_TEMP_1216 para INVALID_LIKE_PATTERN
- [SPARK-40984] [SC-115844][core][SQL] Use
NON_FOLDABLE_INPUT
em vez deFRAME_LESS_OFFSET_WITHOUT_FOLDABLE
- [SPARK-41029] [SC-115828][sql] Otimizar o uso do construtor
GenericArrayData
para Scala 2.13 - [SPARK-40697] [SC-113648] [sql] Adicionar preenchimento de caracteres no lado da leitura para cobrir arquivos de dados externos
- [SPARK-40978] [SC-114574] [sql] Migre
failAnalysis()
sem um contexto para classes de erro - [SPARK-40663] [SC-114586] [sql] Migre erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2251-2275
- [SPARK-38959] [SC-115672][sc-112707][SQL] DS V2: Suporte à filtragem de grupos em tempo de execução no comando em nível de linha
- [SPARK-40372] [SC-115668] [sql] Migrar falhas de verificações de tipo de matriz para classes de erro
- [SPARK-41038] [SC-115371] [sql] Renomear
MULTI_VALUE_SUBQUERY_ERROR
paraSCALAR_SUBQUERY_TOO_MANY_ROWS
- [SPARK-40965] [SC-114443] [sql] Renomeie a classe de erro
_LEGACY_ERROR_TEMP_1208
paraFIELD_NOT_FOUND
- [SPARK-40748] [SC-114696] [sql] Migrar falhas de verificação de tipo de condições para classes de erro
- [SPARK-40371] [SC-114557] [sql] Migrar falhas de verificação de tipo de nthValue e NTile para classes de erro
- [SPARK-41092] [SC-115547] [sql] Não use identificador para combinar unidades de intervalo
- [SPARK-41009] [SC-115360] [sql] Renomeie a classe de erro
_LEGACY_ERROR_TEMP_1070
paraLOCATION_ALREADY_EXISTS
- [SPARK-37980] [SQL] Estender a coluna METADATA para suportar índices de linha para arquivos Parquet
- [SPARK-40967] [SC-114448] [sql] Migrar
failAnalysis()
para classes de erro - [SPARK-34265] [SC-115486][sc-113788][Python][sql] Instrumento Python UDFs usando SQL métricas
- [SPARK-41012] [SC-114873] [sql] Renomear
_LEGACY_ERROR_TEMP_1022
paraORDER_BY_POS_OUT_OF_RANGE
- [SPARK-41042] [SC-115142] [sql] Renomear
PARSE_CHAR_MISSING_LENGTH
paraDATATYPE_MISSING_SIZE
- [SPARK-40752] [SC-114442] [sql] Migrar falhas de verificação de tipo de expressões diversas para classes de erro
- [SPARK-37945] [SC-115534] [sql] [CORE] Use classes de erro nos erros de execução de operações aritméticas
- [SPARK-40374] [SC-114705] [sql] Migrar falhas de verificação de tipo dos criadores de tipos para classes de erro
- [SPARK-41056] [SC-115354] [r] Corrige o novo comportamento do R_LIBS_SITE introduzido no R 4.2
- [SPARK-41041] [SC-115357] [sql] Integre
_LEGACY_ERROR_TEMP_1279
emTABLE_OR_VIEW_ALREADY_EXISTS
- [SPARK-40663] [SC-114852] [sql] Migre erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2201-2225
- [SPARK-41020] [SC-114984] [sql] Renomeie a classe de erro
_LEGACY_ERROR_TEMP_1019
paraSTAR_GROUP_BY_POS
- [SPARK-41035] [SC-115233] [sql] Não corrija filhos dobráveis de funções agregadas em
RewriteDistinctAggregates
- [SPARK-39778] [SC-114353] [sql] Melhore as classes e mensagens de erro
- [SPARK-40798] [SC-113782] [sql] Alterar partição deve verificar o valor seguindo StoreAssignmentPolicy
- [SPARK-40810] [SC-113533] [sql] Use sparkIllegalArgumentException em vez de IllegalArgumentException em CreateDatabaseCommand & AlterDatabaseSetLocationCommand
- [SPARK-40921] [SC-115140][sc-114585][SQL] Adicionar a cláusula WHEN NOT MATCHED BY SOURCE ao MERGE INTO
- [SPARK-40360] [SC-114965] Exceções ALREADY_EXISTS e NOT_FOUND
- [SPARK-41007] [SC-115085] [sql] Adicionar serializador ausente para java.math.BigInteger
- [SPARK-40751] [SC-114254] [sql] Migrar falhas de verificação de tipo de funções de alta ordem para classes de erro
- [SPARK-40248] [SC-114704] [sql] Use um número maior de bits para criar o filtro Bloom
- [SPARK-41040] [SC-115145][ss] Corrigir falha na consulta de transmissão de auto-união ao usar readStream.table
- [SPARK-32380] [SC-114966][sql] Corrigindo o acesso à tabela HBase via Hive do Spark
- [SPARK-40749] [SC-114860] [sql] Migrar falhas de verificação de tipo de geradores para classes de erro
- [SPARK-40925] [SC-114445] [sql] [SS] [warmfix] [12.x] Corrija o operador com estado mais tarde...
- [SPARK-40654] [SC-112783] Remover linhas temporárias do site log
- [SPARK-40742] [SC-114913][sc-112646][CORE][sql] Corrigir avisos de compilação Java relacionados ao tipo genérico
- [SPARK-40657] [SC-113642][cherry-pick] Adicionar suporte para classes Java no Protob...
- [SPARK-40898] [SC-113932] [sql] Citar nomes de funções em erros de incompatibilidade de tipos de dados
- [SPARK-40760] [SC-113750] [sql] Migrar falhas de verificação de tipo de expressões de intervalo para classes de erro
- [SPARK-36114] [SC-113771] [sql] Suporta subconsultas com predicados de não igualdade correlacionados
- [SPARK-40856] [SC-113738][sql] Atualizar o padrão de erro de WRONG_NUM_PARAMS
- [SPARK-40759] [SC-114251] [sql] Migrar falhas de verificação de tipo da janela de tempo para classes de erro
- [SPARK-40750] [SC-113812] [sql] Migrar falhas de verificação de tipo de expressões matemáticas para classes de erro
- [SPARK-40756] [SC-113749][sql] Migrar as falhas de verificação de tipo das expressões de strings para as classes de erro
- [SPARK-40768] [SC-113640] [sql] Migrar falhas de verificação de tipo de bloom_filter_agg () para classes de erro
- [SPARK-40369] [SC-113402][core][SQL] Migrar as falhas de verificação de tipo das chamadas via reflexão para as classes de erro
- [SPARK-39445] [SQL] Remova a janela se windowExpressions estiver vazia na poda de colunas
- [SPARK-40761] [SC-113245] [sql] Migrar falhas de verificação de tipo de expressões percentuais para classes de erro
- [SPARK-40361] [SC-112789] [sql] Migrar falhas de verificação de tipo aritmético para classes de erro
- [SPARK-40714] [SC-112576] [sql] Remover
PartitionAlreadyExistsException
- [SPARK-40702] [SC-112437] [sql] Corrigir especificações de partição em
PartitionsAlreadyExistException
- [SPARK-40358] [SC-112631] [sql] Migrar falhas de verificação de tipo de coleção para classes de erro
- [SPARK-40910] [SC-114259] [sql] Substitua UnsupportedOperationException por SparkUnsupportedOperationException
- [SPARK-39876] [SC-112429][sql] Adicionar UNPIVOT à sintaxe SQL
- [SPARK-39783] [SC-113389] [sql] Cite QualifiedName para corrigir erros em candidatos a colunas em mensagens de erro
- [SPARK-40663] [SC-112520] [sql] Migre erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2026-2282
- [SPARK-40975] [SC-114555] [sql] Renomeie a classe de erro
_LEGACY_ERROR_TEMP_0021
paraUNSUPPORTED_TYPED_LITERAL
- [SPARK-37935] [SC-114472] [sql] Elimine campos separados de subclasses de erro
- [SPARK-40944] [SC-114530][sql] Relaxe a restrição de ordem para as opções de coluna CREATE TABLE
- [SPARK-40815] [SC-114528] [sql] Adicione
DelegateSymlinkTextInputFormat
à solução alternativa do bugSymlinkTextInputSplit
- [SPARK-40933] [SC-114441] [sql] Reimplemente df.stat. {cov, corr} com funções sql integradas
- [SPARK-40932] [SC-114439] [core] As mensagens de correção de problemas do AllGather foram substituídas
- [SPARK-39312] [SQL] Use Parquet native In predicate for in filter push down
- [SPARK-40862] [SC-114352] [sql] Ofereça suporte a subconsultas não agregadas em RewriteCorrelatedScalarSubquery
- [SPARK-40963] [SC-114446] [sql] Defina anulável corretamente no projeto criado por
ExtractGenerator
- [SPARK-40663] [SC-112295] [sql] Migre erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2000-2024
- [SPARK-40892] [SC-114347] [sql] [SS] Diminua o requisito da regra window_time - permita várias chamadas window_time
- [SPARK-40540] [SC-111639] [sql] Migre erros de compilação para classes de erro: _LEGACY_ERROR_TEMP_1100-1347
- [SPARK-40924] [SC-114258] [sql] Correção para Unhex quando a entrada tem um número ímpar de símbolos
- [SPARK-40821] [SC-113754][sql][CORE][Python][SS] Introduzir a função window_time para extrair a hora do evento da coluna window
- [SPARK-40800] [SC-113772] [sql] Sempre expressões em linha na subconsulta OptimizeOneRowRelationSubquery
- [SPARK-40900] [SC-114006][sql] Reimplementar
frequentItems
com operações de dataframe - [SPARK-40735] [SC-114022] [sc-112657] Invoque consistentemente o bash com /usr/bin/env bash em scripts para tornar o código mais portátil
- [SPARK-40773] [SC-113091] [sql] Refatore as correlações de verificação na subconsulta
- [SPARK-40615] [SC-113400] [sql] Verifique os tipos de dados não suportados ao decorar subconsultas
- [SPARK-40660] [SC-112293][core][SQL] Mudar para XORShiftRandom para distribuir elementos
- [SPARK-40540] [SC-113926][sc-111331][SQL] Migrar erros de compilação para classes de erro
- [SPARK-40551] [SC-113135][sql] DataSource V2: Adicionar APIs para operações em nível de linha baseadas em delta
- [SPARK-39391] [SC-110676] [core] Reutilize classes de particionador
- [SPARK-40368] [SC-113396] [sql] Migrar falhas de verificação do tipo Bloom Filter para classes de erro
- [SPARK-39146] [SC-111814][core][SQL] Introduzir um singleton local para
ObjectMapper
que pode ser reutilizado - [SPARK-40357] [SC-113786][sc-111352][SQL] Migrar falhas de verificação de tipo de janela para classes de erro
- [SPARK-40874] [SC-113756][Python] Corrigir transmissões em Python UDFs quando a criptografia estiver ativada
- [SPARK-40359] [SC-113770][sc-111146][SQL] Falha na verificação de tipo de migração em expressões CSV/JSON para classes de erro
- [SPARK-40880] [SC-113764][sql] Reimplementar
summary
com operações de dataframe - [SPARK-40877] [SC-113763][sql] Reimplementar
crosstab
com operações de dataframe - [SPARK-40382] [SC-113098] [sql] Agrupe expressões agregadas distintas por filhos semanticamente equivalentes em
RewriteDistinctAggregates
- [SPARK-40826] [SC-113532] [ss] Adicionar verificação adicional de renomeação de arquivo de ponto de verificação
- [SPARK-40829] [SC-113426][sql] STORED AS serde in CREATE TABLE LIKE view não funciona
- [SPARK-40844] [SC-113542][ss] Inverter o valor default de Kafka offset fetching config
- [SPARK-40488] [SC-113568] [sc-111160] Não encapsular exceções lançadas quando a gravação da fonte de dados falha
- [SPARK-40560] [SC-113631][sc-111335][SQL] Renomear
message
paramessageTemplate
no formato de errosSTANDARD
- [SPARK-40618] [SC-113096][sql] Corrigir bug na regra MergeScalarSubqueries com subconsultas aninhadas usando acompanhamento de referência
- [SPARK-40530] [SC-113528][sc-111332][SQL] Adicionar APIs de desenvolvedor relacionadas a erros
- [SPARK-40806] [SC-113250][sql] Correção de erro de digitação: CREATE TABLE -> REPLACE TABLE
- [SPARK-40646] [SC-113379][sql] Correção do retorno de resultados parciais nas funções JSON fonte de dados e JSON
- [SPARK-40654] [Cherry-pick][sc-112783][SQL] Suporte a Protobuf para Spark - de...
- [SPARK-40753] [SC-113539][sql] Corrigir bug no caso de teste para operações de diretório de catálogo
- [SPARK-40765] [SC-113056][sql] Otimizar operações fs redundantes no método
CommandUtils#calculateSingleLocationSize#getPathSize
- [SPARK-40114] [ES-479282][r][11.X] Suporte ao Arrow 9.0.0 com o SparkR
- [SPARK-40479] [SC-110935] [sql] Migrar erro de tipo de entrada inesperado para uma classe de erro
- [SPARK-40473] [SC-113388][sc-111141][SQL] Migrar erros de análise para classes de erro
- [SPARK-39853] [SC-111867][core] Suporte ao perfil de recurso de tarefa em nível de estágio para clustering autônomo quando a alocação dinâmica estiver desativada (back port do PR-47157)
- [SPARK-40407] [SC-111161] [sql] Corrija a possível distorção de dados causada pelo df.repartition
- [SPARK-40425] [SC-110840][sql] DROP TABLE não precisa fazer pesquisa de tabela
- [SPARK-40703] [SC-113242] [sql] Introduza o shuffle em SinglePartition para melhorar o paralelismo
- [SPARK-40640] [SC-113138] [core] SparkHadoopUtil para definir a origem das opções de configuração do hadoop/hive
- [SPARK-39062] [11.x] [núcleo] Adicionar suporte ao recurso programar em nível de estágio para clustering autônomo
- [SPARK-33861] [SC-109877]Reverter "[SQL] Simplificar condicional em predicado"
- [SPARK-40667] [SC-113136][sql] Refatorar fonte de dados do arquivo Opções
- [SPARK-40370] [SC-110677] [sql] A verificação do tipo de migração falha nas classes de erro no CAST
- [SPARK-40611] [SC-113105][sql] Melhore o desempenho de
setInterval
&getInterval
paraUnsafeRow
- [SPARK-40733] [SC-113126] [sql] Faça com que o conteúdo de
SERDEPROPERTIES
no resultado deShowCreateTableAsSerdeCommand
tenha uma ordem fixa - [SPARK-40585] [SC-112180] [sql] Suporta identificadores com aspas duplas
- [SPARK-40772] [SC-112992] [sql] Melhore
spark.sql.adaptive.skewJoin.skewedPartitionFactor
para suportar valoresDouble
- [SPARK-40565] [SC-112417] [sql] Não envie filtros não determinísticos para fontes de arquivo V2
- [SPARK-8731] [SC-112784] O Beeline não funciona com a opção -e ao começar em segundo plano
- [SPARK-35242] [SC-111398][sql] Suporte à alteração do banco de dados do catálogo de sessões default
- [SPARK-40426] [SC-110672] [sql] Retornar um mapa de SparkThrowable.getMessageParameters
- [SPARK-40494] [SC-112655][sc-111025][CORE][sql][ML][MLlib] Otimizar o desempenho do padrão de código
keys.zipWithIndex.toMap
- [SPARK-40521] [SC-112430][sql] Retorna apenas as partições existentes em
PartitionsAlreadyExistException
a partir da criação de partição do Hive - [SPARK-40705] [SC-112567] [sql] Manipular caso de uso de array mutável ao converter Row em JSON para Scala 2.13
- [SPARK-39895] [SC-112590][sql][Python] Suporte a drop de várias colunas
- [SPARK-40607] [SC-112296][core][SQL][MLlib][SS] Remover operações redundantes do interpolador de strings
- [SPARK-40420] [SC-112604][sc-110569][SQL] Classifique os parâmetros da mensagem de erro por nomes nos formatos JSON
- [SPARK-40403] [SC-110564] [sql] Calcule o tamanho inseguro da matriz usando longos para evitar o tamanho negativo na mensagem de erro
- [SPARK-40482] [SC-110831] [sql] Reverter
SPARK-24544 Print actual failure cause when look up function failed
- [SPARK-40400] [SC-112555][sc-110397][SQL] Passar parâmetros de mensagem de erro para exceções como mapas
- [SPARK-40628] [SC-112414][sql] Não enviar condições complexas de semi/anti join à esquerda por meio do projeto
- [SPARK-40562] [SC-111455] [sql] Adicionar
spark.sql.legacy.groupingIdWithAppendedUserGroupBy
- [SPARK-40501] [SC-111333] [sql] Adicionar PushProjectionThroughLimit para o Optimizer
- [SPARK-39200] [SC-111244][core] Fazer o fallback Storage readFully no conteúdo
- [SPARK-38717] [SC-111241][sql] Manipular o comportamento de preservação de caso de especificação de balde do Hive
- [SPARK-40385] [SC-111123] [sql] Corrige o caminho interpretado para o construtor de objetos complementares
- [SPARK-40216] [SC-112413] [sql] Extraia o método
ParquetUtils.prepareWrite
comum para desduplicar código emParquetFileFormat
eParquetWrite
- [SPARK-40636] [SC-112160][core] Corrigir embaralhamentos permanentes errados log in BlockManagerDecommissioner
- [SPARK-40617] [SC-112009] Corrige a condição de corrida no tratamento das entradas StageTcmp do ExecutorMetricsPoller
- [SPARK-40618] [SC-112046] [sql] Corrigir bug na regra mergeScalarSubqueries com subconsultas aninhadas
- [SPARK-40612] [SC-111933][core] Correção do principal usado para renovação de tokens de delegação em gerenciadores de recurso não YARN
- [SPARK-40595] [SC-111662] [sql] Melhore a mensagem de erro para relações CTE não utilizadas
- [SPARK-40314] [SC-111879][sql][Python] Adicionar Scala e Python bindings para inline e inline_outer
- [SPARK-40416] [SC-110945] [sql] Mova as mensagens de erro CheckAnalysis da expressão de subconsulta para usar a nova estrutura de erros
- [SPARK-40318] [SC-111865][sc-109986][SQL] try_avg() deve lançar as exceções de seu filho
- [SPARK-40509] [SC-111644][ss][Python] Adicionar exemplo para applyInPandasWithState
- [SPARK-40310] [SC-111329][sc-109842][SQL] try_sum() deve lançar as exceções de seu filho
- [SPARK-40016] [SQL] Remover TryEval desnecessário na implementação de try_sum()
- [SPARK-40527] [SC-111224][sql] Manter nomes de campos de estrutura ou chave de mapa em CreateStruct
- [SPARK-38098] [SC-111178][Python] Adicionar suporte para ArrayType de StructType aninhado à conversão baseada em setas
- [SPARK-40324] [SC-111359][sc-110293][SQL] Fornecer contexto de consulta em AnalysisException
- [SPARK-40492] [SC-111324][ss] Fazer manutenção antes da transmissão StateStore unload
- [SPARK-40487] [SC-111124] [sql] Torne defaultJoin em BroadcastNestedLoopJoinExec em execução em paralelo
- [SPARK-40474] [SC-111273][sql] Corrige a inferência do esquema CSV e o comportamento de análise de dados em colunas com datas e carimbos de data/hora mistos
- [SPARK-40508] [SC-111066] [sql] Trate o particionamento desconhecido como particionamento desconhecido
- [SPARK-40496] [SC-111234][sc-111013][SQL] Corrige as configurações para controlar "enableDateTimeParsingFallback"
- [SPARK-40435] [SC-111214][ss][Python] Adicionar suítes de teste para applyInPandasWithState em PySpark
- [SPARK-40434] [SC-111125][ss][Python] Implementar applyInPandasWithState em PySpark
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 12.0.
Ambiente do sistema
- Sistema operacional : Ubuntu 20.04.5 LTS
- Java : Zulu 8.64.0.19-CA-linux64
- Scala : 2.12.14
- Python : 3.9.5
- R : 4.2.2
- Delta Lake : 2.2.0
Instalado Python biblioteca
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
argônio-2-cffi | 21,3,0 | ligações argônio-2-cffi | 21.2.0 | asttokens | 2.0.5 |
atrai | 21,4,0 | chamada de volta | 0.2.0 | backports.pontos de entrada selecionáveis | 1.2.0 |
linda sopa 4 | 4.11.1 | preto | 22,3,0 | cândida | 4.1.0 |
boto3 | 1,21,32 | botocore | 1,24,32 | certifi | 2021.10.8 |
caffi | 1,15.0 | chardet | 4.0.0 | normalizador de conjuntos de caracteres | 2.0.4 |
clique | 8.0.4 | criptografia | 3.4.8 | ciclador | 0.11.0 |
Cython | 0,29,28 | dbus-Python | 1.2.16 | depurar | 1.5.1 |
decorador | 5.1.1 | xml desfundido | 0.7.1 | distlib | 0.3.6 |
pontos de entrada | 0,4 | execução | 0,8.3 | visão geral das facetas | 1.0.0 |
esquema fastjson | 2.16.2 | bloqueio de arquivo | 3.8.0 | ferramentas de fonte | 4,25.0 |
Índia | 3.3 | ipykernel | 6.15.3 | ipython | 8.5.0 |
ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 | jedi | 0,18.1 |
Jinja 2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.1.0 |
esquema json | 4.4.0 | cliente jupyter | 6.1.12 | jupyter_core | 4.11.2 |
pigmentos jupyterlab | 0.1.2 | widgets jupyterlab | 1.0.0 | solucionador de kiwi | 1.3.2 |
MarkupSafe | 2.0.1 | Matplotlib | 3.5.1 | matplotlib-inline | 0.1.2 |
confundir | 0,8.4 | extensões mypy | 0.4.3 | cliente nb | 0,5.13 |
nbconvert | 6.4.4 | formato nb | 5.3.0 | nest-assíncio | 1.5.5 |
notebook | 6.4.8 | entorpecido | 1,21,5 | fazendo às malas | 21,3 |
Pandas | 1.4.2 | filtros pandóicos | 1.5.0 | parso | 0,8.3 |
especificação do caminho | 0.9.0 | bode expiatório | 0.5.2 | esperar | 4.8.0 |
picles | 0.7.5 | Travesseiro | 9.0.1 | pip | 21.2.4 |
platformdirs | 2.5.4 | Plotly | 5.6.0 | cliente prometheus | 0.13.1 |
kit de ferramentas de aviso | 3,0.20 | protobuf | 3.19.4 | pistila | 5.8.0 |
psycopg2 | 2.9.3 | processo pty | 0.7.0 | avaliação pura | 0.2.2 |
flecha | 7.0.0 | pycparser | 2,21 | Pigmentos | 2.11.2 |
Objeto PYG | 3,36,0 | pyodbc | 4,0,32 | análise de pipa | 3.0.4 |
persistente | 0,18.0 | Python-dateutil | 2.8.2 | pytz | 2021,3 |
pizma | 22,3,0 | pedidos | 2.27.1 | solicitações - soquete unix | 0.2.0 |
transferência s3 | 0.5.0 | scikit-learn | 1.0.2 | pegajoso | 1.7.3 |
marítimo | 0.11.2 | Enviar 2 lixeiras | 1.8.0 | ferramentas de configuração | 58,0,4 |
seis | 1,16.0 | peneira | 2.3.1 | ID de importação ssh | 5,10 |
dados de pilha | 0.2.0 | modelos de estatísticas | 0,13.2 | tenacidade | 8.0.1 |
terminado | 0.13.1 | caminho de teste | 0.5.0 | threadpool ctl | 2.2.0 |
tokenizar-rt | 4.2.1 | tomli | 1.2.2 | tornado | 6.1 |
almôndegas | 5.1.1 | extensões_de digitação | 4.1.1 | atualizações autônomas | 0,1 |
urllib3 | 1.26.9 | ambiente virtual | 20,8.0 | largura do wc | 0.2.5 |
codificações da web | 0.5.1 | Python wheel | 0,37,0 | extensão widgetsnb | 3.6.1 |
Instalada a R biblioteca
As bibliotecas R são instaladas a partir do Snapshot Microsoft CRAN em 2022-11-11.
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
flecha | 10.0.0 | askpass | 1.1 | afirme que | 0.2.1 |
portas traseiras | 1.4.1 | base | 4.2.2 | base64enc | 0,1-3 |
pouco | 4.0.4 | bit64 | 4.0.5 | bolha | 1.2.3 |
inicialização | 1,3-28 | fermentar | 1,0-8 | brio | 1.1.3 |
vassoura | 1.0.1 | babião | 0.4.1 | cachem | 1.0.6 |
chamador | 3.7.3 | cursor | 6,0-93 | guarda de celas | 1.1.0 |
crono | 2,3-58 | Aula | 7,3-20 | CLIPE | 3.4.1 |
clipe | 0,8.0 | relógio | 0.6.1 | Cluster | 2.1.4 |
ferramentas de código | 0,2-18 | espaço de cores | 2,0-3 | marca comum | 1.8.1 |
compilador | 4.2.2 | configuração | 0.3.1 | cpp11 | 0.4.3 |
giz de cera | 1.5.2 | Credenciais | 1.3.2 | cacho | 4.3.3 |
data.tabela | 1,14.4 | conjunto de dados | 4.2.2 | DBI | 1.1.3 |
dbplyr | 2.2.1 | desc | 1.4.2 | ferramentas de desenvolvimento | 2.4.5 |
diff | 0.3.5 | digerir | 0,6.30 | iluminado | 0.4.2 |
dplyr | 1.0.10 | dtplyr | 1.2.2 | e1071 | 1,7-12 |
reticências | 0.3.2 | avalie | 0,18 | fansi | 1.0.3 |
colorista | 2.1.1 | mapa rápido | 1.1.0 | fontawesome | 0.4.0 |
para gatos | 0.5.2 | para cada um | 1.5.2 | estrangeira | 0,8-82 |
forjar | 0.2.0 | fs | 1.5.2 | futuro | 1.29.0 |
futuro.aplique | 1.10.0 | gargarejar | 1.2.1 | genéricas | 0.1.3 |
obter | 1.9.1 | ggplot2 | 3.4.0 | gh | 1.3.1 |
gitcreds | 0.1.2 | glmnet | 4,1-4 | globais | 0.16.1 |
cola | 1.6.2 | google drive | 2.0.0 | planilhas do Google 4 | 1.0.1 |
goleiro | 1.0.0 | gráficos | 4.2.2 | Dispositivos GR | 4.2.2 |
grade | 4.2.2 | Grid Extra | 2.3 | gsubfn | 0,7 |
mesa | 0.3.1 | capacete | 1.2.0 | refúgio | 2.5.1 |
mais alto | 0,9 | HMS | 1.1.2 | ferramentas html | 0.5.3 |
widgets html | 1.5.4 | http.uv | 1.6.6 | httr | 1.4.4 |
IDs | 1.0.1 | mini | 0.3.1 | ipred | 0,9-13 |
isóbanda | 0.2.6 | iteradores | 1,0.14 | jquerylib | 0.1.4 |
jsonlite | 1.8.3 | Kern Smooth | 2,23-20 | tricotar | 1,40 |
rótulo | 0.4.2 | posteriormente | 1.3.0 | treliça | 0,20-45 |
lava | 1.7.0 | ciclo de vida | 1.0.3 | ouvindo | 0,8.0 |
lubrificar | 1.9.0 | magritter | 2.0.3 | Markdown | 1.3 |
MASSA | 7,3-58 | Matriz | 1,5-1 | memoise | 2.0.1 |
métodos | 4.2.2 | mgcv | 1,8-41 | mímica | 0,12 |
Mini UI | 0.1.1.1 | Métricas do modelo | 1.2.2.2 | modelar | 0.1.9 |
munsell | 0.5.0 | nome | 3,1-160 | net | 7,3-18 |
Número Deriv | 2016,8-1,1 | openssl | 2.0.4 | paralelo | 4.2.2 |
paralelamente | 1,32,1 | pilar | 1.8.1 | pkgbuild | 1.3.1 |
pkgconfig | 2.0.3 | pkgdown | 2.0.6 | carregamento de pacotes | 1.3.1 |
plogr | 0.2.0 | plyr | 1.8.7 | elogio | 1.0.0 |
unidades bonitas | 1.1.1 | ProC | 1,18.0 | processa | 3.8.0 |
prodlim | 13/11/2019 | profvis | 0.3.7 | progresso | 1.2.2 |
progressista | 0.11.0 | promessas | 1.2.0.1 | proto | 1.0.0 |
proxy | 0,4-27 | ps | 1.7.2 | ronronar | 0.3.5 |
r2d3 | 0.2.6 | R6 | 2.5.1 | trapo | 1.2.4 |
Floresta aleatória | 4,7-1,1 | corredeiras | 0.3.3 | rcmdcheck | 1.4.0 |
Cervejaria RColor | 1,1-3 | Rcpp | 1.0.9 | RCP Pegen | 0.3.3.9.3 |
leitor | 2.1.3 | readxl | 1.4.1 | receitas | 1.0.3 |
revanche | 1.0.1 | revanche 2 | 2.1.2 | controles remotos | 2.4.2 |
reprex | 2.0.2 | remodelar 2 | 1.4.4 | rlang | 1.0.6 |
rmarkdown | 2,18 | RODBC | 1,3-19 | roxigênio2 | 7.2.1 |
rpartem | 4.1.19 | rprojroot | 2.0.3 | Reservar | 1,8-11 |
RSQLite | 2.2.18 | API do estúdio | 0,14 | reversões | 2.1.2 |
colete | 1.0.3 | atrevimento | 0.4.2 | escala | 1.2.1 |
seletor | 0,4-2 | informações da sessão | 1.2.2 | forma | 1.4.6 |
brilhante | 1.7.3 | ferramentas de origem | 0.1.7 | Sparklyr | 1.7.8 |
SparkR | 3.3.1 | espacial | 7,3-11 | splines | 4.2.2 |
sqldf | 0,4-11 | QUADRADO | 2021,1 | estatísticas | 4.2.2 |
estatísticas4 | 4.2.2 | stringi | 1.7.8 | longarina | 1.4.1 |
sobrevivência | 3,4-0 | diz | 3.4.1 | fontes do sistema | 1.0.4 |
tcltk | 4.2.2 | teste isso | 3.1.5 | modelagem de texto | 0.3.6 |
petiscar | 3.1.8 | arrumado | 1.2.1 | seleção arrumada | 1.2.0 |
tidyverso | 1.3.2 | mudança de horário | 0.1.1 | Hora/Data | 4021,106 |
tinytex | 0,42 | Ferramentas | 4.2.2 | tzdb | 0.3.0 |
verificador de URL | 1.0.1 | use isso | 2.1.6 | utf 8 | 1.2.2 |
utilidades | 4.2.2 | uuid | 1,1-0 | vctrs | 0.5.0 |
Viridis Lite | 0.4.1 | vadouro | 1.6.0 | waldo | 0.4.0 |
bigode | 0,4 | murchar | 2.5.0 | diversão | 0,34 |
xml2 | 1.3.3 | xopen | 1.0.0 | x estável | 1,8-4 |
yaml | 2.3.6 | compactar | 2.2.2 |
Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)
ID do grupo | ID do artefato | Versão |
---|---|---|
chifre | chifre | 2.7.7 |
com.amazonaws | Amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscale | 1,12.189 |
com.amazonaws | formação de nuvem aws-java-sdk | 1,12.189 |
com.amazonaws | aws-java-sdk-cloudfront | 1,12.189 |
com.amazonaws | aws-java-sdk-cloudhsm | 1,12.189 |
com.amazonaws | aws-java-sdk-cloudsearch | 1,12.189 |
com.amazonaws | aws-java-sdk-cloudtrail | 1,12.189 |
com.amazonaws | aws-java-sdk-cloudwatch | 1,12.189 |
com.amazonaws | métricas aws-java-sdk-cloudwatch | 1,12.189 |
com.amazonaws | aws-java-sdk-codedeploy | 1,12.189 |
com.amazonaws | identidade cognitiva aws-java-sdk | 1,12.189 |
com.amazonaws | aws-java-sdk-cognitosync | 1,12.189 |
com.amazonaws | aws-java-sdk-config | 1,12.189 |
com.amazonaws | aws-java-sdk-core | 1,12.189 |
com.amazonaws | pipeline de dados aws-java-sdk | 1,12.189 |
com.amazonaws | aws-java-sdk-conexão direta | 1,12.189 |
com.amazonaws | diretório aws-java-sdk | 1,12.189 |
com.amazonaws | aws-java-sdk-dynamodb | 1,12.189 |
com.amazonaws | aws-java-sdk-ec2 | 1,12.189 |
com.amazonaws | aws-java-sdk-ecs | 1,12.189 |
com.amazonaws | aws-java-sdk-efs | 1,12.189 |
com.amazonaws | aws-java-sdk-elasticache | 1,12.189 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1,12.189 |
com.amazonaws | balanceamento de carga elástico aws-java-sdk | 1,12.189 |
com.amazonaws | transcodificador elástico aws-java-sdk- | 1,12.189 |
com.amazonaws | aws-java-sdk-emr | 1,12.189 |
com.amazonaws | aws-java-sdk-glacier | 1,12.189 |
com.amazonaws | aws-java-sdk-glue | 1,12.189 |
com.amazonaws | aws-java-sdk-iam | 1,12.189 |
com.amazonaws | aws-java-sdk-importação/exportação | 1,12.189 |
com.amazonaws | aws-java-sdk-kinesis | 1,12.189 |
com.amazonaws | aws-java-sdk-kms | 1,12.189 |
com.amazonaws | aws-java-sdk-lambda | 1,12.189 |
com.amazonaws | aws-java-sdk-logs | 1,12.189 |
com.amazonaws | aws-java-sdk - aprendizado de máquina | 1,12.189 |
com.amazonaws | aws-java-sdk-opsworks | 1,12.189 |
com.amazonaws | aws-java-sdk-rds | 1,12.189 |
com.amazonaws | aws-java-sdk-redshift | 1,12.189 |
com.amazonaws | aws-java-sdk-route53 | 1,12.189 |
com.amazonaws | aws-java-sdk-s3 | 1,12.189 |
com.amazonaws | aws-java-sdk-ses | 1,12.189 |
com.amazonaws | aws-java-sdk-simpledb | 1,12.189 |
com.amazonaws | aws-java-sdk - fluxo de trabalho simples | 1,12.189 |
com.amazonaws | aws-java-sdk-sns | 1,12.189 |
com.amazonaws | aws-java-sdk-sqs | 1,12.189 |
com.amazonaws | aws-java-sdk-ssm | 1,12.189 |
com.amazonaws | gateway de armazenamento aws-java-sdk | 1,12.189 |
com.amazonaws | aws-java-sdk-sts | 1,12.189 |
com.amazonaws | suporte aws-java-sdk | 1,12.189 |
com.amazonaws | aws-java-sdk-swf-biblioteca | 1.11.22 |
com.amazonaws | aws-java-sdk-workspace | 1,12.189 |
com.amazonaws | jmespath-java | 1,12.189 |
com.chuusai | sem forma_2.12 | 2.3.3 |
com.clearspring.analítica | transmissão | 2.9.6 |
com.databricks | Reservar | 1,8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | plugin_2.12 do compilador | 0,4,15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0,4,15-10 |
com.esotérico software | crio-sombreado | 4.0.2 |
com.esotérico software | minlog | 1.3.0 |
com.fasterxml | colega de classe | 1.3.4 |
com.fasterxml.jackson.core | jackson-anotação | 2.13.4 |
com.fasterxml.jackson.core | jackson-core | 2.13.4 |
com.fasterxml.jackson.core | vinculação de dados jackson | 2.13.4.2 |
formato de dados com.fasterxml.jackson. | formato de dados jackson-cbor | 2.13.4 |
com.fasterxml.jackson.tipo de dados | jackson-datatype-joda | 2.13.4 |
com.fasterxml.jackson.tipo de dados | jackson-datatype-jsr310 | 2.13.4 |
com.fasterxml.jackson.module | parâmetro do módulo jackson | 2.13.4 |
com.fasterxml.jackson.module | jackson-module-Scala.12 | 2.13.4 |
com.github.ben-manes.cafeína | cafeína | 2.3.4 |
com.github.fommil | descarregador | 1.1 |
com.github.fommil.netlib | abdômen | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
com.github.fommil.netlib | sistema_nativo-java | 1.1 |
com.github.fommil.netlib | native_system-java-natives | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.luben | zstd-jni | 1,5.2-1 |
com.github.wendykierp | JTransforma | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.8.6 |
com.google.crypto.tink | eu acho | 1.6.1 |
com.google.flatbuffers | tampões planos-java | 1.12.0 |
com.google.goiaba | goiaba | 15,0 |
com.google.protobuf | protobuf-java | 2.6.1 |
banco de dados com.h2 | h2 | 2,0.204 |
com.helger | perfilador | 1.1.1 |
com.jcraft | jsch | 0,1,50 |
com.jolbox | bonecp | VERSÃO 0.8.0. |
com.lihaoyi | código-fonte_2.12 | 0.1.9 |
com.microsoft.azure | azure-data lake-store-sdk | 2.3.9 |
comendo | comprimir-lzf | 1.1 |
com.sun.mail | javax.mail | 1.5.2 |
com.trunning | JSON | 1,8 |
com.thoughtworks.paranamer | paranâmero | 2.8 |
com.trueaccord.lenses | lentes_2.12 | 0.4.12 |
com.Twitter | chill-java | 0.10.0 |
com.Twitter | chill_2.12 | 0.10.0 |
com.Twitter | util-app_2.12 | 7.1.0 |
com.Twitter | util-core_2.12 | 7.1.0 |
com.Twitter | função-útil_2.12 | 7.1.0 |
com.Twitter | util-jvm_2.12 | 7.1.0 |
com.Twitter | util-lint_2.12 | 7.1.0 |
com.Twitter | util-registry_2.12 | 7.1.0 |
com.Twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | configuração | 1.2.1 |
com.typesafe.Scala-logging | Scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.0 |
com.univocidade | analisadores de univocidade | 2.9.1 |
com.zaxxer | HikaricP | 4.0.3 |
comum-CLI | comum-CLI | 1.5.0 |
codec comum | codec comum | 1,15 |
coleções comuns | coleções comuns | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
upload de arquivo commons | upload de arquivo commons | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.11.0 |
linguagem comum | linguagem comum | 2.6 |
registro de bens comuns | registro de bens comuns | 1.1.3 |
comum-pool | comum-pool | 1.5.4 |
dev.ludovic.netlib | mochila | 2.2.1 |
dev.ludovic.netlib | blás | 2.2.1 |
dev.ludovic.netlib | lapack | 2.2.1 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io. airlift | compressor de ar | 0,21 |
io.delta | delta-compartilhamento-spark_2.12 | 0.5.2 |
io.dropwizard.métricas | núcleo de métricas | 4.1.1 |
io.dropwizard.métricas | métricas-grafite | 4.1.1 |
io.dropwizard.métricas | métricas-healthchecks | 4.1.1 |
io.dropwizard.métricas | métricas-jetty9 | 4.1.1 |
io.dropwizard.métricas | métricas-jmx | 4.1.1 |
io.dropwizard.métricas | métricas-JSON | 4.1.1 |
io.dropwizard.métricas | métricas-JVM | 4.1.1 |
io.dropwizard.métricas | métricas-servlets | 4.1.1 |
io.netty | tudo | 4.1.74. Final |
io.netty | netty-buffer | 4.1.74. Final |
io.netty | codec netty | 4.1.74. Final |
io.netty | netty-common | 4.1.74. Final |
io.netty | manipulador de limpeza | 4.1.74. Final |
io.netty | resolvedor de rede | 4.1.74. Final |
io.netty | classes netty-tcnative | 2.0.48. Final |
io.netty | transporte de urtigas | 4.1.74. Final |
io.netty | netty-transport-classes-epoll | 4.1.74. Final |
io.netty | netty-transport-classes-kqueue | 4.1.74. Final |
io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74. Final |
io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74. Final |
io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74. Final |
io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74. Final |
io.netty | netty-transport-native-unix-common | 4.1.74. Final |
io. prometheus | cliente simples | 0.7.0 |
io. prometheus | simpleclient_common | 0.7.0 |
io. prometheus | simpleclient_dropwizard | 0.7.0 |
io. prometheus | gateway client_push simples | 0.7.0 |
io. prometheus | client_servlet simples | 0.7.0 |
io.prometheus.jmx | coletor | 0.12.0 |
jakarta.anotação | jakarta.anotação-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validação | jakarta.validação-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.ativação | ativação | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | API de transação | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolução | javolução | 5.5.1 |
junte-se | junte-se | 2.14.6 |
hora do dia | hora do dia | 2.10.13 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | salmoura | 1.2 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | supercsv | 2.2.0 |
net.snowflake | SDK de ingestão de flocos de neve | 0.9.6 |
net.snowflake | floco de neve-JDBC | 3,13,22 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | chá remoto - oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4,8 |
org.antlr | modelo de string | 3.2.1 |
org.apache.ant | formiga | 1.9.2 |
org.apache.ant | formiga | 1.9.2 |
org.apache.ant | lançador de formigas | 1.9.2 |
org.apache.arrow | formato de seta | 7.0.0 |
org.apache.arrow | núcleo de memória de seta | 7.0.0 |
org.apache.arrow | rede de memória de seta | 7.0.0 |
org.apache.arrow | vetor de seta | 7.0.0 |
org.apache.avro | AVRO | 1.11.0 |
org.apache.avro | avro-ipc | 1.11.0 |
org.apache.avro | mapeado automaticamente | 1.11.0 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | compressa comum | 1,21 |
org.apache.commons | criptomoeda comum | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | texto comum | 1.10.0 |
org.apache.curator | curador-cliente | 2.13.0 |
org.apache.curator | estrutura de curador | 2.13.0 |
org.apache.curator | receitas de curadores | 2.13.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | API de cliente hadoop | 3.3.4-blocos de dados |
org.apache.hadoop | tempo de execução do cliente hadoop | 3.3.4 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | colmeia-CLI | 2.3.9 |
org.apache.hive | hive-JDBC | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-lap-common | 2.3.9 |
org.apache.hive | colmeia | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | API de armazenamento em nuvem | 2.7.2 |
org.apache.hive.shims | calços de colmeia - 0,23 | 2.3.9 |
org.apache.hive.shims | calços de colmeia comuns | 2.3.9 |
org.apache.hive.shims | hive-shims-programador | 2.3.9 |
org.apache.httpcomponents | cliente http | 4.5.13 |
org.apache.httpcomponents | httpcore | 4.4.14 |
org.apache.ivy | hera | 2.5.0 |
org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
org.apache.logging.log4j | log4j-api | 2.18.0 |
org.apache.logging.log4j | log4j-core | 2.18.0 |
org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
org.apache.mesos | protobuf sombreado em mesos | 1.4.0 |
org.apache.orc | núcleo orc | 1.7.6 |
org.apache.orc | orc-mapreduce | 1.7.6 |
org.apache.orc | calços de orc | 1.7.6 |
org.apache.parquet | coluna de parquete | 1.12.3-databricks-0001 |
org.apache.parquet | parquete comum | 1.12.3-databricks-0001 |
org.apache.parquet | codificação de parquet | 1.12.3-databricks-0001 |
org.apache.parquet | estruturas em formato de parquet | 1.12.3-databricks-0001 |
org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0001 |
org.apache.parquet | parquet-jackson | 1.12.3-databricks-0001 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm9-shaded | 4,20 |
org.apache.yetus | audiência-anotação | 0,13,0 |
org.apache.zookeeper | tratador | 3.6.2 |
org.apache.zookeeper | tratador de zoológico - juta | 3.6.2 |
org.checkerframework | xadrez igual | 3.5.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | compilador common | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | núcleo de dados-api-jdo | 4.2.4 |
org.datanucleus | núcleo de dados | 4.1.17 |
org.datanucleus | núcleo de dados-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3,2,0-m3 |
org.Eclipse.jetty | jetty-client | 9.4.46.v20220331 |
org.Eclipse.jetty | continuação do cais | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-http | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-io | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
org.Eclipse.jetty | segurança do cais | 9.4.46.v20220331 |
org.Eclipse.jetty | servidor jetty-server | 9.4.46.v20220331 |
org.Eclipse.jetty | jutty-servlet | 9.4.46.v20220331 |
org.Eclipse.jetty | píer de servlets | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-util | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
org.Eclipse.jetty | aplicativo web jetty- | 9.4.46.v20220331 |
org.Eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
org.Eclipse.jetty.websocket | API de websoquete | 9.4.46.v20220331 |
org.Eclipse.jetty.websocket | cliente websocket | 9.4.46.v20220331 |
org.Eclipse.jetty.websocket | websocket-comum | 9.4.46.v20220331 |
org.Eclipse.jetty.websocket | servidor websocket | 9.4.46.v20220331 |
org.Eclipse.jetty.websocket | servlet websocket | 9.4.46.v20220331 |
org.fusesource.leveldbjni | leveldbjni-tudo | 1,8 |
org.glassfish.hk2 | API hk2 | 2.6.1 |
org.glassfish.hk2 | localizador hk2 | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-recurso-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance - reembalado | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | servlet de contêiner de camisa | 2,36 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2,36 |
org.glassfish.jersey.core | cliente de camisa | 2,36 |
org.glassfish.jersey.core | camiseta comum | 2,36 |
org.glassfish.jersey.core | servidor de camisa | 2,36 |
org.glassfish.jersey.inject | camiseta-hk2 | 2,36 |
org.hibernate.validator | validador de hibernação | 6.1.0. Final |
org.javassist | javassist | 3,25,0 GA |
org.jboss.logging | registro de jboss-logging | 3.3.2. Final |
org.jdbi | jdbi | 2.63,1 |
org.jetbrains | anotação | 17.0.0 |
org.joda | conversor de joda | 1.7 |
org.jodd | núcleo nodular | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3,7,0-M11 |
org.json4s | json4s-core_2.12 | 3,7,0-M11 |
org.json4s | json4s-jackson_2.12 | 3,7,0-M11 |
org.json4s | json4s-scalap_2.12 | 3,7,0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.JDBC | cliente mariadb-java | 2.7.4 |
org.mlflow | faísca de fluxo | 1.27.0 |
org.objenesis | objênese | 2.5.1 |
org.postgresql | PostgreSQL | 42,3.3 |
org.roaringbitmap | Mapa de bits estrondoso | 0,9,25 |
org.roaringbitmap | calços | 0,9,25 |
org.rocksdb | rocksdbjni | 6.24.2 |
org.rosuda.rEngine | Motor | 2.1.0 |
org.Scala-lang | Scala-compiler_2.12 | 2.12.14 |
org.Scala-lang | Scala-biblioteca.12 | 2.12.14 |
org.Scala-lang | Scala-reflect_2.12 | 2.12.14 |
org.Scala-lang.modules | Scala-collection-compat_2.12 | 2.4.3 |
org.Scala-lang.modules | Scala-parser-combinators_2.12 | 1.1.2 |
org.Scala-lang.modules | Scala-xml_2.12 | 1.2.0 |
org.Scala-sbt | interface de teste | 1,0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | breeze-macros_2.12 | 1.2 |
org.scalanlp | breeze_2.12 | 1.2 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1,7,36 |
org.slf4j | jul-a-slf4j | 1,7,36 |
org.slf4j | slf4j-api | 1,7,36 |
org.spark-project.spark | não utilizado | 1.0.0 |
org.threeten | treze e mais | 1.5.0 |
org.tukaani | xz | 1,8 |
org.typelevel | álgebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | macro-compat_2,12 | 1.1.1 |
org.typelevel | spire-macros_2.12 | 0,17.0 |
org.typelevel | spire-platform_2.12 | 0,17.0 |
org.typelevel | spire-util_2.12 | 0,17.0 |
org.typelevel | spire_2.12 | 0,17.0 |
org.wildfly.openssl | wildfly-openssl | 1.0.7. Final |
org.xerial | sqlite-JDBC | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.8.4 |
org.yaml | snakeyaml | 1,24 |
oro | oro | 2.0.8 |
pt.edu.icm | Matrizes JLarge | 1.5 |
software.Amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |