Databricks Runtime 14,2 (EoS)
O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.
As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 14.2, alimentado por Apache Spark 3.5.0.
A Databricks lançou essa versão em novembro de 2023.
Para ver notas sobre a versão das versões do site Databricks Runtime que chegaram ao fim do suporte (EoS), consulte Fim do suporte Databricks Runtime notas sobre a versão. As versões do EoS Databricks Runtime foram retiradas e podem não ser atualizadas.
Novos recursos e melhorias
CACHE SELECT
agora é ignorado- Comportamento aprimorado de armazenamento em cache
- Correção do tratamento de arquivos corrompidos no comando DML
- Suporte ao Schema Registry para funções relacionadas a protobuf e Avro em clustering compartilhado
foreachBatch
e suporteStreamingListener
- A simultaneidade em nível de linha está geralmente disponível e ativada por default
- Delta Sharing: Os destinatários podem realizar consultas de lotes, CDF e transmissão em tabelas compartilhadas com vetores de exclusão (visualização pública)
- Clone superficial para tabelas externas do Unity Catalog (visualização pública)
- Novo algoritmo de atribuição de cache de disco
from_avro
com o conector de registro de esquema adiciona suporte à evolução do esquema- Coleta mais rápida de estatísticas em vários segmentos
- Filtros pushdown no DeltaSource em arquivos Delta
- Suporte para Scala funções escalares definidas pelo usuário em clustering compartilhado (visualização pública)
CACHE SELECT
agora é ignorado
O comando SQL CACHE SELECT
agora é ignorado em favor de um algoritmo de cache aprimorado. Consulte Otimizar o desempenho com cache em Databricks.
Comportamento aprimorado de armazenamento em cache
O posicionamento do DiskCache pelo programador Spark agora tem atribuição de partição mais rápida, melhor balanceamento durante a autoescala de clustering e execução de consultas mais consistente.
Correção do tratamento de arquivos corrompidos no comando DML
O comando DML DELETE
, UPDATE
e MERGE INTO
não respeita mais as opções de leitura ignoreCorruptFiles
e ignoreMissingFiles
. Ao encontrar um arquivo ilegível em uma tabela, esse comando agora falha mesmo se essas opções forem especificadas.
Suporte ao Schema Registry para funções relacionadas a protobuf e Avro em clustering compartilhado
Agora o senhor pode usar as funções from_avro
, to_avro
, from_protobuf
e to_protobuf
Python com o Schema Registry em clustering compartilhado.
Suporte paraforeachBatch
e StreamingListener
Agora o senhor pode usar foreachBatch()
e StreamingListener
APIs com transmissão estruturada em clustering compartilhado. Consulte Usar o foreachBatch para gravar em coletores de dados arbitrários e monitorar as consultas de transmissão estruturada em Databricks.
A simultaneidade em nível de linha está geralmente disponível e ativada por default
A simultaneidade no nível da linha reduz os conflitos entre operações de gravação concorrentes ao detectar alterações no nível da linha. A simultaneidade em nível de linha só é suportada em tabelas sem particionamento, o que inclui tabelas com clustering líquido. A simultaneidade em nível de linha é ativada pelo site default em tabelas Delta com vetores de exclusão ativados. Consulte Conflitos de gravação com simultaneidade em nível de linha.
Delta Sharing: Os destinatários podem realizar consultas de lotes, CDF e transmissão em tabelas compartilhadas com vetores de exclusão (visualização pública)
Delta Sharing Os destinatários agora podem realizar consultas de lotes, CDF e transmissão em tabelas compartilhadas que usam vetores de exclusão. Em Databricks Runtime 14.1, eles só podem realizar consultas de lotes. Consulte Adicionar tabelas com vetores de exclusão ou mapeamento de colunas a um compartilhamento, Ler tabelas com vetores de exclusão ou mapeamento de colunas ativado e Ler tabelas com vetores de exclusão ou mapeamento de colunas habilitados.
Clone superficial para tabelas externas do Unity Catalog (visualização pública)
Agora o senhor pode usar o shallow clone com tabelas externas do Unity Catalog. Consulte Shallow clone para tabelas do Unity Catalog.
Novo algoritmo de atribuição de cache de disco
O programador Spark agora usa um novo algoritmo de cache de disco. O algoritmo melhora o uso do disco e a atribuição de partições entre os nós, com atribuição mais rápida tanto no início quanto após eventos de escalonamento de clustering. A atribuição de cache mais rígida melhora a consistência entre as execuções e reduz a movimentação de dados durante as operações de rebalanceamento.
from_avro
com o conector de registro de esquema adiciona suporte à evolução do esquema
Agora é possível habilitar o pipeline para reiniciar quando forem detectados registros evoluídos. Anteriormente, se a evolução do esquema ocorresse com o conector from_avro
, as novas colunas retornariam null
. Consulte Transmissão de leitura e gravação Avro data.
Coleta mais rápida de estatísticas em vários segmentos
A coleta de estatísticas é até 10 vezes mais rápida em pequenos clusters ao executar CONVERT TO DELTA ou clonar tabelas Iceberg e Parquet. Consulte Converter em Delta Lake e Clonar tabelas Parquet e Iceberg.
Filtros pushdown no DeltaSource em arquivos Delta
Para uma melhor utilização, os filtros de partição nas consultas de transmissão de tabelas Delta agora são enviados para Delta antes da limitação de taxa.
Suporte para Scala funções escalares definidas pelo usuário em clustering compartilhado (visualização pública)
Agora o senhor pode usar as funções definidas pelo usuário escalares do Scala no clustering habilitado para o Unity Catalog configurado com o modo de acesso compartilhado. Consulte Funções escalares definidas pelo usuário - Scala.
Atualizações da biblioteca
-
Atualizado Python biblioteca:
- fastjsonschema de 2.18.0 a 2.19.0
- filelock de 3.12.3 a 3.12.4
- googleapis-common-protos de 1.60.0 a 1.61.0
-
Biblioteca R atualizada:
-
Atualizado Java biblioteca:
Apache Spark
O Databricks Runtime 14.2 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.1 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:
- [SPARK-45592] [DBRRM-624] Reverter “[SC-146977] [sql] Problema de correção no AQE com InMemoryTablesScanExec”
- [SPARK-45524] [DBRRM-625] Reverter "[SC-146319][Python][SQL] Suporte inicial para o senhor...
- [SPARK-45433] [DBRRM-621] Reverter "[SC-145163][sql] Corrigir o esquema CSV/JSON infer...
- [SPARK-45592] [SC-146977] [sql] Problema de correção no AQE com InMemoryTablesScanExec
- [SPARK-45354] Reverter “[SC-143991] [sql] Resolver funções de baixo para cima”
- [SPARK-45680] [SOMENTE TESTE] [sasp-2347] [CONECTAR] Corrigir testes
- [SPARK-45680] [CONNECT] Sessão de lançamento
- [SPARK-43380] [SC-146726][es-897115][SQL] Corrigir a lentidão na leitura do Avro
- [SPARK-45649] [SC-146742] [sql] Unifique a estrutura de preparação para
OffsetWindowFunctionFrame
- [SPARK-40820] [SC-146727][Python][SQL] Criando StructType a partir de JSON
- [SPARK-45620] [SC-146225][Python] Corrigir o site APIs relacionado a Python UDTF para usar camelCase
- [SPARK-45727] [SC-146978] [ss] Remover mapa não utilizado na simulação de propagação de marca d'água
- [SPARK-45723] [SC-146890][Python][CONNECT] Os métodos de catálogo evitam a conversão Pandas
- [SPARK-45574] [SC-146106] [sql] Adicione a sintaxe:: como uma abreviatura para conversão
- [SPARK-45670] [SC-146725][core][3.5] O SparkSubmit não é compatível com
--total-executor-cores
ao ser implantado no K8s - [SPARK-45661] [SC-146594][sql][Python] Adicionar toNullable em StructType, MapType e ArrayType
- [SPARK-45524] [SC-146319][Python][SQL] Suporte inicial para Python fonte de dados read API
- [SPARK-45542] [SC-145892] [core] Substitua
setSafeMode(HdfsConstants.SafeModeAction, boolean)
porsetSafeMode(SafeModeAction, boolean)
- [SPARK-45652] [SC-146641] [sql] SPJ: manipule partições de entrada vazias após a filtragem dinâmica
- [SPARK-45454] [SC-144846][sql] Definir o proprietário da tabela default como current_user
- [SPARK-45554] [SC-146875][Python] Introduzir parâmetro flexível para
assertSchemaEqual
- [SPARK-45242] [SC-143410][sql] Use o ID do DataFrame para validar semanticamente o CollectMetrics
- [SPARK-45674] [SC-146862][connect][Python] Aprimorar a mensagem de erro para atributos dependentes de JVMem Spark Connect.
- [SPARK-45646] [SC-146276][sql] Remover variáveis de tempo de hardcoding anteriores ao Hive 2.0
- [SPARK-43380] [SC-146726][es-897115][SQL] Corrigir a lentidão na leitura do Avro
- [SPARK-45545] [SC-146484] [core] Passe opções de SSL sempre que criarmos um SparkTransportConf
- [SPARK-45641] [SC-146260][ui] Exibir o tempo de início do aplicativo na AllJobsPage
- [SPARK-40154] [SC-146491][Python][Docs] Corrigir o nível de armazenamento na docstring Dataframe.cache
- [SPARK-45626] [SC-146259] [sql] Converta _LEGACY_ERROR_TEMP_1055 em REQUIRES_SINGLE_PART_NAMESPACE
- [SPARK-45507] [SC-145900] [sql] Correção de exatidão para subconsultas escalares correlacionadas aninhadas com agregados COUNT
- [SPARK-45619] [SC-146226][connect][Python] Aplicar as métricas observadas ao objeto de observação
- [SPARK-45588] [SC-145909] [protobuf] [CONNECT] [minor] Melhoria do Scaladoc para streaming para cada BatchHelper
- [SPARK-45616] [SC-146120][core] Evite o ParVector, que não propaga ThreadLocals ou SparkSession
- [SPARK-45604] [SC-146105][sql] Adicionar verificação de LogicalType em INT64 -> Conversão de DateTime no Parquet Vectorized Reader
- [SPARK-44649] [SC-145891][sql] O filtro Runtime suporta a passagem de expressões laterais de criação equivalentes
- [SPARK-41674] [SC-128408][sql] O filtro Runtime deve ser compatível com o embaralhamento de vários níveis join lado como o lado da criação do filtro
- [SPARK-45547] [SC-146228][ml] Validar vetores com função integrada
- [SPARK-45558] [SC-145890][ss] Introduzir um arquivo de metadados para o operador de transmissão com estado
- [SPARK-45618] [SC-146252] [core] Remover BaseErrorHandler
- [SPARK-45638] [SC-146251][sql][Avro] Melhorar a cobertura de teste da conversão decimal
- [SPARK-44837] [SC-146020][sql] Alterar mensagem de erro da coluna ALTER TABLE ALTER PARTITION
- [SPARK-45561] [SC-146264] [sql] Adicionar conversões adequadas para TINYINT no MySQLDialect
- [SPARK-45632] [SC-146255] [sql] O cache da tabela deve evitar o ColumnArtoRow desnecessário ao ativar o AQE
- [SPARK-45569] [SC-145932] [sql] Atribuir nome ao erro _LEGACY_ERROR_TEMP_2152
- [SPARK-44784] [SC-141015][connect] Tornar o teste de SBT hermético.
- [SPARK-45452] [SC-144836][sql] Melhorar o site
InMemoryFileIndex
para usar a APIFileSystem.listFiles
- [SPARK-44735] [SC-146186] [sql] Adicione uma mensagem de aviso ao inserir colunas com o mesmo nome por linha que não correspondam
- [SPARK-45351] [SC-144791][core] Alterar
spark.shuffle.service.db.backend
default valor para ROCKSDB - [SPARK-45553] [SC-145906] [ps] Obsoleto
assertPandasOnSparkEqual
- [SPARK-45613] [SC-146022] [core] Exponha o DeterministicLevel como uma API de desenvolvedor
- [SPARK-45549] [SC-145895] [core] Remova
numExistingExecutors
não utilizado emCoarseGrainedSchedulerBackend
- [SPARK-45609] [SC-146030] [conectar] Incluir SQLState na mensagem protótipo SparkThrowable
- [SPARK-45595] [SC-146037] expõe sqlstate na mensagem de erro
- [SPARK-45628] [SC-146123] [ml] Melhore
vector_to_array
para.mllib.linalg.SparseVector
- [SPARK-45009] [SC-145884][sql][FOLLOW UP] Desativar a descorrelação em join condições para o teste AQE InSubquery
- [SPARK-45576] [SC-145883][core] Remover registro de depuração desnecessário no ReloadingX509TrustManagerSuite
- [SPARK-45485] [SC-145719] [connect] Melhorias no agente de usuário: use a variável de ambiente SPARK_CONNECT_USER_AGENT e inclua atributos específicos do ambiente
- [SPARK-45508] [SC-145513] [core] Adicione “—add-opens=java.base/jdk.internal.ref=All-Unnamed” para que a plataforma possa acessar o Cleaner no Java 9+
- [SPARK-45595] Reverter “[SC-146037] Expor SQLSTATE na mensagem de erro”
- [SPARK-45595] [SC-146037] Expor SQLSTATE na mensagem de erro
- [SPARK-45112] Reverter “[SC-143259] [sql] Use a função não resolvida ba...
- [SPARK-45257] [SC-143411][core] Habilitar
spark.eventLog.compress
por default - [SPARK-45586] [SC-145899] [sql] Reduza a latência do compilador para planos com grandes árvores de expressão
- [SPARK-45517] [SC-145691] [conectar] [14.x] Expandir mais construtores de exceção para oferecer suporte aos parâmetros da estrutura de erros
- [SPARK-45581] [SC-145896] Torne o SQLSTATE obrigatório.
- [SPARK-45427] [SC-145590][core] Adicionar configurações de RPC SSL a SSLOptions e SparkTransportConf
- [SPARK-45261] [SC-143357] [core] Corrija
EventLogFileWriters
para lidar comnone
como um codec - [SPARK-45582] [SC-145897][ss] Assegurar que a instância de armazenamento não seja usada depois de chamar commit na agregação de transmissão do modo de saída
- [SPARK-45562] [SC-145720][sc-144650][SQL] XML: Tornar 'rowTag' uma opção obrigatória
- [SPARK-45392] [SC-144362][core][SQL][ss] Substituir
Class.newInstance()
porClass.getDeclaredConstructor().newInstance()
- [SPARK-45433] [SC-145163][sql] Corrige a inferência do esquema CSV/JSON quando os carimbos de data/hora não correspondem ao timestampFormat especificado
- [SPARK-45458] [SC-145011] [sql] Converta IllegalArgumentException em sparkIllegalArgumentException em expressões Bitwise
- [SPARK-45564] [SC-145735] [sql] Simplifique 'DataFrameStatFunctions.BloomFilter' com a expressão 'BloomFilterAggregate'
- [SPARK-45566] [SC-145777][ps] Suporte a utilitários de teste do tipo Pandas para a API do Pandas no Spark
- [SPARK-45498] [SC-145509][core] Acompanhamento: Ignorar a conclusão da tarefa do estágio antigo a...
- [SPARK-45483] [SC-145152] [connect] Corrija os grupos de funções em connect.functions
- [SPARK-45577] [SC-145781][Python] Corrigir UserDefinedPythonTableFunctionAnalyzeRunner para passar valores dobrados de argumentos nomeados
- [SPARK-45009] [SC-138223][follow up] Desative a descorrelação em join condições para o AetherSQLQuerySuite
- [SPARK-45415] [SC-145344] Permitir a desativação seletiva do "fallocate" no armazenamento de estado do RocksDB
- [SPARK-45500] [SC-145134] [core] [WEBUI] Mostrar o número de drivers concluídos de forma anormal no MasterPage
- [SPARK-44120] [SC-144349][Python] Suporte Python 3.12
- [SPARK-45439] [SC-145589] [sql] [UI] Reduzir o uso de memória de livestageMetrics.accumIdStometricType
- [SPARK-45565] [SC-145717][ui] Loops desnecessários em JSON.stringify e JSON.parse para a lista de tarefas no detalhe do palco
- [SPARK-45567] [SC-145718][connect] Remover if redundante em org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#execução
- [SPARK-45112] [SC-143259][sql] Use a resolução baseada em UnresolvedFunction nas funções do conjunto de dados SQL
- [SPARK-45486] [SASP-2457] [sc-145612] [CONNECT] Tornar a solicitação add_artifact idempotente
- [SPARK-44913] [SC-144326][sql] DS V2 suporta push down V2 UDF que tem método mágico
- [SPARK-45538] [SC-145635][Python][CONNECT]PySpark connect overwrite_partitions bug
- [SPARK-45491] [SC-145622] Adicionar SQLSTATES 2/2 ausentes
- [SPARK-45009] [SC-145620][sc-138223][SQL] Decorrelate predicate subqueries in join condition
- [SPARK-45377] [SC-144377] [core] Manipule o InputStream no NettyLogger
- [SPARK-45248] [SC-143759] [core] Defina o tempo limite para o servidor Spark UI
- [SPARK-44594] [SC-145611][ss] Remover parâmetro de método redundante no conector Kafka
- [SPARK-45539] [SC-145621][ss] Adicionar assert e log para indicar que a definição de marca d'água é necessária para consultas de agregação de transmissão no modo append
- [SPARK-44262] [SC-145639] [sql] Adicione
dropTable
egetInsertStatement
ao jdbcDialect - [SPARK-45516] [SC-145480] [conectar] Incluir QueryContext na mensagem protótipo SparkThrowable
- [SPARK-45310] [SC-145127][core] O status do bloco de embaralhamento do relatório deve respeitar o serviço de embaralhamento durante a migração de desativação
- [SPARK-45521] [SC-145487] [ml] Evite o recálculo de nnz em
VectorAssembler
- [SPARK-45418] [SC-145485][sql][Python][connect] Alterar o alias da coluna current_database() para current_schema()
- [SPARK-45116] [SC-145142] [sql] Adicione algum comentário para o parâmetro do jdbcDialect
createTable
- [SPARK-45495] [SC-145529][core] Suporte ao perfil de recurso de tarefa em nível de estágio para clustering k8s quando a alocação dinâmica estiver desativada
- [SPARK-45487] [SC-145559] Corrigir SQLStates e erros temporários
- [SPARK-45505] [SC-145550][Python] Refatorar o analyzeInPython para torná-lo reutilizável
- [SPARK-45132] [SC-145425] [sql] Corrigir IDENTIFICADOR para invocação de função
- [SPARK-45213] [SC-145020] [sql] Atribuir nome ao erro _LEGACY_ERROR_TEMP_2151
- [SPARK-45416] [SC-145126] [conectar] Verificação de integridade da consistência dos resultados do Arrow
- [SPARK-45163] [SC-143386][sql] mesclar UNSUPPORTED_VIEW_OPERATION & UNSUPPORTED_TABLE_OPERATION & corrigir alguns problemas
- [SPARK-45421] [SC-144814] [sql] Capture a exceção de análise em InLinecte
- [SPARK-43664] [SC-145404][connect][PS] Levantar exceção para
ps.sql
com o objeto Pandas-on-Spark no Spark Connect. - [SPARK-45402] [SC-145371][sql][Python] Adicionar UDTF API para os métodos 'eval' e 'terminate' para consumir o resultado anterior de 'analyze'.
- [SPARK-36112] [SC-67885] [SQL] Suporte a subconsultas EXISTS e IN correlacionadas usando a estrutura DecorrelateInnerQuery
- [SPARK-45383] [SC-144929][sql] Corrigir mensagem de erro para viagem do tempo com tabela inexistente
- [SPARK-43254] [SC-143318] [sql] Atribua um nome ao erro _LEGACY_ERROR_TEMP_2018
- [SPARK-45204] [SC-145167] [conectar] Adicionar ExecuteHolder opcional ao SparkConnectPlanner
- [SPARK-45451] [SC-145144][sql] Tornar configurável o nível de armazenamento default do cache dataset
- [SPARK-45192] [SC-143194] [ui] Corrige o parâmetro LineInterpolate atrasado para o Graphviz Edge
- [SPARK-45467] [SC-145146] [core] Substitua
Proxy.getProxyClass()
porProxy.newProxyInstance().getClass
- [SPARK-45397] [SC-145139][ml][CONNECT] Adicionar transformador de recurso de montagem de matriz
- [SPARK-44855] [SC-145226] [conectar] Pequenos ajustes para anexar ExecuteGrpcResponseSender ao ExecuteResponseObserver
- [SPARK-45398] [SC-144796] [sql] Anexe
ESCAPE
emsql()
da expressãoLike
- [SPARK-45494] [SC-145129][core][Python] Introduzir funções util para ler/gravar uma matriz de bytes para PythonWorkerUtils
- [SPARK-45464] [SC-145125] [core] Corrige a compilação da distribuição de fios de rede
- [SPARK-45461] [SC-144851][core][SQL][MLlib] Introduzir um mapeador para StorageLevel
- [SPARK-45450] [SC-145009][Python] Corrigir importações de acordo com o PEP8: PySpark.pandas e PySpark (core)
- [SPARK-45475] [SC-145018] [sql] Usa Dataframe.forEachpartition em vez de RDD.forEachPartition em JDBCutils
- [SPARK-45271] [SC-143778][sql] merge _LEGACY_ERROR_TEMP_1113 into TABLE_OPERATION & delete some unused method in QueryCompilationErrors
- [SPARK-45449] [SC-145013][sql] Problema de invalidação de cache com tabela JDBC
- [SPARK-45473] [SC-145017] [sql] Corrige mensagem de erro incorreta para RoundBase
- [SPARK-43299] [SC-145022][ss][CONNECT] Converter StreamingQueryException no cliente Scala
- [SPARK-45474] [SC-145014][core][WEBUI] Suporte à filtragem de nível superior na API JSON da MasterPage
- [SPARK-45205] [SC-145012] [sql] CommandResultExec deve substituir os métodos iteradores para evitar o acionamento de vários trabalhos.
- [SPARK-45472] [SC-145004][ss] RocksDB armazenamento do estado Doesn't Need to Recheck checkpoint path existence
- [SPARK-45470] [SC-145010][sql] Evite colar o valor das strings do tipo de compressão hive orc
- [SPARK-45448] [SC-144829][Python] Corrigir importações de acordo com o PEP8: PySpark.testing, PySpark.MLlib, PySpark.recurso e PySpark.transmissão
- [SPARK-45446] [SC-144828][Python] Corrigir importações de acordo com o PEP8: PySpark.errors e PySpark.ml
- [SPARK-45239] [SC-144832][connect] Reduzir default spark.connect.jvmStacktrace.maxSize
- [SPARK-45436] [SC-144831][Python][CONNECT] DataFrame métodos verificam a mesma sessão
- [SPARK-45413] [SC-144847] [core] Adicionar aviso para preparar o suporte ao Drop LevelDB
- [SPARK-45462] [SC-144848] [core] [WEBUI] Mostrar
Duration
emApplicationPage
- [SPARK-44527] [SC-144855] [sql] Substitua scalarSubquery por null se seu maxRows for 0
- [SPARK-45401] [SC-144854][Python] Adicionar um novo método
cleanup
na interface UDTF - [SPARK-43704] [SC-144849] [conectar] [PS] Suporte
MultiIndex
parato_series()
- [SPARK-45424] [SC-144888] [sql] Corrigir timestampFormatter retorna resultados de análise opcionais quando apenas o prefixo coincide
- [SPARK-45441] [SC-144833][Python] Introduzir mais funções utilitárias para PythonWorkerUtils
- [SPARK-45412] [SC-144803][Python][CONNECT] Validar o plano e a sessão em
DataFrame.__init__
- [SPARK-45408] [SC-144810][core] Adicionar configurações de RPC SSL ao TransportConf
- [SPARK-45432] [SC-144818] [core] Remova o construtor obsoleto do Hadoop-2
LocatedFileStatus
- [SPARK-45434] [SC-144819][ml][CONNECT] LogisticRegression verifica o rótulo do treinamento
- [SPARK-45420] [SC-144808][sql][Python][connect] Add DataType.fromDDL into PySpark
- [SPARK-45406] [SC-144793][Python][CONNECT] Delete
schema
from DataFrame constructor - [SPARK-45404] [SC-144799] [core] Suporta a variável env
AWS_ENDPOINT_URL
- [SPARK-43620] [SC-144792][connect][PS] Corrigir Pandas APIs depende de recurso não suportado
- [SPARK-45354] [SC-143991] [sql] Resolver funções de baixo para cima
- [SPARK-45394] [SASP-1480][sc-144712][Python][connect] Add retries for artifact API. Melhore o tratamento de erros (acompanhamento de [SPARK-45093]).
- [SPARK-45120] [SC-142780] [spark-45150 ] [UI] Atualize o d3 da v3 para a v7 (v7.8.5) e aplique as alterações da API na interface do usuário
- [SPARK-44838] [SC-143983] [sql] melhoria do raise_error
- [SPARK-45312] [SC-143754] [sql] [UI] Suporte para alternar exibição/ocultar plano svg na página de execução
- [SPARK-45378] [SC-144448] [core] Adicionar convertToNettyForSSL ao buffer gerenciado
- [SPARK-44762] [SC-144338][connect][CORE] Documento para SparkConnect.addJobTag e Connect SparkSession.addTag
- [SPARK-45383] Lide com relacionamentos não resolvidos TimeTravel com elegância
- [SPARK-45347] [SC-144512] [sql] [CONNECT] Incluir SparkThrowable em FetchErrorDetailsResponse
- [SPARK-45012] [SC-141512] [sql] CheckAnalysis deve lançar um plano embutido em AnalysisException
- [SPARK-45359] [SC-144336][Python][CONNECT]
DataFrame.{columns, colRegex, explain}
deve gerar exceções quando o plano for inválido - [SPARK-45227] [SC-144233] [core] Corrija um problema sutil de segurança de thread com CoarseGrainedExecutorBackend
- [SPARK-45266] [SC-144171][Python] Refatorar a regra do analisador ResolveFunctions para atrasar a criação da lateral join quando forem usados argumentos de tabela
- [SPARK-45266] Reverter "[SC-144171][Python] Refatorar a regra do analisador ResolveFunctions para atrasar a criação da lateral join quando forem usados argumentos de tabela".
- [SPARK-45371] [SC-144389][connect] Corrigir problemas de sombreamento no cliente Spark Connect Scala
- [SPARK-45057] [SC-144214] [core] Evite adquirir bloqueio de leitura quando o KeepReadlock é falso
- [SPARK-45385] [SC-144357] [sql] Obsoleto
spark.sql.parser.escapedStringLiterals
- [SPARK-45340] [SC-143917][sql] Remover a configuração do SQL
spark.sql.hive.verifyPartitionPath
- [SPARK-45266] [SC-144171][Python] Refatorar a regra do analisador ResolveFunctions para atrasar a criação da lateral join quando forem usados argumentos de tabela
- [SPARK-45362] [SC-144198][Python] Projetar expressões PARTITION BY antes que o método 'eval' do Python UDTF as consuma
- [SPARK-45346] [SC-143925] [sql] A inferência do esquema Parquet deve respeitar o sinalizador de distinção entre maiúsculas e minúsculas ao mesclar o esquema
- [SPARK-45341] [SC-143933][core] Corrija o nível do título nos comentários do KVStore.java para que
sbt doc
seja executado com sucesso em Java 17 - [SPARK-45334] [SC-143914] [sql] Remova o comentário enganoso no ParquetSchemaConverter
- [SPARK-45337] [SC-143932][core] Refatorar
AbstractCommandBuilder#getScalaVersion
para remover a verificação do Scala 2.12 - [SPARK-45329] [SC-143918][Python][CONNECT] DataFrame methods skip Pandas conversion
- [SPARK-43662] [SC-143923][ps][CONNECT] Suporte à mesclagem em Spark Connect
- [SPARK-44126] [SC-143751][core] A contagem de falhas de migração aleatória não deve aumentar quando o executor de destino é desativado
- [SPARK-44550] [SC-119768] [sql] Habilitar correções de correção para
null IN (empty list)
em ANSI - [SPARK-45316] [SC-143783][core][SQL] Adicionar novos parâmetros
ignoreCorruptFiles
/ignoreMissingFiles
paraHadoopRDD
eNewHadoopRDD
- [SPARK-45093] [SC-143414][connect][Python] Relatório de erros para a consulta addArtifacts
- [SPARK-44756] [SC-143787][core] O executor trava quando o RetryingBlockTransferor não consegue iniciar a nova tentativa
- [SPARK-45333] [SC-143768] [core] Corrija um erro de unidade relacionado ao Spark.EventLog.Buffer.KB
- [SPARK-45317] [SC-143750] [sql] [CONNECT] Manipule o nome de arquivo nulo em rastreamentos de pilha de exceções
- [SPARK-45191] [SC-143407] [sql] InMemoryTables ScanExec SimpleString WithNodeID adiciona informações colunares
- [SPARK-45235] [SC-143314][connect][Python] Suporte a parâmetros de mapa e matriz por
sql()
- [SPARK-45138] [SC-143309] [ss] Defina uma nova classe de erro e aplique-a quando o estado de checkpoint do DFS falhar
- [SPARK-45297] [SC-143644] [sql] Remova a solução alternativa para o formatador de data adicionado ao SPARK-31827
- [SPARK-44345] [SC-143593][core] Reduzir
unknown shuffle map output
log level para WARN se a migração aleatória estiver ativada - [SPARK-44463] [SC-143251][ss][CONNECT] Melhorar o tratamento de erros para o Connect steaming Python worker
- [SPARK-45207] [SC-143603][sql][CONNECT] Implementar enriquecimento de erros para o cliente Scala
- [SPARK-45240] [SC-143602][sql][CONNECT] Implementar enriquecimento de erros para o cliente Python
- [SPARK-45216] [SC-143288][sql] Corrigir conjunto de dados semeado não determinístico APIs
- [SPARK-45251] [SC-143419] [connect] Adicionar campo client_type para fetchErrorDetails
- [SPARK-45137] [SC-143001] [conectar] Suporta parâmetros de mapa/matriz em parâmetros
sql()
- [SPARK-45224] [SC-143257][Python] Adicionar exemplos com map e array como parâmetros de
sql()
- [SPARK-44622] [SC-143205] [sql] [CONNECT] Implemente o RPC FetchErrorDetails
- [SPARK-45178] [SC-136089] fallback para executar um único lote para Trigger.AvailableNow com fontes não suportadas em vez de usar o wrapper
- [SPARK-44823] [14.x][sc-142979][Python] Atualize o preto para 23.9.1 e corrija a verificação errônea
- [SPARK-45078] [SC-142954] [sql] A correção
array_insert
implicitCastInputTypes não funciona - [SPARK-44579] [SC-138428] [sql] Suporte a interrupção ao cancelar na execução de SQL
- [SPARK-45252] [SC-143371] [core] Fuja dos símbolos maiores/menores que nos comentários para fazer com que o
sbt doc
seja executado com sucesso - [SPARK-45189] [SC-142973] [sql] A criação de UnresolvedRelation a partir do TableIdentifier deve incluir o campo do catálogo
- [SPARK-45229] [SC-143254] [core] [UI] Mostra o número de drivers aguardando no status ENVIADO no MasterPage
- [SPARK-43453] Reverter “[SC-143135] [ps] Ignore o
names
deMultiIndex
quandoaxis=1
forconcat
”
Suporte ao driver ODBC/JDBC da Databricks
A Databricks é compatível com drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e da atualização do site (download ODBC, download JDBC).
Consulte Atualizações de manutenção do Databricks Runtime 14.2.
Ambiente do sistema
- Sistema operacional : Ubuntu 22.04.3 LTS
- Java : Zulu 8.72.0.17-CA-linux64
- Scala : 2.12.15
- Python : 3.10.12
- R : 4.3.1
- Delta Lake : 3.0.0
Instalado Python biblioteca
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
anyio | 3.5.0 | argônio-2-cffi | 21,3,0 | ligações argônio-2-cffi | 21.2.0 |
asttokens | 2.0.5 | atrai | 22.1.0 | chamada de volta | 0.2.0 |
linda sopa 4 | 4.11.1 | preto | 22.6.0 | cândida | 4.1.0 |
pisca-pisca | 1.4 | boto3 | 1,24,28 | botocore | 1,27,96 |
certifi | 2022.12.7 | caffi | 1.15.1 | chardet | 4.0.0 |
normalizador de conjuntos de caracteres | 2.0.4 | clique | 8.0.4 | comunicações | 0.1.2 |
contornar | 1.0.5 | criptografia | 39,0,1 | ciclador | 0.11.0 |
Cython | 0,29,32 | databricks-sdk | 0.1.6 | dbus-Python | 1.2.18 |
depurar | 1.6.7 | decorador | 5.1.1 | xml desfundido | 0.7.1 |
distlib | 0.3.7 | docstring-to-markdown | 0,11 | pontos de entrada | 0,4 |
execução | 0,8.3 | visão geral das facetas | 1.1.1 | esquema fastjson | 2.19.0 |
bloqueio de arquivo | 3.12.4 | ferramentas de fonte | 4,25.0 | googleapis-common-protos | 1,61,0 |
grócio | 1.48,2 | status de grpcio | 1.48,1 | httplib2 | 0,20.2 |
Índia | 3.4 | importlib-metadados | 4.6.4 | ipykernel | 6,25,0 |
ipython | 8.14.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
jedi | 0,18.1 | jeepney | 0.7.1 | Jinja 2 | 3.1.2 |
jmespath | 0.10.0 | joblib | 1.2.0 | esquema json | 4.17.3 |
cliente jupyter | 7.3.4 | servidor jupyter | 1.23,4 | jupyter_core | 5.2.0 |
pigmentos jupyterlab | 0.1.2 | widgets jupyterlab | 1.0.0 | chaveiro | 23,5,0 |
solucionador de kiwi | 1.4.4 | launchpadlib | 1,10,16 | lazr.restfulclient | 0,14.4 |
lazr.uri | 1.0.6 | lxml | 4.9.1 | MarkupSafe | 2.1.1 |
Matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 | mccabe | 0.7.0 |
confundir | 0,8.4 | mais ferramentas de iteração | 8.10.0 | extensões mypy | 0.4.3 |
nbclassic | 0.5.2 | cliente nb | 0,5.13 | nbconvert | 6.5.4 |
formato nb | 5.7.0 | nest-assíncio | 1.5.6 | nodeenv | 1.8.0 |
notebook | 6.5.2 | Caderno de anotações | 0.2.2 | entorpecido | 1,23,5 |
oauthlib | 3.2.0 | fazendo às malas | 22,0 | Pandas | 1.5.3 |
filtros pandóicos | 1.5.0 | parso | 0,8.3 | especificação do caminho | 0.10.3 |
bode expiatório | 0.5.3 | esperar | 4.8.0 | picles | 0.7.5 |
Travesseiro | 9.4.0 | pip | 22.3.1 | platformdirs | 2.5.2 |
Plotly | 5.9.0 | plugado | 1.0.0 | cliente prometheus | 0,14.1 |
kit de ferramentas de aviso | 3,0,36 | protobuf | 4,24.0 | pistila | 5.9.0 |
psycopg2 | 2.9.3 | processo pty | 0.7.0 | avaliação pura | 0.2.2 |
flecha | 8.0.0 | hotfix do pyarrow | 0,4 | pycparser | 2,21 |
pidântico | 1.10.6 | flocos | 3.1.0 | Pigmentos | 2.11.2 |
Objeto PYG | 3,42,1 | PyJWT | 2.3.0 | pyodbc | 4,0,32 |
análise de pipa | 3.0.9 | direito autoral | 1,1,294 | persistente | 0,18.0 |
Python-dateutil | 2.8.2 | Python-lsp-jsonrpc | 1.1.1 | Python-lsp-server | 1.8.0 |
pytoolconfig | 1.2.5 | pytz | 2022,7 | pizma | 23.2,0 |
pedidos | 2.28,1 | corda | 1.7.0 | transferência s3 | 0.6.2 |
scikit-learn | 1.1.1 | pegajoso | 1.10.0 | marítimo | 0.12.2 |
Armazenamento secreto | 3.3.1 | Enviar 2 lixeiras | 1.8.0 | ferramentas de configuração | 65,6,3 |
seis | 1,16.0 | cheirar | 1.2.0 | peneira | 2.3.2. Postagem 1 |
ID de importação ssh | 5,11 | dados de pilha | 0.2.0 | modelos de estatísticas | 0,13.5 |
tenacidade | 8.1.0 | terminado | 0,17.1 | threadpool ctl | 2.2.0 |
minúsculo css2 | 1.2.1 | tokenizar-rt | 4.2.1 | tomli | 2.0.1 |
tornado | 6.1 | almôndegas | 5.7.1 | extensões_de digitação | 4.4.0 |
junhão | 5.4.0 | atualizações autônomas | 0,1 | urllib3 | 1,26,14 |
ambiente virtual | 20,16.7 | wadlib | 1.3.6 | largura do wc | 0.2.5 |
codificações da web | 0.5.1 | cliente websocket | 0,58,0 | qual é o patch | 1.0.2 |
Python wheel | 0,38,4 | extensão widgetsnb | 3.6.1 | yapf | 0,33,0 |
zíper | 1.0.0 |
Instalou a R biblioteca
As bibliotecas R são instaladas a partir do pacote Posit Manager CRAN Snapshot em 2023-02-10.
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
flecha | 12.0.1 | askpass | 1.1 | afirme que | 0.2.1 |
portas traseiras | 1.4.1 | base | 4.3.1 | base64enc | 0,1-3 |
pouco | 4.0.5 | bit64 | 4.0.5 | bolha | 1.2.4 |
inicialização | 1,3-28 | fermentar | 1,0-8 | brio | 1.1.3 |
vassoura | 1.0.5 | babião | 0.5.0 | cachem | 1,0.8 |
chamador | 3.7.3 | cursor | 6,0-94 | guarda de celas | 1.1.0 |
crono | 2,3-61 | Aula | 7,3-22 | CLIPE | 3.6.1 |
clipe | 0,8.0 | relógio | 0.7.0 | Cluster | 2.1.4 |
ferramentas de código | 0,2-19 | espaço de cores | 2,1-0 | marca comum | 1.9.0 |
compilador | 4.3.1 | configuração | 0.3.1 | em conflito | 1.2.0 |
cpp11 | 0.4.4 | giz de cera | 1.5.2 | Credenciais | 1.3.2 |
cacho | 5.0.1 | data.tabela | 1,14.8 | conjunto de dados | 4.3.1 |
DBI | 1.1.3 | dbplyr | 2.3.3 | desc | 1.4.2 |
ferramentas de desenvolvimento | 2.4.5 | diagrama | 1.6.5 | diff | 0.3.5 |
digerir | 0,6.33 | iluminado | 0.4.3 | dplyr | 1.1.2 |
dtplyr | 1.3.1 | e1071 | 1,7-13 | reticências | 0.3.2 |
avalie | 0,21 | fansi | 1.0.4 | colorista | 2.1.1 |
mapa rápido | 1.1.1 | fontawesome | 0.5.1 | para gatos | 1.0.0 |
para cada um | 1.5.2 | estrangeira | 0,8-82 | forjar | 0.2.0 |
fs | 1.6.2 | futuro | 1,33,0 | futuro.aplique | 1.11.0 |
gargarejar | 1.5.1 | genéricas | 0.1.3 | obter | 1.9.2 |
ggplot2 | 3.4.2 | gh | 1.4.0 | gitcreds | 0.1.2 |
glmnet | 4,1-7 | globais | 0,16.2 | cola | 1.6.2 |
google drive | 2.1.1 | planilhas do Google 4 | 1.1.1 | goleiro | 1.0.1 |
gráficos | 4.3.1 | Dispositivos GR | 4.3.1 | grade | 4.3.1 |
Grid Extra | 2.3 | gsubfn | 0,7 | mesa | 0.3.3 |
capacete | 1.3.0 | refúgio | 2.5.3 | mais alto | 0,10 |
HMS | 1.1.3 | ferramentas html | 0.5.5 | widgets html | 1.6.2 |
http.uv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
IDs | 1.0.1 | mini | 0.3.1 | ipred | 0,9-14 |
isóbanda | 0.2.7 | iteradores | 1,0.14 | jquerylib | 0.1.4 |
jsonlite | 1.8.7 | Kern Smooth | 2,23-21 | tricotar | 1,43 |
rótulo | 0.4.2 | posteriormente | 1.3.1 | treliça | 0,21-8 |
lava | 1.7.2.1 | ciclo de vida | 1.0.3 | ouvindo | 0.9.0 |
lubrificar | 1.9.2 | magritter | 2.0.3 | Markdown | 1.7 |
MASSA | 7,3-60 | Matriz | 1,5-4,1 | memoise | 2.0.1 |
métodos | 4.3.1 | mgcv | 1,8-42 | mímica | 0,12 |
Mini UI | 0.1.1.1 | Métricas do modelo | 1.2.2.2 | modelar | 0.1.11 |
munsell | 0.5.0 | nome | 3,1-162 | net | 7,3-19 |
Número Deriv | 2016,8-1,1 | openssl | 2.0.6 | paralelo | 4.3.1 |
paralelamente | 1,36,0 | pilar | 1.9.0 | pkgbuild | 1.4.2 |
pkgconfig | 2.0.3 | pkgdown | 2.0.7 | carregamento de pacotes | 1.3.2.1 |
plogr | 0.2.0 | plyr | 1.8.8 | elogio | 1.0.0 |
unidades bonitas | 1.1.1 | ProC | 1,18.4 | processa | 3.8.2 |
prodlim | 2023,03,31 | profvis | 0.3.8 | progresso | 1.2.2 |
progressista | 0,13,0 | promessas | 1.2.0.1 | proto | 1.0.0 |
proxy | 0,4-27 | ps | 1.7.5 | ronronar | 1.0.1 |
r2d3 | 0.2.6 | R6 | 2.5.1 | trapo | 1.2.5 |
Floresta aleatória | 4,7-1,1 | corredeiras | 0.3.3 | rcmdcheck | 1.4.0 |
Cervejaria RColor | 1,1-3 | Rcpp | 1.0.11 | RCP Pegen | 0.3.3.9.3 |
leitor | 2.1.4 | readxl | 1.4.3 | receitas | 1.0.6 |
revanche | 1.0.1 | revanche 2 | 2.1.2 | controles remotos | 2.4.2 |
reprex | 2.0.2 | remodelar 2 | 1.4.4 | rlang | 1.1.1 |
rmarkdown | 2,23 | RODBC | 1,3-20 | roxigênio2 | 7.2.3 |
rpartem | 4.1.19 | rprojroot | 2.0.3 | Reservar | 1,8-11 |
RSQLite | 2.3.1 | API do estúdio | 0,15.0 | reversões | 2.1.2 |
colete | 1.0.3 | atrevimento | 0.4.6 | escala | 1.2.1 |
seletor | 0,4-2 | informações da sessão | 1.2.2 | forma | 1.4.6 |
brilhante | 1.7.4.1 | ferramentas de origem | 0,1,7-1 | Sparklyr | 1.8.1 |
espacial | 7,3-15 | splines | 4.3.1 | sqldf | 0,4-11 |
QUADRADO | 2021,1 | estatísticas | 4.3.1 | estatísticas4 | 4.3.1 |
stringi | 1.7.12 | longarina | 1.5.0 | sobrevivência | 3,5-5 |
diz | 3.4.2 | fontes do sistema | 1.0.4 | tcltk | 4.3.1 |
teste isso | 3.1.10 | modelagem de texto | 0.3.6 | petiscar | 3.2.1 |
arrumado | 1.3.0 | seleção arrumada | 1.2.0 | tidyverso | 2.0.0 |
mudança de horário | 0.2.0 | Hora/Data | 4022,108 | tinytex | 0,45 |
Ferramentas | 4.3.1 | tzdb | 0.4.0 | verificador de URL | 1.0.1 |
use isso | 2.2.2 | utf 8 | 1.2.3 | utilidades | 4.3.1 |
uuid | 1,1-0 | vctrs | 0.6.3 | Viridis Lite | 0.4.2 |
vadouro | 1.6.3 | waldo | 0.5.1 | bigode | 0.4.1 |
murchar | 2.5.0 | diversão | 0,39 | xml2 | 1.3.5 |
xopen | 1.0.0 | x estável | 1,8-4 | yaml | 2.3.7 |
compactar | 2.3.0 |
Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)
ID do grupo | ID do artefato | Versão |
---|---|---|
chifre | chifre | 2.7.7 |
com.amazonaws | Amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscale | 1,12.390 |
com.amazonaws | formação de nuvem aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-cloudfront | 1,12.390 |
com.amazonaws | aws-java-sdk-cloudhsm | 1,12.390 |
com.amazonaws | aws-java-sdk-cloudsearch | 1,12.390 |
com.amazonaws | aws-java-sdk-cloudtrail | 1,12.390 |
com.amazonaws | aws-java-sdk-cloudwatch | 1,12.390 |
com.amazonaws | métricas aws-java-sdk-cloudwatch | 1,12.390 |
com.amazonaws | aws-java-sdk-codedeploy | 1,12.390 |
com.amazonaws | identidade cognitiva aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-cognitosync | 1,12.390 |
com.amazonaws | aws-java-sdk-config | 1,12.390 |
com.amazonaws | aws-java-sdk-core | 1,12.390 |
com.amazonaws | pipeline de dados aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-conexão direta | 1,12.390 |
com.amazonaws | diretório aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-dynamodb | 1,12.390 |
com.amazonaws | aws-java-sdk-ec2 | 1,12.390 |
com.amazonaws | aws-java-sdk-ecs | 1,12.390 |
com.amazonaws | aws-java-sdk-efs | 1,12.390 |
com.amazonaws | aws-java-sdk-elasticache | 1,12.390 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1,12.390 |
com.amazonaws | balanceamento de carga elástico aws-java-sdk | 1,12.390 |
com.amazonaws | transcodificador elástico aws-java-sdk- | 1,12.390 |
com.amazonaws | aws-java-sdk-emr | 1,12.390 |
com.amazonaws | aws-java-sdk-glacier | 1,12.390 |
com.amazonaws | aws-java-sdk-glue | 1,12.390 |
com.amazonaws | aws-java-sdk-iam | 1,12.390 |
com.amazonaws | aws-java-sdk-importação/exportação | 1,12.390 |
com.amazonaws | aws-java-sdk-kinesis | 1,12.390 |
com.amazonaws | aws-java-sdk-kms | 1,12.390 |
com.amazonaws | aws-java-sdk-lambda | 1,12.390 |
com.amazonaws | aws-java-sdk-logs | 1,12.390 |
com.amazonaws | aws-java-sdk - aprendizado de máquina | 1,12.390 |
com.amazonaws | aws-java-sdk-opsworks | 1,12.390 |
com.amazonaws | aws-java-sdk-rds | 1,12.390 |
com.amazonaws | aws-java-sdk-redshift | 1,12.390 |
com.amazonaws | aws-java-sdk-route53 | 1,12.390 |
com.amazonaws | aws-java-sdk-s3 | 1,12.390 |
com.amazonaws | aws-java-sdk-ses | 1,12.390 |
com.amazonaws | aws-java-sdk-simpledb | 1,12.390 |
com.amazonaws | aws-java-sdk - fluxo de trabalho simples | 1,12.390 |
com.amazonaws | aws-java-sdk-sns | 1,12.390 |
com.amazonaws | aws-java-sdk-sqs | 1,12.390 |
com.amazonaws | aws-java-sdk-ssm | 1,12.390 |
com.amazonaws | gateway de armazenamento aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-sts | 1,12.390 |
com.amazonaws | suporte aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-swf-biblioteca | 1.11.22 |
com.amazonaws | aws-java-sdk-workspace | 1,12.390 |
com.amazonaws | jmespath-java | 1,12.390 |
com.clearspring.analítica | transmissão | 2.9.6 |
com.databricks | Reservar | 1,8-3 |
com.databricks | databricks-sdk-java | 0.7.0 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | plugin_2.12 do compilador | 0,4,15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0,4,15-10 |
com.esotérico software | crio-sombreado | 4.0.2 |
com.esotérico software | minlog | 1.3.0 |
com.fasterxml | colega de classe | 1.3.4 |
com.fasterxml.jackson.core | jackson-anotação | 2.15.2 |
com.fasterxml.jackson.core | jackson-core | 2.15.2 |
com.fasterxml.jackson.core | vinculação de dados jackson | 2.15.2 |
formato de dados com.fasterxml.jackson. | formato de dados jackson-cbor | 2.15.2 |
com.fasterxml.jackson.tipo de dados | jackson-datatype-joda | 2.15.2 |
com.fasterxml.jackson.tipo de dados | jackson-datatype-jsr310 | 2.15.1 |
com.fasterxml.jackson.module | parâmetro do módulo jackson | 2.15.2 |
com.fasterxml.jackson.module | jackson-module-Scala.12 | 2.15.2 |
com.github.ben-manes.cafeína | cafeína | 2.9.3 |
com.github.fommil | descarregador | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 - nativos |
com.github.fommil.netlib | sistema_nativo-java | 1.1 |
com.github.fommil.netlib | sistema_nativo-java | 1.1 - nativos |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1 - nativos |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1 - nativos |
com.github.luben | zstd-jni | 1,5,5-4 |
com.github.wendykierp | JTransforma | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.10.1 |
com.google.crypto.tink | eu acho | 1.9.0 |
com.google.propenso a erros | anotações propensas a erros | 2.10.0 |
com.google.flatbuffers | tampões planos-java | 1.12.0 |
com.google.goiaba | goiaba | 15,0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.helger | perfilador | 1.1.1 |
com.jcraft | jsch | 0,1,55 |
com.jolbox | bonecp | VERSÃO 0.8.0. |
com.lihaoyi | código-fonte_2.12 | 0.1.9 |
com.microsoft.azure | azure-data lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-JDBC | 11.2.2. jre8 |
comendo | comprimir-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.bind | jaxb-core | 2.2.11 |
com.sun.xml.bind | jaxb-impl | 2.2.11 |
com.trunning | JSON | 1,8 |
com.thoughtworks.paranamer | paranâmero | 2.8 |
com.trueaccord.lenses | lentes_2.12 | 0.4.12 |
com.Twitter | chill-java | 0.10.0 |
com.Twitter | chill_2.12 | 0.10.0 |
com.Twitter | util-app_2.12 | 7.1.0 |
com.Twitter | util-core_2.12 | 7.1.0 |
com.Twitter | função-útil_2.12 | 7.1.0 |
com.Twitter | util-jvm_2.12 | 7.1.0 |
com.Twitter | util-lint_2.12 | 7.1.0 |
com.Twitter | util-registry_2.12 | 7.1.0 |
com.Twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | configuração | 1.2.1 |
com.typesafe.Scala-logging | Scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.3 |
com.univocidade | analisadores de univocidade | 2.9.1 |
com.zaxxer | HikaricP | 4.0.3 |
comum-CLI | comum-CLI | 1.5.0 |
codec comum | codec comum | 1,16.0 |
coleções comuns | coleções comuns | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
upload de arquivo commons | upload de arquivo commons | 1.5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.13.0 |
linguagem comum | linguagem comum | 2.6 |
registro de bens comuns | registro de bens comuns | 1.1.3 |
comum-pool | comum-pool | 1.5.4 |
dev.ludovic.netlib | mochila | 3.0.3 |
dev.ludovic.netlib | blás | 3.0.3 |
dev.ludovic.netlib | lapack | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io. airlift | compressor de ar | 0,25 |
io.delta | delta-compartilhamento-client_2.12 | 1.0.2 |
io.dropwizard.métricas | anotação de métricas | 4.2.19 |
io.dropwizard.métricas | núcleo de métricas | 4.2.19 |
io.dropwizard.métricas | métricas-grafite | 4.2.19 |
io.dropwizard.métricas | métricas-healthchecks | 4.2.19 |
io.dropwizard.métricas | métricas-jetty9 | 4.2.19 |
io.dropwizard.métricas | métricas-jmx | 4.2.19 |
io.dropwizard.métricas | métricas-JSON | 4.2.19 |
io.dropwizard.métricas | métricas-JVM | 4.2.19 |
io.dropwizard.métricas | métricas-servlets | 4.2.19 |
io.netty | tudo | 4.1.96. Final |
io.netty | netty-buffer | 4.1.96. Final |
io.netty | codec netty | 4.1.96. Final |
io.netty | netty-codec-http | 4.1.96. Final |
io.netty | netty-codec-http2 | 4.1.96. Final |
io.netty | netty-codec-socks | 4.1.96. Final |
io.netty | netty-common | 4.1.96. Final |
io.netty | manipulador de limpeza | 4.1.96. Final |
io.netty | proxy netty-handler | 4.1.96. Final |
io.netty | resolvedor de rede | 4.1.96. Final |
io.netty | netty-tcnative-boringssl-static | 2.0.61. final-linux-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61. Final-Linux-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61. Final-OSX-AARCH_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61. Final-OSX-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
io.netty | classes netty-tcnative | 2.0.61. Final |
io.netty | transporte de urtigas | 4.1.96. Final |
io.netty | netty-transport-classes-epoll | 4.1.96. Final |
io.netty | netty-transport-classes-kqueue | 4.1.96. Final |
io.netty | netty-transport-native-epoll | 4.1.96. Final |
io.netty | netty-transport-native-epoll | 4.1.96. Final-Linux-AARCH_64 |
io.netty | netty-transport-native-epoll | 4.1.96. Final-Linux-x86_64 |
io.netty | netty-transport-native-kqueue | 4.1.96. Final-OSX-AARCH_64 |
io.netty | netty-transport-native-kqueue | 4.1.96. Final-OSX-x86_64 |
io.netty | netty-transport-native-unix-common | 4.1.96. Final |
io. prometheus | cliente simples | 0.7.0 |
io. prometheus | simpleclient_common | 0.7.0 |
io. prometheus | simpleclient_dropwizard | 0.7.0 |
io. prometheus | gateway client_push simples | 0.7.0 |
io. prometheus | client_servlet simples | 0.7.0 |
io.prometheus.jmx | coletor | 0.12.0 |
jakarta.anotação | jakarta.anotação-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validação | jakarta.validação-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.ativação | ativação | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | API de transação | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolução | javolução | 5.5.1 |
junte-se | junte-se | 2.14.6 |
hora do dia | hora do dia | 2.12.1 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | salmoura | 1.3 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | supercsv | 2.2.0 |
net.snowflake | SDK de ingestão de flocos de neve | 0.9.6 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | chá remoto - oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | modelo de string | 3.2.1 |
org.apache.ant | formiga | 1.9.16 |
org.apache.ant | formiga | 1.9.16 |
org.apache.ant | lançador de formigas | 1.9.16 |
org.apache.arrow | formato de seta | 12.0.1 |
org.apache.arrow | núcleo de memória de seta | 12.0.1 |
org.apache.arrow | rede de memória de seta | 12.0.1 |
org.apache.arrow | vetor de seta | 12.0.1 |
org.apache.avro | AVRO | 1.11.2 |
org.apache.avro | avro-ipc | 1.11.2 |
org.apache.avro | mapeado automaticamente | 1.11.2 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | compressa comum | 1,23,0 |
org.apache.commons | criptomoeda comum | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | texto comum | 1.10.0 |
org.apache.curator | curador-cliente | 2.13.0 |
org.apache.curator | estrutura de curador | 2.13.0 |
org.apache.curator | receitas de curadores | 2.13.0 |
org.apache.datasketches | esboços de dados-java | 3.1.0 |
org.apache.datasketches | memória de esboços de dados | 2.0.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | tempo de execução do cliente hadoop | 3.3.6 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | colmeia-CLI | 2.3.9 |
org.apache.hive | hive-JDBC | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-lap-common | 2.3.9 |
org.apache.hive | colmeia | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | API de armazenamento em nuvem | 2.8.1 |
org.apache.hive.shims | calços de colmeia - 0,23 | 2.3.9 |
org.apache.hive.shims | calços de colmeia comuns | 2.3.9 |
org.apache.hive.shims | hive-shims-programador | 2.3.9 |
org.apache.httpcomponents | cliente http | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | hera | 2.5.1 |
org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
org.apache.logging.log4j | log4j-api | 2.20.0 |
org.apache.logging.log4j | log4j-core | 2.20.0 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
org.apache.mesos | mesos | Protobuf 1.11.0 sombreado |
org.apache.orc | núcleo orc | Protobuf sombreado 1.9.1 |
org.apache.orc | orc-mapreduce | Protobuf sombreado 1.9.1 |
org.apache.orc | calços de orc | 1.9.1 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.ws.xmlschema | núcleo do esquema xml | 2.3.0 |
org.apache.xbean | xbean-asm9-shaded | 4,23 |
org.apache.yetus | audiência-anotação | 0,13,0 |
org.apache.zookeeper | tratador | 3.6.3 |
org.apache.zookeeper | tratador de zoológico - juta | 3.6.3 |
org.checkerframework | xadrez igual | 3,31,0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | compilador common | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | núcleo de dados-api-jdo | 4.2.4 |
org.datanucleus | núcleo de dados | 4.1.17 |
org.datanucleus | núcleo de dados-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3,2,0-m3 |
org.Eclipse.jetty | jetty-client | 9.4.52.v20230823 |
org.Eclipse.jetty | continuação do cais | 9.4.52.v20230823 |
org.Eclipse.jetty | jetty-http | 9.4.52.v20230823 |
org.Eclipse.jetty | jetty-io | 9.4.52.v20230823 |
org.Eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
org.Eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
org.Eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
org.Eclipse.jetty | segurança do cais | 9.4.52.v20230823 |
org.Eclipse.jetty | servidor jetty-server | 9.4.52.v20230823 |
org.Eclipse.jetty | jutty-servlet | 9.4.52.v20230823 |
org.Eclipse.jetty | píer de servlets | 9.4.52.v20230823 |
org.Eclipse.jetty | jetty-util | 9.4.52.v20230823 |
org.Eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
org.Eclipse.jetty | aplicativo web jetty- | 9.4.52.v20230823 |
org.Eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
org.Eclipse.jetty.websocket | API de websoquete | 9.4.52.v20230823 |
org.Eclipse.jetty.websocket | cliente websocket | 9.4.52.v20230823 |
org.Eclipse.jetty.websocket | websocket-comum | 9.4.52.v20230823 |
org.Eclipse.jetty.websocket | servidor websocket | 9.4.52.v20230823 |
org.Eclipse.jetty.websocket | servlet websocket | 9.4.52.v20230823 |
org.fusesource.leveldbjni | leveldbjni-tudo | 1,8 |
org.glassfish.hk2 | API hk2 | 2.6.1 |
org.glassfish.hk2 | localizador hk2 | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-recurso-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance - reembalado | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | servlet de contêiner de camisa | 2,40 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2,40 |
org.glassfish.jersey.core | cliente de camisa | 2,40 |
org.glassfish.jersey.core | camiseta comum | 2,40 |
org.glassfish.jersey.core | servidor de camisa | 2,40 |
org.glassfish.jersey.inject | camiseta-hk2 | 2,40 |
org.hibernate.validator | validador de hibernação | 6.1.7. Final |
org.ini4j | ini4j | 0.5.4 |
org.javassist | javassist | 3,29,2 HA |
org.jboss.logging | registro de jboss-logging | 3.3.2. Final |
org.jdbi | jdbi | 2.63,1 |
org.jetbrains | anotação | 17.0.0 |
org.joda | conversor de joda | 1.7 |
org.jodd | núcleo nodular | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3,7,0-M11 |
org.json4s | json4s-core_2.12 | 3,7,0-M11 |
org.json4s | json4s-jackson_2.12 | 3,7,0-M11 |
org.json4s | json4s-scalap_2.12 | 3,7,0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.JDBC | cliente mariadb-java | 2.7.9 |
org.mlflow | faísca de fluxo | 2.2.0 |
org.objenesis | objênese | 2.5.1 |
org.postgresql | PostgreSQL | 42,6,0 |
org.roaringbitmap | Mapa de bits estrondoso | 0,9,45 |
org.roaringbitmap | calços | 0,9,45 |
org.rocksdb | rocksdbjni | 8.3.2 |
org.rosuda.rEngine | Motor | 2.1.0 |
org.Scala-lang | Scala-compiler_2.12 | 2.12.15 |
org.Scala-lang | Scala-biblioteca.12 | 2.12.15 |
org.Scala-lang | Scala-reflect_2.12 | 2.12.15 |
org.Scala-lang.modules | Scala-collection-compat_2.12 | 2.9.0 |
org.Scala-lang.modules | Scala-parser-combinators_2.12 | 1.1.2 |
org.Scala-lang.modules | Scala-xml_2.12 | 1.2.0 |
org.Scala-sbt | interface de teste | 1,0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.15 |
org.scalanlp | breeze-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | compatível com scalatest | 3.2.15 |
org.scalatest | scalatest-core_2.12 | 3.2.15 |
org.scalatest | diagramas de teste de escala_2.12 | 3.2.15 |
org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
org.scalatest | scalatestfreespec_2.12 | 3.2.15 |
org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
org.scalatest | scalatest - deve corresponders_2.12 | 3.2.15 |
org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
org.scalatest | scalatest_2.12 | 3.2.15 |
org.slf4j | jcl-over-slf4j | 2.0.7 |
org.slf4j | jul-a-slf4j | 2.0.7 |
org.slf4j | slf4j-api | 2.0.7 |
org.threeten | treze e mais | 1.7.1 |
org.tukaani | xz | 1,9 |
org.typelevel | álgebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | spire-macros_2.12 | 0,17.0 |
org.typelevel | spire-platform_2.12 | 0,17.0 |
org.typelevel | spire-util_2.12 | 0,17.0 |
org.typelevel | spire_2.12 | 0,17.0 |
org.wildfly.openssl | wildfly-openssl | 1.1.3. Final |
org.xerial | sqlite-JDBC | 3,42.0.0 |
org.xerial.snappy | snappy-java | 1.1.10.3 |
org.yaml | snakeyaml | 2,0 |
oro | oro | 2.0.8 |
pt.edu.icm | Matrizes JLarge | 1.5 |
software.Amazon.cryptools | Amazon Correcto Crypto Provider | 1.6.1-linux-x86_64 |
software.Amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |