Databricks Runtime 15,3 (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre versões e compatibilidade.

As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 15.3, alimentado por Apache Spark 3.5.0.

A Databricks lançou essa versão em junho de 2024.

dica

Para ver as notas sobre a versão das versões do site Databricks Runtime que chegaram ao fim do suporte (EoS), consulte Fim do suporte Databricks Runtime notas sobre a versão. As versões do EoS Databricks Runtime foram retiradas e podem não ser atualizadas.

Novos recursos e melhorias

PySpark Os DataSources agora suportam leitura e gravação de transmissão

PySpark Os DataSources, que permitem a leitura de fontes de dados personalizadas e a gravação em coletores de dados personalizados, agora suportam leitura e gravação de transmissão. Consulte PySpark custom fonte de dados.

Desativar o mapeamento de colunas com o recurso de soltar

Agora o senhor pode usar DROP FEATURE para desativar o mapeamento de colunas nas tabelas Delta e fazer downgrade do protocolo da tabela. Consulte Desativar mapeamento de colunas.

Sintaxe e funções do tipo de variante na visualização pública

O suporte nativo do Apache Spark para trabalhar com dados semiestruturados do tipo VARIANT agora está disponível no Spark DataFrames e no SQL. Consulte Dados da variante de consulta.

Suporte a tipos de variantes para o Delta Lake na visualização pública

Agora o senhor pode usar VARIANT para armazenar dados semiestruturados em tabelas com o suporte do Delta Lake. Consulte Suporte de variantes no Delta Lake.

Suporte para diferentes modos de evolução do esquema em vista

CREATE VIEW e ALTER VIEW agora permitem que o usuário defina um modo de vinculação de esquema, aprimorando a forma como a visualização trata as alterações de esquema em objetos subjacentes. Esse recurso permite que a visualização tolere ou se adapte às alterações de esquema nos objetos subjacentes. Ele aborda as mudanças no esquema de consulta resultantes de modificações nas definições de objetos.

Suporte para métodos observe() adicionado ao cliente Spark Connect Scala

O cliente Spark Connect Scala agora suporta os métodos Dataset.observe(). O suporte a esses métodos permite que o senhor defina métricas a serem observadas em um objeto Dataset usando os métodos ds.observe("name", metrics...) ou ds.observe(observationObject, metrics...).

Melhoria na latência de reinício da transmissão para Auto Loader

Esta versão inclui uma alteração que melhora a latência de reinício da transmissão para Auto Loader. Essa melhoria é implementada ao tornar assíncrono o carregamento do estado pelo RocksDB armazenamento do estado. Com essa alteração, o senhor deve ver uma melhoria nos tempos de início para transmissões com estados grandes, por exemplo, transmissões com um grande número de arquivos já ingeridos.

Retorna um DataFrame como um pyarrow.Table

Para dar suporte à gravação de um DataFrame diretamente em um objeto Apache Arrow pyarrow.Table, esta versão inclui a função DataFrame.toArrow(). Para saber mais sobre como usar o Arrow no PySpark, consulte Apache Arrow no PySpark.

Melhoria do desempenho de algumas funções de janela

Esta versão inclui uma alteração que melhora o desempenho de algumas funções de janela do Spark, especificamente funções que não incluem uma cláusula ORDER BY ou um parâmetro window_frame. Nesses casos, o sistema pode reescrever a consulta para executá-la usando uma função agregada. Essa alteração permite que a consulta seja executada mais rapidamente, usando a agregação parcial e evitando a sobrecarga de execução de funções de janela. O parâmetro de configuração spark.databricks.optimizer.replaceWindowsWithAggregates.enabled do site Spark controla essa otimização e é definido como true pelo site default. Para desativar essa otimização, defina spark.databricks.optimizer.replaceWindowsWithAggregates.enabled como false.

Suporte para a função try_mod adicionado

Esta versão adiciona suporte para a função PySpark try_mod(). Essa função suporta o cálculo compatível com ANSI SQL do resto inteiro da divisão de dois valores numéricos. Se o argumento do divisor for 0, a função try_mod() retornará null em vez de lançar uma exceção. O senhor pode usar a função try_mod() em vez de mod ou %, que lançam uma exceção se o argumento do divisor for 0 e o ANSI SQL estiver ativado.

Suporte para um parâmetro de escopo opcional no list_secrets()

Esta versão permite limitar os resultados da função de tabela list_secrets () a um escopo específico.

Correções de bugs

WriteIntoDeltaCommand métricas no site Spark UI agora são exibidas corretamente

Esta versão inclui uma correção para as métricas exibidas no site SQL tab do site Spark UI para o nó Execute WriteIntoDeltaCommand. Anteriormente, as métricas mostradas para esse nó eram todas zero.

A função groupby() na API do Pandas ignorou o argumento as_index=False

Esta versão inclui uma correção para um problema com a função groupby() na API do Pandas no Spark. Antes dessa correção, um groupby() com renomeação de colunas agregadas e o argumento as_index=False não incluíam a chave de grupo no DataFrame resultante.

Erro de análise com várias funções de janela que referenciam a saída de outras funções

Esta versão corrige um problema que pode ocorrer quando uma consulta Spark tem várias funções de janela consecutivas, em que as funções de janela fazem referência à saída de outras funções de janela. Em casos raros, o sistema pode descartar uma das referências, causando erros na avaliação da consulta. Essa correção projeta essas referências para garantir a avaliação da consulta. Essa alteração é controlada pelo parâmetro de configuração Spark spark.databricks.optimizer.collapseWindows.projectReferences, que é definido como true por default. Para desativar essa alteração, defina spark.databricks.optimizer.collapseWindows.projectReferences como false.

Atualizações da biblioteca

• Atualizado Python biblioteca:

  • filelock de 3.13.1 a 3.13.4

• Biblioteca R atualizada:

• Atualizado Java biblioteca:

  • org.rocksdb.rocksdbjni de 8.3.2 a 8.11.4

Apache Spark

O Databricks Runtime 15.3 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 15.2 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-48211] [DBRRM-1041] [15,x] [15,3] Reverter “[SC-165552] [sql] DB2: Leia SMALLINT como Sho...
• [SPARK-47904] [DBRRM-1040][behave-33][SC-163409] Reverter SPARK-47904: Preservar o caso no esquema Avro ao usar enableStableIdentifiersForUnionType
• [SPARK-48288] [SC-166141] Adicionar tipo de dados de origem para expressão de transmissão do conector
• [SPARK-48175] [SC-166341][sql][Python] Armazenar informações de agrupamento nos metadados e não no tipo para SER/DE
• [SPARK-48172] [SC-166078] [sql] Corrigir problemas de escape em jdbcDialects
• [SPARK-48186] [SC-165544] [sql] Adicionar suporte para AbstractMapType
• [SPARK-48031] [SC-166523] Visão de legado de avô para SCHEMA BINDING
• [SPARK-48369] [SC-166566][sql][Python][connect] Adicionar função timestamp_add
• [SPARK-48330] [SC-166458][ss][Python] Corrigir o problema de tempo limite da fonte de dados de transmissão Python para grandes intervalos de acionamento
• [SPARK-48369] Reverter "[SC-166494][sql][Python][connect] Adicionar função timestamp_add"
• [SPARK-48336] [SC-166495][ps][CONNECT] Implementar ps.sql no Spark Connect
• [SPARK-48369] [SC-166494][sql][Python][connect] Adicionar função timestamp_add
• [SPARK-47354] [SC-165546] [sql] Adicionar suporte de agrupamento para expressões variantes
• [SPARK-48161] [SC-165325][sql] Correção de PR revertido - Adicionar suporte de agrupamento para expressões JSON
• [SPARK-48031] [SC-166391] Decompor a configuração viewSchemaMode, adicionar suporte a SHOW CREATE TABLE
• [SPARK-48268] [SC-166217] [core] Adicionar uma configuração para sparkContext.setCheckpointDir
• [SPARK-48312] [ES-1076198] [sql] Melhore o alias.Remove metadados não herdáveis desempenho
• [SPARK-48294] [SC-166205] [sql] Manipular letras minúsculas em NestedTypeMissingElementTypeError
• [SPARK-47254] [SC-158847] [sql] Atribuir nomes às classes de erro _LEGACY_ERROR_TEMP_325 [1-9]
• [SPARK-47255] [SC-158749] [sql] Atribua nomes às classes de erro _LEGACY_ERROR_TEMP_323 [6-7] e _LEGACY_ERROR_TEMP_324 [7-9]
• [SPARK-48310] [SC-166239][Python][CONNECT] As propriedades em cache devem retornar cópias
• [SPARK-48308] [SC-166152] [core] Unifique o esquema de obtenção de dados sem colunas de partição em FileSourceStrategy
• [SPARK-48301] [SC-166143] [sql] Renomear CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE para CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
• [SPARK-48287] [SC-166139] [ps] [CONNECT] Aplique o método timestamp_diff incorporado
• [SPARK-47607] [SC-166129] Adicionar documentação para a estrutura de registro estruturado
• [SPARK-48297] [SC-166136] [sql] Corrige uma cláusula TRANSFORM de regressão com char/varchar
• [SPARK-47045] [SC-156808] [sql] Substitua IllegalArgumentException por SparkIllegalArgumentException em sql/api
• [SPARK-46991] [SC-156399] [sql] Substitua IllegalArgumentException por SparkIllegalArgumentException em catalyst
• [SPARK-48031] [SC-165805][sql] Suporte view evolução do esquema
• [SPARK-48276] [SC-166116][Python][CONNECT] Adicionar o método __repr__ ausente para SQLExpression
• [SPARK-48278] [SC-166071][Python][CONNECT] Refine a representação de strings do Cast
• [SPARK-48272] [SC-166069][sql][Python][connect] Adicionar função timestamp_diff
• [SPARK-47798] [SC-162492] [sql] Enriqueça a mensagem de erro para as falhas de leitura de valores decimais
• [SPARK-47158] [SC-158078] [sql] Atribua nome próprio e sqlState a _LEGACY_ERROR_TEMP_(2134|2231)
• [SPARK-48218] [SC-166082] [core] TransportClientFactory.createClient pode causar FetchFailedException
• [SPARK-48277] [SC-166066] Melhorar a mensagem de erro para ErrorClassesJsonReader.getErrorMessage
• [SPARK-47545] [SC-165444][connect] dataset observe suporte para o cliente Scala
• [SPARK-48954] [SC-171672] [sql] Adicionar a função try_mod
• [SPARK-43258] [SC-158151] [sql] Atribuir nomes ao erro _LEGACY_ERROR_TEMP_202 [3,5]
• [SPARK-48267] [SC-165903] [ss] Teste de regressão e2e com SPARK-47305
• [SPARK-48263] [SC-165925] Suporte da função Collate para strings não UTF8_BINARY
• [SPARK-48260] [SC-165883] [sql] Desative a coordenação do commit de saída em um teste do ParquetIOSuite
• [SPARK-47834] [SC-165645] [sql] [CONNECT] Marque funções obsoletas com @deprecated em SQLImplicits
• [SPARK-48011] [SC-164061][core] Armazene o nome LogKey como um valor para evitar a geração de novas instâncias de strings
• [SPARK-48074] [SC-164647][core] Melhorar a legibilidade dos registros JSON
• [SPARK-44953] [SC-165866][core] registra um aviso quando o acompanhamento aleatório é ativado junto com outro mecanismo suportado pelo DA
• [SPARK-48266] [SC-165897][connect] Move pacote object org.apache.spark.sql.connect.dsl to test directory
• [SPARK-47847] [SC-165651] [core] Obsoleto spark.network.remoteReadNioBufferConversion
• [SPARK-48171] [SC-165178] [core] Limpe o uso de construtores obsoletos de o.rocksdb.Logger
• [SPARK-48235] [SC-165669][sql] Passe diretamente join em vez de todos os argumentos para getBroadcastBuildSide e getShuffleHashJoinBuildSide
• [SPARK-48224] [SC-165648][sql] Não permitir que a chave do mapa seja do tipo variante
• [SPARK-48248] [SC-165791][Python] Corrigir a matriz aninhada para respeitar a configuração herdada de inferArrayTypeFromFirstElement
• [SPARK-47409] [SC-165568] [sql] Adicionar suporte para agrupamento para funções e expressões do tipo StringTrim (para UTF8_BINARY & LCASE)
• [SPARK-48143] [ES-1095638] [sql] Use exceções leves para controle de fluxo entre UnivocityParser e FailureSafeParser
• [SPARK-48146] [SC-165668] [sql] Corrige a função agregada em With expression child assertion
• [SPARK-48161] Reverter "[SC-165325][sql] Adicionar suporte de agrupamento para expressões JSON"
• [SPARK-47963] [CORE] Fazer com que o ecossistema externo do Spark possa usar mecanismos de registro estruturados
• [SPARK-48180] [SC-165632] [sql] Melhore o erro quando a chamada UDTF com TABLE arg esquece parênteses em torno de várias partições/ORDER BY exprs
• [SPARK-48002] [SC-164132][Python][SS] Adicionar teste para métricas observadas em PySpark StreamingQueryListener
• [SPARK-47421] [SC-165548] [sql] Adicionar suporte de agrupamento para expressões de URL
• [SPARK-48161] [SC-165325][sql] Adicionar suporte de agrupamento para expressões JSON
• [SPARK-47359] [SC-164328][sql] Suporte à função TRANSLATE para trabalhar com strings agrupadas
• [SPARK-47365] [SC-165643][Python] Adicionar o método toArrow() DataFrame ao PySpark
• [SPARK-48228] [SC-165649][Python][CONNECT] Implementar a validação da função ausente em ApplyInXXX
• [SPARK-47986] [SC-165549][connect][Python] Não é possível criar uma nova sessão quando a sessão default é fechada pelo servidor
• [SPARK-47963] Reverter "[CORE] Fazer com que o ecossistema externo do Spark possa usar mecanismos de registro estruturados"
• [SPARK-47963] [CORE] Fazer com que o ecossistema externo do Spark possa usar mecanismos de registro estruturados
• [SPARK-48208] [SC-165547][ss] Ignorar o fornecimento de métricas de uso de memória do RocksDB se o uso de memória limitada estiver ativado
• [SPARK-47566] [SC-164314][sql] Suporte à função SubstringIndex para trabalhar com strings agrupadas
• [SPARK-47589] [SC-162127] [sql] Hive-Thriftserver: Migre o LogError com variáveis para a estrutura de registro estruturada
• [SPARK-48205] [SC-165501][Python] Remover o modificador private[sql] para Python fonte de dados
• [SPARK-48173] [SC-165181] [sql] CheckAnalysis deve ver todo o plano de consulta
• [SPARK-48197] [SC-165520] [sql] Evite erro de declaração para função lambda inválida
• [SPARK-47318] [SC-162573][core] Adiciona a rodada HKDF à derivação do AuthEngine key para seguir as práticas padrão do KEX
• [SPARK-48184] [SC-165335][Python][CONNECT] Sempre defina a semente de Dataframe.sample no lado do cliente
• [SPARK-48128] [SC-165004][sql] Para a expressão BitwiseCount / bit_count, corrija o erro de sintaxe do codegen para entradas do tipo booleano
• [SPARK-48147] [SC-165144][ss][CONNECT] Remover ouvintes do lado do cliente quando a sessão local do Spark for excluída
• [SPARK-48045] [SC-165299][Python] Pandas API groupby with multi-agg-relabel ignores as_index=False
• [SPARK-48191] [SC-165323][sql] Suporte a UTF-32 para codificação e decodificação de strings
• [SPARK-45352] [SC-137627] [sql] Elimine partições de janelas dobráveis
• [SPARK-47297] [SC-165179] [sql] Adicionar suporte de agrupamento para expressões de formato
• [SPARK-47267] [SC-165170] [sql] Adicionar suporte de agrupamento para expressões de hash
• [SPARK-47965] [SC-163822] [core] Evite orNull em TypedConfigBuilder e OptionalConfigEntry
• [SPARK-48166] [SQL] Evite usar BadRecordException como erro para o usuário em VariantExpressionEvalUtils
• [SPARK-48105] [SC-165132][ss] Corrigir a condição de corrida entre o descarregamento do armazenamento do estado e o snapshotting
• [SPARK-47922] [SC-163997] [sql] Implemente a expressão try_parse_json
• [SPARK-47719] [SC-161909] [sql] Alterar spark.sql.legacy.TimeParse...
• [SPARK-48035] [SC-165136] [sql] Corrige try_add/try_multiply sendo semântica igual a adicionar/multiplicar
• [SPARK-48107] [SC-164878][Python] Excluir testes da distribuição Python
• [SPARK-46894] [SC-164447][Python] Mover as condições de erro do PySpark para o arquivo autônomo JSON
• [SPARK-47583] [SC-163825][core] Núcleo do SQL: Migrar logError com variáveis para a estrutura de registro estruturado
• [SPARK-48064] Reverter “[SC-164697] [sql] Atualizar mensagens de erro para classes de erro relacionadas à rotina”
• [SPARK-48048] [SC-164846][connect][SS] Adicionado suporte de ouvinte do lado do cliente para Scala
• [SPARK-48064] [SC-164697] [sql] Atualizar mensagens de erro para classes de erro relacionadas à rotina
• [SPARK-48056] [SC-164715][connect][Python] Reexecutar o plano se um erro SESSION_NOT_FOUND for gerado e nenhuma resposta parcial for recebida
• [SPARK-48124] [SC-165009][core] Desativar o registro estruturado para o Connect-Repl by default
• [SPARK-47922] Reverter “[SC-163997] [sql] Implemente a expressão try_parse_json”
• [SPARK-48065] [SC-164817] [sql] SPJ: allowJoinKeysSubsetOfPartitionKeys é muito rígido
• [SPARK-48114] [SC-164956][core] Pré-compilar padrão regex para evitar trabalho desnecessário
• [SPARK-48067] [SC-164773][sql] Corrigir a variante default columns
• [SPARK-47922] [SC-163997] [sql] Implemente a expressão try_parse_json
• [SPARK-48075] [SC-164709] [SS] Adicionar verificação de tipo para funções avro do PySpark
• [SPARK-47793] [SC-164324][ss][Python] Implementar SimpleDataSourceStreamReader para Python transmissão fonte de dados
• [SPARK-48081] [SC-164719] Corrige ClassCastException em Ntile.checkInputDataTypes () quando o argumento não é dobrável ou é do tipo errado
• [SPARK-48102] [SC-164853][ss] Acompanhe a duração da aquisição de métricas de fonte/sink enquanto informa o progresso da consulta de transmissão
• [SPARK-47671] [SC-164854][core] Habilite o registro estruturado em log4j2.properties.padrão e atualize os documentos
• [SPARK-47904] [SC-163409][sql] Preservar caso no esquema Avro ao usar enableStableIdentifiersForUnionType
• [SPARK-48058] [SC-164695][spark-43727][Python][connect] UserDefinedFunction.returnType parse the DDL strings
• [SPARK-46922] [SC-156102][core][SQL] Não agrupar erros de tempo de execução voltados para o usuário
• [SPARK-48047] [SC-164576][sql] Reduzir a pressão de memória das tags TreeNode vazias
• [SPARK-47934] [SC-164648] [CORE] Garanta barras finais nos redirecionamentos de URL HistoryServer
• [SPARK-47921] [SC-163826] [connect] Corrige a criação de ExecuteJobTag no ExecuteHolder
• [SPARK-48014] [SC-164150] [sql] Altere o erro makeFromJava em evaluatePython para um erro voltado para o usuário
• [SPARK-47903] [SC-163424][Python] Adicionar suporte para os tipos escalares restantes na biblioteca PySpark Variant
• [SPARK-48068] [SC-164579][Python] mypy deveria ter o parâmetro --python-executable
• [SPARK-47846] [SC-163074] [sql] Adicionar suporte para o tipo de variante na expressão from_json
• [SPARK-48050] [SC-164322][ss] registrar plano lógico na consulta começar
• [SPARK-47810] [SC-163076][sql] Substituir expressão equivalente a <=> na condição join
• [SPARK-47741] [SC-164290] Foi adicionado o tratamento de estouro de pilha no analisador
• [SPARK-48053] [SC-164309][Python][CONNECT] SparkSession.createDataFrame deve avisar sobre opções não suportadas
• [SPARK-47939] [SC-164171] [sql] Implemente uma nova regra do Analyzer para mover ParametrizedQuery dentro de ExplainCommand e DescribeQueryCommand
• [SPARK-48063] [SC-164432][core] Habilitar spark.stage.ignoreDecommissionFetchFailure por default
• [SPARK-48016] [SC-164280] [sql] Corrige um bug na função try_divide quando com decimais
• [SPARK-48033] [SC-164291][sql] Corrigir expressões RuntimeReplaceable que estão sendo usadas nas colunas default
• [SPARK-48010] [SC-164051] [sql] [ES-1109148] Evite chamadas repetidas para conf.resolver em ResolveExpression
• [SPARK-48003] [SC-164323] [sql] Adicionar suporte de agrupamento para agregado de esboço de parede
• [SPARK-47994] [SC-164175] [sql] Corrija o bug com CASE WHEN o filtro de coluna pressionado no SQLServer
• [SPARK-47984] [SC-163837][ml][SQL] Alterar MetricsAggregate/V2Aggregator#serialize/deserialize para chamar SparkSerDeUtils#serialize/deserialize
• [SPARK-48042] [SC-164202] [sql] Use um formatador de timestamp com fuso horário no nível da classe em vez de fazer cópias no nível do método
• [SPARK-47596] [SPARK-47600][spark-47604][SPARK-47804] Migrações estruturadas do log
• [SPARK-47594] [SPARK-47590][spark-47588][SPARK-47584] Migrações estruturadas do log
• [SPARK-47567] [SC-164172][sql] Suporte à função LOCATE para trabalhar com strings agrupadas
• [SPARK-47764] [SC-163820][core][SQL] Limpar dependências de shuffle com base no ShuffleCleanupMode
• [SPARK-48039] [SC-164174][Python][CONNECT] Atualizar a classe de erro para group.apply
• [SPARK-47414] [SC-163831] [sql] Suporte de agrupamento em minúsculas para expressões regexp
• [SPARK-47418] [SC-163818] [sql] Adicione implementações feitas à mão para contenções minúsculas que reconheçam Unicode, startsWith e endsWith e otimize UTF8_BINARY_LCASE
• [SPARK-47580] [SC-163834][sql] SQL catalyst: eliminar variáveis não nomeadas com erro logs
• [SPARK-47351] [SC-164008][sql] Adicionar suporte de agrupamento para StringToMap & Expressões de cadeias de caracteres de máscara
• [SPARK-47292] [SC-164151] [ss] SafeMaptoJValue deve considerar valores digitados nulos
• [SPARK-47476] [SC-164014] [sql] Suporte à função REPLACE para trabalhar com strings agrupadas
• [SPARK-47408] [SC-164104] [sql] Corrigir expressões matemáticas que usam StringType
• [SPARK-47350] [SC-164006][sql] Adicionar suporte de agrupamento para a expressão de cadeias de caracteres SplitPart
• [SPARK-47692] [SC-163819][sql] Corrigir default StringType meaning in implicit casting
• [SPARK-47094] [SC-161957] [sql] SPJ: Reequilibre dinamicamente o número de baldes quando eles não são iguais
• [SPARK-48001] [SC-164000] [core] Remova private implicit def arrayToArrayWritable não utilizado de SparkContext
• [SPARK-47986] [SC-163999][connect][Python] Não é possível criar uma nova sessão quando a sessão default é fechada pelo servidor
• [SPARK-48019] [SC-164121] Corrige o comportamento incorreto em ColumnVector/ColumnarArray com dicionário e nulos
• [SPARK-47743] [SPARK-47592][spark-47589][SPARK-47581][spark-47586][SPARK-47593][spark-47595][SPARK-47587][spark-47603] Structured log migrations
• [SPARK-47999] [SC-163998][ss] Melhorar o registro em torno da criação de instantâneos e da adição/remoção de entradas do mapa de cache de estado no provedor HDFS backed armazenamento do estado
• [SPARK-47417] [SC-162872] [sql] Suporte de agrupamento: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Frases
• [SPARK-47712] [SC-161871][connect] Permitir que os plug-ins de conexão criem e processem o conjunto de dados
• [SPARK-47411] [SC-163351][sql] Suporte às funções StringInstr & FindInSet para trabalhar com strings agrupadas
• [SPARK-47360] [SC-163014] [sql] Suporte de agrupamento: Overlay, FormatString, Length, BitLength, OctetLength, SoundEx, Luhncheck
• [SPARK-47413] [SC-163323] [sql] - adicione suporte ao substr/esquerda/direita para agrupamentos
• [SPARK-47983] [SC-163835][sql] Rebaixe spark.sql.PySpark.legacy.inferArrayTypeFromFirstElement.enabled para internal
• [SPARK-47964] [SC-163816][Python][CONNECT] Ocultar SQLContext e HiveContext em PySpark-connect
• [SPARK-47985] [SC-163841][Python] Simplificar funções com lit
• [SPARK-47633] [SC-163453] [sql] Inclua a saída do plano do lado direito em LateralJoin#allAttributes para uma canonização mais consistente
• [SPARK-47909] Reverter "[Python][connect] Parent DataFrame class f...
• [SPARK-47767] [SC-163096] [sql] Mostrar valor de deslocamento em TakeOrderedAndProjectExec
• [SPARK-47822] [SC-162968] [sql] Proibir que expressões hash façam hash do tipo de dados variante
• [SPARK-47490] [SC-160494][ss] Corrigir o uso do construtor do RocksDB Logger para evitar o aviso de depreciação
• [SPARK-47417] Reverter “[SC-162872] [sql] Suporte de agrupamento: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, Format Number, Frases”
• [SPARK-47352] [SC-163460] [sql] Corrige o reconhecimento de agrupamento superior, inferior e InitCap
• [SPARK-47909] [Python][connect] Classe pai DataFrame para Spark Connect e Spark Classic
• [SPARK-47417] [SC-162872] [sql] Suporte de agrupamento: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Frases

Suporte ao driver ODBC/JDBC da Databricks

A Databricks oferece suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e da atualização do site (download ODBC, download JDBC).

Consulte as atualizações de manutenção do Databricks Runtime 15.3.

Ambiente do sistema

• Sistema operacional : Ubuntu 22.04.4 LTS
• Java : Zulu 8.78.0.19-CA-linux64
• Scala : 2.12.18
• Python : 3.11.0
• R : 4.3.2
• Delta Lake : 3.2.0

Instalado Python biblioteca

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
asttokens	2.0.5	atunparse	1.6.3	núcleo do azure	1.30,1
azure-storage-blob	12.19.1	azure-storage-file-datalake	12,14.0	chamada de volta	0.2.0
preto	23,3,0	pisca-pisca	1.4	boto3	1,34,39
botocore	1,34,39	ferramentas de cache	5.3.3	certifi	2023,7,22
caffi	1.15.1	chardet	4.0.0	normalizador de conjuntos de caracteres	2.0.4
clique	8.0.4	salmoura	2.2.1	comunicações	0.1.2
contornar	1.0.5	criptografia	41,0.3	ciclador	0.11.0
Cython	0,29,32	databricks-sdk	0,20,0	dbus-Python	1.2.18
depurar	1.6.7	decorador	5.1.1	distlib	0.3.8
pontos de entrada	0,4	execução	0,8.3	visão geral das facetas	1.1.1
bloqueio de arquivo	3.13.4	ferramentas de fonte	4,25.0	gitdb	4.0.11
GitPython	3.1.43	google-api-core	2.18.0	autenticação do Google	2.29.0
google-cloud-core	2.4.1	Google Cloud Storage	2.16.0	google-crc32c	1.5.0
mídia retomável do Google	2.7.0	googleapis-common-protos	1,63,0	grócio	1,60,0
status de grpcio	1,60,0	httplib2	0,20.2	Índia	3.4
importlib-metadados	6.0.0	núcleo ipyflow	0,0.198	ipykernel	6.25.1
ipython	8.15.0	ipython-genutils	0.2.0	ipywidgets	7.7.2
isodato	0.6.1	jedi	0,18.1	jeepney	0.7.1
jmespath	0.10.0	joblib	1.2.0	jupyter_client	7.4.9
jupyter_core	5.3.0	chaveiro	23,5,0	solucionador de kiwi	1.4.4
launchpadlib	1,10,16	lazr.restfulclient	0,14.4	lazr.uri	1.0.6
Matplotlib	3.7.2	matplotlib-inline	0.1.6	malflow-skinny	2.11.3
mais ferramentas de iteração	8.10.0	extensões mypy	0.4.3	nest-assíncio	1.5.6
entorpecido	1,23,5	oauthlib	3.2.0	fazendo às malas	23,2
Pandas	1.5.3	parso	0,8.3	especificação do caminho	0.10.3
bode expiatório	0.5.3	esperar	4.8.0	picles	0.7.5
Travesseiro	9.4.0	pip	23.2.1	platformdirs	3.10.0
Plotly	5.9.0	kit de ferramentas de aviso	3,0,36	proto-plus	1,23,0
protobuf	4.24.1	pistila	5.9.0	psycopg2	2.9.3
processo pty	0.7.0	avaliação pura	0.2.2	flecha	14,0.1
pyasn1	0.4.8	módulos pyasn1	0.2.8	piccolo	0,0,52
pycparser	2,21	pidântico	1.10.6	Pigmentos	2.15.1
Objeto PYG	3,42,1	PyJWT	2.3.0	pyodbc	4,0,38
análise de pipa	3.0.9	Python-dateutil	2.8.2	Python-lsp-jsonrpc	1.1.1
pytz	2022,7	PyYAML	6,0	pizma	23.2,0
pedidos	2,31,0	rsa	4,9	transferência s3	0.10.1
scikit-learn	1.3.0	pegajoso	1.11.1	marítimo	0.12.2
Armazenamento secreto	3.3.1	ferramentas de configuração	68,0,0	seis	1,16.0
tapa	5.0.1	sqlparse	0.5.0	ID de importação ssh	5,11
dados de pilha	0.2.0	modelos de estatísticas	0.14.0	tenacidade	8.2.2
threadpool ctl	2.2.0	tokenizar-rt	4.2.1	tornado	6.3.2
almôndegas	5.7.1	extensões_de digitação	4.10.0	tzdata	2022,1
junhão	5.4.0	atualizações autônomas	0,1	urllib3	1,26,16
ambiente virtual	20.24.2	wadlib	1.3.6	largura do wc	0.2.5
Python wheel	0,38,4	zíper	3.11.0

Instalada a R biblioteca

As bibliotecas R são instaladas a partir do pacote Posit Manager CRAN Snapshot.

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
flecha	14.0.0.2	askpass	1.2.0	afirme que	0.2.1
portas traseiras	1.4.1	base	4.3.2	base64enc	0,1-3
Grande D	0.2.0	pouco	4.0.5	bit64	4.0.5
bitops	1,0-7	bolha	1.2.4	inicialização	1,3-28
fermentar	1,0-10	brio	1.1.4	vassoura	1.0.5
babião	0.6.1	cachem	1,0.8	chamador	3.7.3
cursor	6,0-94	guarda de celas	1.1.0	crono	2,3-61
Aula	7,3-22	CLIPE	3.6.2	clipe	0,8.0
relógio	0.7.0	Cluster	2.1.4	ferramentas de código	0,2-19
espaço de cores	2,1-0	marca comum	1.9.1	compilador	4.3.2
configuração	0.3.2	em conflito	1.2.0	cpp11	0.4.7
giz de cera	1.5.2	Credenciais	2.0.1	cacho	5.2.0
data.tabela	1,15.0	conjunto de dados	4.3.2	DBI	1.2.1
dbplyr	2.4.0	desc	1.4.3	ferramentas de desenvolvimento	2.4.5
diagrama	1.6.5	diff	0.3.5	digerir	0,6,34
iluminado	0.4.3	dplyr	1.1.4	dtplyr	1.3.1
e1071	1,7-14	reticências	0.3.2	avalie	0,23
fansi	1.0.6	colorista	2.1.1	mapa rápido	1.1.1
fontawesome	0.5.2	para gatos	1.0.0	para cada um	1.5.2
estrangeira	0,8-85	forjar	0.2.0	fs	1.6.3
futuro	1.33.1	futuro.aplique	1.11.1	gargarejar	1.5.2
genéricas	0.1.3	obter	2.0.1	ggplot2	3.4.4
gh	1.4.0	git2r	0,33,0	gitcreds	0.1.2
glmnet	4,1-8	globais	0,16.2	cola	1.7.0
google drive	2.1.1	planilhas do Google 4	1.1.1	goleiro	1.0.1
gráficos	4.3.2	Dispositivos GR	4.3.2	grade	4.3.2
Grid Extra	2.3	gsubfn	0,7	gt	0.10.1
mesa	0.3.4	capacete	1.3.1	refúgio	2.5.4
mais alto	0,10	HMS	1.1.3	ferramentas html	0.5.7
widgets html	1.6.4	http.uv	1.6.14	httr	1.4.7
httr2	1.0.0	IDs	1.0.1	mini	0.3.1
ipred	0,9-14	isóbanda	0.2.7	iteradores	1,0.14
jquerylib	0.1.4	jsonlite	1.8.8	suco suculento	0.1.0
Kern Smooth	2,23-21	tricotar	1,45	rótulo	0.4.3
posteriormente	1.3.2	treliça	0,21-8	lava	1.7.3
ciclo de vida	1.0.4	ouvindo	0.9.1	lubrificar	1.9.3
magritter	2.0.3	Markdown	1,12	MASSA	7,3-60
Matriz	1,5-4,1	memoise	2.0.1	métodos	4.3.2
mgcv	1,8-42	mímica	0,12	Mini UI	0.1.1.1
MLflow	2.10.0	Métricas do modelo	1.2.2.2	modelar	0.1.11
munsell	0.5.0	nome	3,1-163	net	7,3-19
Número Deriv	2016,8-1,1	openssl	2.1.1	paralelo	4.3.2
paralelamente	1,36,0	pilar	1.9.0	pkgbuild	1.4.3
pkgconfig	2.0.3	pkgdown	2.0.7	carregamento de pacotes	1.3.4
plogr	0.2.0	plyr	1.8.9	elogio	1.0.0
unidades bonitas	1.2.0	ProC	1,18.5	processa	3.8.3
prodlim	2023,08,28	profvis	0.3.8	progresso	1.2.3
progressista	0.14.0	promessas	1.2.1	proto	1.0.0
proxy	0,4-27	ps	1.7.6	ronronar	1.0.2
R6	2.5.1	trapo	1.2.7	Floresta aleatória	4,7-1,1
corredeiras	0.3.3	rcmdcheck	1.4.0	Cervejaria RColor	1,1-3
Rcpp	1.0.12	RCP Pegen	0.3.3.9.4	reagível	0.4.4
Reator R	0.5.0	leitor	2.1.5	readxl	1.4.3
receitas	1.0.9	revanche	2.0.0	revanche 2	2.1.2
controles remotos	2.4.2.1	reprex	2.1.0	remodelar 2	1.4.4
rlang	1.1.3	rmarkdown	2,25	RODBC	1,3-23
roxigênio2	7.3.1	rpartem	4.1.21	rprojroot	2.0.4
Reservar	1,8-13	RSQLite	2.3.5	API do estúdio	0,15.0
reversões	2.1.2	colete	1.0.3	atrevimento	0.4.8
escala	1.3.0	seletor	0,4-2	informações da sessão	1.2.2
forma	1.4.6	brilhante	1.8.0	ferramentas de origem	0,1,7-1
Sparklyr	1.8.4	espacial	7,3-15	splines	4.3.2
sqldf	0,4-11	QUADRADO	2021,1	estatísticas	4.3.2
estatísticas4	4.3.2	stringi	1.8.3	longarina	1.5.1
sobrevivência	3,5-5	arrogância	3.33.1	diz	3.4.2
fontes do sistema	1.0.5	tcltk	4.3.2	teste isso	3.2.1
modelagem de texto	0.3.7	petiscar	3.2.1	arrumado	1.3.1
seleção arrumada	1.2.0	tidyverso	2.0.0	mudança de horário	0.3.0
Hora/Data	4032,109	tinytex	0,49	Ferramentas	4.3.2
tzdb	0.4.0	verificador de URL	1.0.1	use isso	2.2.2
utf 8	1.2.4	utilidades	4.3.2	uuid	1,2-0
V8	4.4.1	vctrs	0.6.5	Viridis Lite	0.4.2
vadouro	1.6.5	waldo	0.5.2	bigode	0.4.1
murchar	3.0.0	diversão	0,41	xml2	1.3.6
xopen	1.0.0	x estável	1,8-4	yaml	2.3.8
fanático	0.1.0	compactar	2.3.1

Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)

ID do grupo	ID do artefato	Versão
chifre	chifre	2.7.7
com.amazonaws	Amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscale	1,12.610
com.amazonaws	formação de nuvem aws-java-sdk	1,12.610
com.amazonaws	aws-java-sdk-cloudfront	1,12.610
com.amazonaws	aws-java-sdk-cloudhsm	1,12.610
com.amazonaws	aws-java-sdk-cloudsearch	1,12.610
com.amazonaws	aws-java-sdk-cloudtrail	1,12.610
com.amazonaws	aws-java-sdk-cloudwatch	1,12.610
com.amazonaws	métricas aws-java-sdk-cloudwatch	1,12.610
com.amazonaws	aws-java-sdk-codedeploy	1,12.610
com.amazonaws	identidade cognitiva aws-java-sdk	1,12.610
com.amazonaws	aws-java-sdk-cognitosync	1,12.610
com.amazonaws	aws-java-sdk-config	1,12.610
com.amazonaws	aws-java-sdk-core	1,12.610
com.amazonaws	pipeline de dados aws-java-sdk	1,12.610
com.amazonaws	aws-java-sdk-conexão direta	1,12.610
com.amazonaws	diretório aws-java-sdk	1,12.610
com.amazonaws	aws-java-sdk-dynamodb	1,12.610
com.amazonaws	aws-java-sdk-ec2	1,12.610
com.amazonaws	aws-java-sdk-ecs	1,12.610
com.amazonaws	aws-java-sdk-efs	1,12.610
com.amazonaws	aws-java-sdk-elasticache	1,12.610
com.amazonaws	aws-java-sdk-elasticbeanstalk	1,12.610
com.amazonaws	balanceamento de carga elástico aws-java-sdk	1,12.610
com.amazonaws	transcodificador elástico aws-java-sdk-	1,12.610
com.amazonaws	aws-java-sdk-emr	1,12.610
com.amazonaws	aws-java-sdk-glacier	1,12.610
com.amazonaws	aws-java-sdk-glue	1,12.610
com.amazonaws	aws-java-sdk-iam	1,12.610
com.amazonaws	aws-java-sdk-importação/exportação	1,12.610
com.amazonaws	aws-java-sdk-kinesis	1,12.610
com.amazonaws	aws-java-sdk-kms	1,12.610
com.amazonaws	aws-java-sdk-lambda	1,12.610
com.amazonaws	aws-java-sdk-logs	1,12.610
com.amazonaws	aws-java-sdk - aprendizado de máquina	1,12.610
com.amazonaws	aws-java-sdk-opsworks	1,12.610
com.amazonaws	aws-java-sdk-rds	1,12.610
com.amazonaws	aws-java-sdk-redshift	1,12.610
com.amazonaws	aws-java-sdk-route53	1,12.610
com.amazonaws	aws-java-sdk-s3	1,12.610
com.amazonaws	aws-java-sdk-ses	1,12.610
com.amazonaws	aws-java-sdk-simpledb	1,12.610
com.amazonaws	aws-java-sdk - fluxo de trabalho simples	1,12.610
com.amazonaws	aws-java-sdk-sns	1,12.610
com.amazonaws	aws-java-sdk-sqs	1,12.610
com.amazonaws	aws-java-sdk-ssm	1,12.610
com.amazonaws	gateway de armazenamento aws-java-sdk	1,12.610
com.amazonaws	aws-java-sdk-sts	1,12.610
com.amazonaws	suporte aws-java-sdk	1,12.610
com.amazonaws	aws-java-sdk-swf-biblioteca	1.11.22
com.amazonaws	aws-java-sdk-workspace	1,12.610
com.amazonaws	jmespath-java	1,12.610
com.clearspring.analítica	transmissão	2.9.6
com.databricks	Reservar	1,8-3
com.databricks	databricks-sdk-java	0,17.1
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	plugin_2.12 do compilador	0,4,15-10
com.databricks.scalapb	scalapb-runtime_2.12	0,4,15-10
com.esotérico software	crio-sombreado	4.0.2
com.esotérico software	minlog	1.3.0
com.fasterxml	colega de classe	1.3.4
com.fasterxml.jackson.core	jackson-anotação	2.15.2
com.fasterxml.jackson.core	jackson-core	2.15.2
com.fasterxml.jackson.core	vinculação de dados jackson	2.15.2
formato de dados com.fasterxml.jackson.	formato de dados jackson-cbor	2.15.2
formato de dados com.fasterxml.jackson.	formato de dados jackson-yaml	2.15.2
com.fasterxml.jackson.tipo de dados	jackson-datatype-joda	2.15.2
com.fasterxml.jackson.tipo de dados	jackson-datatype-jsr310	2.16.0
com.fasterxml.jackson.module	parâmetro do módulo jackson	2.15.2
com.fasterxml.jackson.module	jackson-module-Scala.12	2.15.2
com.github.ben-manes.cafeína	cafeína	2.9.3
com.github.fommil	descarregador	1.1
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java	1.1 - nativos
com.github.fommil.netlib	sistema_nativo-java	1.1
com.github.fommil.netlib	sistema_nativo-java	1.1 - nativos
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1 - nativos
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1 - nativos
com.github.luben	zstd-jni	1,5,5-4
com.github.wendykierp	JTransforma	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.10.1
com.google.crypto.tink	eu acho	1.9.0
com.google.propenso a erros	anotações propensas a erros	2.10.0
com.google.flatbuffers	tampões planos-java	23,5,26
com.google.goiaba	goiaba	15,0
com.google.protobuf	protobuf-java	2.6.1
com.helger	perfilador	1.1.1
com.ibm.icu	icu4j	72,1
com.jcraft	jsch	0,1,55
com.jolbox	bonecp	VERSÃO 0.8.0.
com.lihaoyi	código-fonte_2.12	0.1.9
com.microsoft.azure	azure-data lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-JDBC	11.2.2. jre8
comendo	comprimir-lzf	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.trunning	JSON	1,8
com.thoughtworks.paranamer	paranâmero	2.8
com.trueaccord.lenses	lentes_2.12	0.4.12
com.Twitter	chill-java	0.10.0
com.Twitter	chill_2.12	0.10.0
com.Twitter	util-app_2.12	7.1.0
com.Twitter	util-core_2.12	7.1.0
com.Twitter	função-útil_2.12	7.1.0
com.Twitter	util-jvm_2.12	7.1.0
com.Twitter	util-lint_2.12	7.1.0
com.Twitter	util-registry_2.12	7.1.0
com.Twitter	util-stats_2.12	7.1.0
com.typesafe	configuração	1.4.3
com.typesafe.Scala-logging	Scala-logging_2.12	3.7.2
com.uber	h3	3.7.3
com.univocidade	analisadores de univocidade	2.9.1
com.zaxxer	HikaricP	4.0.3
comum-CLI	comum-CLI	1.5.0
codec comum	codec comum	1,16.0
coleções comuns	coleções comuns	3.2.2
commons-dbcp	commons-dbcp	1.4
upload de arquivo commons	upload de arquivo commons	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.13.0
linguagem comum	linguagem comum	2.6
registro de bens comuns	registro de bens comuns	1.1.3
comum-pool	comum-pool	1.5.4
dev.ludovic.netlib	mochila	3.0.3
dev.ludovic.netlib	blás	3.0.3
dev.ludovic.netlib	lapack	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io. airlift	compressor de ar	0,25
io.delta	delta-compartilhamento-client_2.12	1.0.5
io.dropwizard.métricas	anotação de métricas	4.2.19
io.dropwizard.métricas	núcleo de métricas	4.2.19
io.dropwizard.métricas	métricas-grafite	4.2.19
io.dropwizard.métricas	métricas-healthchecks	4.2.19
io.dropwizard.métricas	métricas-jetty9	4.2.19
io.dropwizard.métricas	métricas-jmx	4.2.19
io.dropwizard.métricas	métricas-JSON	4.2.19
io.dropwizard.métricas	métricas-JVM	4.2.19
io.dropwizard.métricas	métricas-servlets	4.2.19
io.netty	tudo	4.1.96. Final
io.netty	netty-buffer	4.1.96. Final
io.netty	codec netty	4.1.96. Final
io.netty	netty-codec-http	4.1.96. Final
io.netty	netty-codec-http2	4.1.96. Final
io.netty	netty-codec-socks	4.1.96. Final
io.netty	netty-common	4.1.96. Final
io.netty	manipulador de limpeza	4.1.96. Final
io.netty	proxy netty-handler	4.1.96. Final
io.netty	resolvedor de rede	4.1.96. Final
io.netty	netty-tcnative-boringssl-static	2.0.61. final-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61. Final-Linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61. Final-OSX-AARCH_64
io.netty	netty-tcnative-boringssl-static	2.0.61. Final-OSX-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-windows-x86_64
io.netty	classes netty-tcnative	2.0.61. Final
io.netty	transporte de urtigas	4.1.96. Final
io.netty	netty-transport-classes-epoll	4.1.96. Final
io.netty	netty-transport-classes-kqueue	4.1.96. Final
io.netty	netty-transport-native-epoll	4.1.96. Final
io.netty	netty-transport-native-epoll	4.1.96. Final-Linux-AARCH_64
io.netty	netty-transport-native-epoll	4.1.96. Final-Linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.96. Final-OSX-AARCH_64
io.netty	netty-transport-native-kqueue	4.1.96. Final-OSX-x86_64
io.netty	netty-transport-native-unix-common	4.1.96. Final
io. prometheus	cliente simples	0.7.0
io. prometheus	simpleclient_common	0.7.0
io. prometheus	simpleclient_dropwizard	0.7.0
io. prometheus	gateway client_push simples	0.7.0
io. prometheus	client_servlet simples	0.7.0
io.prometheus.jmx	coletor	0.12.0
jakarta.anotação	jakarta.anotação-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validação	jakarta.validação-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.ativação	ativação	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	API de transação	1.1
javax.xml.bind	jaxb-api	2.2.11
javolução	javolução	5.5.1
junte-se	junte-se	2.14.6
hora do dia	hora do dia	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	salmoura	1.3
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	supercsv	2.2.0
net.snowflake	SDK de ingestão de flocos de neve	0.9.6
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	chá remoto - oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.9.3
org.antlr	modelo de string	3.2.1
org.apache.ant	formiga	1.10.11
org.apache.ant	formiga	1.10.11
org.apache.ant	lançador de formigas	1.10.11
org.apache.arrow	formato de seta	15.0.0
org.apache.arrow	núcleo de memória de seta	15.0.0
org.apache.arrow	rede de memória de seta	15.0.0
org.apache.arrow	vetor de seta	15.0.0
org.apache.avro	AVRO	1.11.3
org.apache.avro	avro-ipc	1.11.3
org.apache.avro	mapeado automaticamente	1.11.3
org.apache.commons	commons-collections4	4.4
org.apache.commons	compressa comum	1,23,0
org.apache.commons	criptomoeda comum	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	texto comum	1.10.0
org.apache.curator	curador-cliente	2.13.0
org.apache.curator	estrutura de curador	2.13.0
org.apache.curator	receitas de curadores	2.13.0
org.apache.datasketches	esboços de dados-java	3.1.0
org.apache.datasketches	memória de esboços de dados	2.0.0
org.apache.derby	derby	10.14.2.0
org.apache.hadoop	tempo de execução do cliente hadoop	3.3.6
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	colmeia-CLI	2.3.9
org.apache.hive	hive-JDBC	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-lap-common	2.3.9
org.apache.hive	colmeia	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	API de armazenamento em nuvem	2.8.1
org.apache.hive.shims	calços de colmeia - 0,23	2.3.9
org.apache.hive.shims	calços de colmeia comuns	2.3.9
org.apache.hive.shims	hive-shims-programador	2.3.9
org.apache.httpcomponents	cliente http	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	hera	2.5.1
org.apache.logging.log4j	log4j-1.2-api	2.22.1
org.apache.logging.log4j	log4j-api	2.22.1
org.apache.logging.log4j	log4j-core	2.22.1
org.apache.logging.log4j	log4j-disposição-padrão-JSON	2.22.1
org.apache.logging.log4j	log4j-slf4j2-impl	2.22.1
org.apache.orc	núcleo orc	Protobuf 1.9.2 sombreado
org.apache.orc	orc-mapreduce	Protobuf 1.9.2 sombreado
org.apache.orc	calços de orc	1.9.2
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.ws.xmlschema	núcleo do esquema xml	2.3.0
org.apache.xbean	xbean-asm9-shaded	4,23
org.apache.yetus	audiência-anotação	0,13,0
org.apache.zookeeper	tratador	3.6.3
org.apache.zookeeper	tratador de zoológico - juta	3.6.3
org.checkerframework	xadrez igual	3,31,0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	compilador common	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	núcleo de dados-api-jdo	4.2.4
org.datanucleus	núcleo de dados	4.1.17
org.datanucleus	núcleo de dados-rdbms	4.1.19
org.datanucleus	javax.jdo	3,2,0-m3
org.Eclipse.collections	Eclipse-coleções	11.1.0
org.Eclipse.collections	Eclipse-collections-api	11.1.0
org.Eclipse.jetty	jetty-client	9.4.52.v20230823
org.Eclipse.jetty	continuação do cais	9.4.52.v20230823
org.Eclipse.jetty	jetty-http	9.4.52.v20230823
org.Eclipse.jetty	jetty-io	9.4.52.v20230823
org.Eclipse.jetty	jetty-jndi	9.4.52.v20230823
org.Eclipse.jetty	jetty-plus	9.4.52.v20230823
org.Eclipse.jetty	jetty-proxy	9.4.52.v20230823
org.Eclipse.jetty	segurança do cais	9.4.52.v20230823
org.Eclipse.jetty	servidor jetty-server	9.4.52.v20230823
org.Eclipse.jetty	jutty-servlet	9.4.52.v20230823
org.Eclipse.jetty	píer de servlets	9.4.52.v20230823
org.Eclipse.jetty	jetty-util	9.4.52.v20230823
org.Eclipse.jetty	jetty-util-ajax	9.4.52.v20230823
org.Eclipse.jetty	aplicativo web jetty-	9.4.52.v20230823
org.Eclipse.jetty	jetty-xml	9.4.52.v20230823
org.Eclipse.jetty.websocket	API de websoquete	9.4.52.v20230823
org.Eclipse.jetty.websocket	cliente websocket	9.4.52.v20230823
org.Eclipse.jetty.websocket	websocket-comum	9.4.52.v20230823
org.Eclipse.jetty.websocket	servidor websocket	9.4.52.v20230823
org.Eclipse.jetty.websocket	servlet websocket	9.4.52.v20230823
org.fusesource.leveldbjni	leveldbjni-tudo	1,8
org.glassfish.hk2	API hk2	2.6.1
org.glassfish.hk2	localizador hk2	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-recurso-locator	1.0.3
org.glassfish.hk2.external	aopalliance - reembalado	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	servlet de contêiner de camisa	2,40
org.glassfish.jersey.containers	jersey-container-servlet-core	2,40
org.glassfish.jersey.core	cliente de camisa	2,40
org.glassfish.jersey.core	camiseta comum	2,40
org.glassfish.jersey.core	servidor de camisa	2,40
org.glassfish.jersey.inject	camiseta-hk2	2,40
org.hibernate.validator	validador de hibernação	6.1.7. Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist	3,29,2 HA
org.jboss.logging	registro de jboss-logging	3.3.2. Final
org.jdbi	jdbi	2.63,1
org.jetbrains	anotação	17.0.0
org.joda	conversor de joda	1.7
org.jodd	núcleo nodular	3.5.2
org.json4s	json4s-ast_2.12	3,7,0-M11
org.json4s	json4s-core_2.12	3,7,0-M11
org.json4s	json4s-jackson_2.12	3,7,0-M11
org.json4s	json4s-scalap_2.12	3,7,0-M11
org.lz4	lz4-java	1.8.0
org.mlflow	mlflow-spark_2.12	2.9.1
org.objenesis	objênese	2.5.1
org.postgresql	PostgreSQL	42,6.1
org.roaringbitmap	Mapa de bits estrondoso	0.9.45 - blocos de dados
org.roaringbitmap	calços	0.9.45 - blocos de dados
org.rocksdb	rocksdbjni	8.11.4
org.rosuda.rEngine	Motor	2.1.0
org.Scala-lang	Scala-compiler_2.12	2.12.15
org.Scala-lang	Scala-biblioteca.12	2.12.15
org.Scala-lang	Scala-reflect_2.12	2.12.15
org.Scala-lang.modules	Scala-collection-compat_2.12	2.11.0
org.Scala-lang.modules	Scala-parser-combinators_2.12	1.1.2
org.Scala-lang.modules	Scala-xml_2.12	1.2.0
org.Scala-sbt	interface de teste	1,0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.2.15
org.scalanlp	breeze-macros_2.12	2.1.0
org.scalanlp	breeze_2.12	2.1.0
org.scalatest	compatível com scalatest	3.2.15
org.scalatest	scalatest-core_2.12	3.2.15
org.scalatest	diagramas de teste de escala_2.12	3.2.15
org.scalatest	scalatest-featurespec_2.12	3.2.15
org.scalatest	scalatest-flatspec_2.12	3.2.15
org.scalatest	scalatestfreespec_2.12	3.2.15
org.scalatest	scalatest-funspec_2.12	3.2.15
org.scalatest	scalatest-funsuite_2.12	3.2.15
org.scalatest	scalatest-matchers-core_2.12	3.2.15
org.scalatest	scalatest-mustmatchers_2.12	3.2.15
org.scalatest	scalatest-propspec_2.12	3.2.15
org.scalatest	scalatest-refspec_2.12	3.2.15
org.scalatest	scalatest - deve corresponders_2.12	3.2.15
org.scalatest	scalatest-wordspec_2.12	3.2.15
org.scalatest	scalatest_2.12	3.2.15
org.slf4j	jcl-over-slf4j	2.0.7
org.slf4j	jul-a-slf4j	2.0.7
org.slf4j	slf4j-api	2.0.7
org.slf4j	slf4j-simple	1,7,25
org.threeten	treze e mais	1.7.1
org.tukaani	xz	1,9
org.typelevel	álgebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	spire-macros_2.12	0,17.0
org.typelevel	spire-platform_2.12	0,17.0
org.typelevel	spire-util_2.12	0,17.0
org.typelevel	spire_2.12	0,17.0
org.wildfly.openssl	wildfly-openssl	1.1.3. Final
org.xerial	sqlite-JDBC	3,42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2,0
oro	oro	2.0.8
pt.edu.icm	Matrizes JLarge	1.5
software.Amazon.cryptools	Amazon Correcto Crypto Provider	1.6.1-linux-x86_64
software.Amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1