Databricks Runtime 16,1 (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 16.1, alimentado por Apache Spark 3.5.0.

A Databricks lançou essa versão em dezembro de 2024.

dica

Para ver as notas sobre a versão das versões do site Databricks Runtime que chegaram ao fim do suporte (EoS), consulte Fim do suporte Databricks Runtime notas sobre a versão. As versões do EoS Databricks Runtime foram retiradas e podem não ser atualizadas.

Mudanças comportamentais

Mudança radical : O tratamento de expressões regulares do Photon agora é consistente com o Apache Spark

Em Databricks Runtime 15.4 e acima, o tratamento de expressões regulares em Photon é atualizado para corresponder ao comportamento do tratamento de expressões regulares em Apache Spark. Anteriormente, as funções de expressão regular executadas por Photon, como split() e regexp_extract(), aceitavam algumas expressões regulares rejeitadas pelo analisador Spark. Para manter a consistência com o Apache Spark, as consultas do Photon agora falharão para expressões regulares que o Spark considerar não válidas.

Devido a essa alteração, o senhor poderá ver erros se o código do Spark incluir expressões regulares inválidas. Por exemplo, a expressão split(str_col, '{'), que contém uma chave sem correspondência e foi aceita anteriormente pelo Photon, agora falha. Para corrigir essa expressão, você pode escapar do caractere de chave: split(str_col, '\\{').

O comportamento do Photon e do Spark também foi diferente em algumas correspondências de expressões regulares de caracteres não ASCII. Isso também foi atualizado para que o Photon corresponda ao comportamento do Apache Spark.

O tipo de dados VARIANT não pode mais ser usado com operações que exigem comparações

Em Databricks Runtime 16.1 e acima, o senhor não pode usar as seguintes cláusulas ou operadores em consultas que incluam um tipo de dados VARIANT:

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

Além disso, o senhor não pode usar essas funções do DataFrame:

• df.dropDuplicates()
• df.repartition()

Essas operações realizam comparações, e as comparações que usam o tipo de dados VARIANT produzem resultados indefinidos e não são compatíveis com o Databricks. Se o senhor usar o tipo VARIANT em suas cargas de trabalho ou tabelas da Databricks, a Databricks recomenda as seguintes alterações:

• Atualize consultas ou expressões para converter explicitamente valores VARIANT em tipos de dados que não sejamVARIANT.
• Se o senhor tiver campos que devam ser usados com qualquer uma das operações acima, extraia esses campos do tipo de dados VARIANT e armazene-os usando tipos de dados nãoVARIANT.

Para saber mais, consulte Consultar dados de variantes.

Novos recursos e melhorias

• Atualização do conector BigQuery
• O suporte para collations no Apache Spark está na versão prévia pública
• O suporte para collations no Delta Lake está em visualização pública
• LITE O modo para vacuum está em Public Preview
• Suporte para parametrizar a cláusula USE CATALOG with IDENTIFIER
• COMMENT ON Suporte COLUMN para tabelas e visualizações
• Novas funções SQL
• Invocação de parâmetros nomeados para mais funções
• O parâmetro SYNC METADATA do comando REPAIR TABLE é compatível com o Hive metastore
• Integridade aprimorada de dados para Apache Arrow lotes
• Suporte adicionado para métodos Scala no modo de acesso padrão Unity Catalog compute (anteriormente modo de acesso compartilhado)
• integrada Teradata JDBC Driver
• Suporte a StreamingQueryListener para Scala
• Leia sobre os consumidores existentes com o Kinesis EFO
• Use ARNs para identificar a transmissão Kinesis
• integrada Oracle JDBC Driver
• Erros mais detalhados para tabelas Delta acessadas com caminhos

Atualização do conector BigQuery

• O conector do Google BigQuery foi atualizado para usar a versão 0.41.0 do conector Spark-BigQuery de código aberto.

• O conector do Google BigQuery para a Lakehouse Federation agora usa o driver BigQuery Storage API em vez do driver JDBC. Essa migração resolve problemas de desempenho com o driver JDBC e é baseada no conector Spark-BigQuery de código aberto.

  Com essa alteração, os resultados intermediários da consulta para a visualização BigQuery e as tabelas externas devem ser gravados em tabelas temporárias. Esses objetos não são armazenados diretamente no armazenamento do BigQuery. As tabelas temporárias serão armazenadas em seu projeto de faturamento do BigQuery. Verifique se as permissões apropriadas estão definidas em sua conta do serviço BigQuery. Para obter detalhes, consulte a execução de consultas federadas no Google BigQuery.

O suporte para collations no Apache Spark está na versão prévia pública

Agora você pode atribuir agrupamentos com reconhecimento de idioma, sem distinção entre maiúsculas e minúsculas e sem distinção de acesso às colunas e expressões STRING. Esses agrupamentos são usados em comparações de strings, classificação, operações de agrupamento e muitas funções de strings. Veja Collation.

O suporte para collations no Delta Lake está em visualização pública

Agora o senhor pode definir agrupamentos para colunas ao criar ou alterar uma tabela Delta. Consulte Suporte de agrupamento para Delta Lake.

LITE O modo para está em Public Preview vacuum

Agora, o senhor pode usar VACUUM table_name LITE para realizar uma operação vacuum mais leve que aproveita os metadados na transação Delta log. Consulte Modo completo vs. modo leve e vacuum.

Suporte para parametrizar a cláusula USE CATALOG with IDENTIFIER

Em Databricks Runtime 16.1 e acima, a cláusula IDENTIFIER é compatível com a declaração USE CATALOG declaração. Com esse suporte, o senhor pode parametrizar o catálogo atual com base em uma variável de cadeia de caracteres ou marcador de parâmetro.

COMMENT ON Suporte COLUMN para tabelas e visualizações

Em Databricks Runtime 16.1 e acima, a declaração COMMENT ON suporta a alteração de comentários para view e colunas de tabela.

Novas funções SQL

Em Databricks Runtime 16.1 e acima, as seguintes novas funções integradas SQL estão disponíveis:

• dayname (expr) retorna a sigla em inglês de três letras para o dia da semana para a data especificada.
• uniform (expr1, expr2 [, seed]) retorna um valor aleatório com valores independentes e distribuídos de forma idêntica dentro do intervalo de números especificado.
• randstr(length) retorna uma cadeia aleatória de length caracteres alfanuméricos.

Invocação de parâmetros nomeados para mais funções

Em Databricks Runtime 16.1 e acima, as seguintes funções suportam a invocação de parâmetros nomeados:

• variante_explode
• variante_explode_outer
• na linha
• exterior_embutido
• pose explodir
• posexplode_outer

O parâmetro SYNC METADATA do comando REPAIR TABLE é compatível com o Hive metastore

Em Databricks Runtime 16.1 e acima, o senhor pode usar o parâmetro SYNC METADATA com o comando REPAIR TABLE para atualizar os metadados de uma tabela gerenciar Hive metastore. Veja a TABELA DE REPARO.

Integridade aprimorada de dados para Apache Arrow lotes

Em Databricks Runtime 16.1 e acima, para proteger ainda mais contra a corrupção de dados, cada LZ4 Arrow lotes compactado agora inclui o conteúdo LZ4 e as somas de verificação de bloco. Consulte a descrição do formato de quadro LZ4.

Suporte adicionado para métodos Scala no modo de acesso padrão Unity Catalog compute (anteriormente modo de acesso compartilhado)

Em Databricks Runtime 16.1 e acima, no modo de acesso padrão Unity Catalog compute, foi adicionado suporte para os seguintes métodos Scala: Dataset.flatMapGroups(), Dataset.mapGroups(), e DataStreamWriter.foreach().

integrada Teradata JDBC Driver

Em Databricks Runtime 16.1 e acima, o driver Teradata JDBC está integrado em Databricks. Se o senhor usar um driver JDBC de upload do cliente JAR via DriverManager, deverá reescrever os scripts para usar explicitamente o JAR personalizado. Caso contrário, será usado o driver integrado. Esse driver é compatível apenas com a lakehouse Federation. Para outros casos de uso, você deve fornecer seu próprio driver.

Suporte a StreamingQueryListener para Scala

Agora o senhor pode usar StreamingQueryListener em Scala em compute configurado com o modo de acesso padrão.

Leia sobre os consumidores existentes com o Kinesis EFO

Agora o senhor pode usar o modo Kinesis enhanced-fan out (EFO) para configurar a Spark transmissão estruturada para ler os consumidores existentes. Consulte Opções avançadas de configuração do consumidor.

Use ARNs para identificar a transmissão Kinesis

Agora o senhor pode usar a opção streamARN para identificar as fontes de transmissão ao configurar uma fonte Kinesis. Consulte Configurar opções do Kinesis.

integrada Oracle JDBC Driver

Em Databricks Runtime 16.1 e acima, o driver Oracle JDBC está incorporado em Databricks. Se o senhor usar um driver JDBC de upload do cliente JAR via DriverManager, deverá reescrever os scripts para usar explicitamente o JAR personalizado. Caso contrário, será usado o driver integrado. Esse driver é compatível apenas com a lakehouse Federation. Para outros casos de uso, você deve fornecer seu próprio driver.

Erros mais detalhados para tabelas Delta acessadas com caminhos

Uma nova experiência de mensagem de erro para tabelas Delta acessadas usando caminhos já está disponível. Todas as exceções agora são encaminhadas ao usuário. A exceção DELTA_MISSING_DELTA_TABLE agora é reservada para quando os arquivos subjacentes não podem ser lidos como uma tabela Delta.

Outras mudanças

Códigos de erro renomeados para a fonte cloudFiles transmissão estructurada

Esta versão inclui uma alteração para renomear os seguintes códigos de erro:

• _LEGACY_ERROR_TEMP_DBR_0143 é renomeado para CF_INCORRECT_STREAM_USAGE.
• _LEGACY_ERROR_TEMP_DBR_0260 é renomeado para CF_INCORRECT_BATCH_USAGE.

Correções de bugs

Os tipos aninhados agora aceitam adequadamente as restrições NULL

Esta versão corrige um bug que afeta algumas colunas geradas pelo Delta de tipos aninhados, por exemplo, STRUCT. Às vezes, essas colunas rejeitavam incorretamente expressões com base nas restrições NULL ou NOT NULL dos campos aninhados. Isso foi corrigido.

Atualizações da biblioteca

• Atualizado Python biblioteca:

  • ipyflow-core de 0.0.198 a 0.0.201
  • pyccolo de 0.0.52 a 0.0.65

• Biblioteca R atualizada:

• Atualizado Java biblioteca:

  • io.delta.delta-compartilhamento-client_2.12 de 1.2.1 para 1.2.2
  • org.lz4.lz4-java de 1.8.0 a 1.8.0-databricks-1
  • software.Amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.2-linux-x86_64 para 2.4.1-linux-x86_64

Apache Spark

O Databricks Runtime 16.1 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 16.0 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-50482] [SC-182879] [core] Configuração no-op spark.shuffle.spill obsoleta
• [SPARK-50032] [SC-182706] [sql] [16.x] Permitir o uso de nome de agrupamento totalmente qualificado
• [SPARK-50467] [SC-182823][Python] Adicionar __all__ para funções internas
• [SPARK-48898] [SC-182828] [sql] Corrigir bug de destruição de variantes
• [SPARK-50441] [SC-182668] [sql] Corrige identificadores parametrizados que não funcionam ao referenciar CTEs
• [SPARK-50446] [SC-182639][Python] nível concorrente em Python otimizado por setas UDF
• [SPARK-50430] [SC-182536] [core] Use as propriedades padrão.Clone em vez do clone manual
• [SPARK-50471] [SC-182790][Python] Suporte baseado em seta Python fonte de dados Writer
• [SPARK-50466] [SC-182791][Python] Refinar a documentação das funções de cadeias de caracteres - parte 1
• [SPARK-50194] [DBR16.x][sc-182593][SS][Python] Integração da nova API de temporizador e da API de estado inicial com o temporizador
• [SPARK-50437] [SC-182586] [ss] Reduza a sobrecarga de criação de desserializadores em TransformWithStateExec
• [SPARK-49676] [DBR16.x][sc-182538][SS][Python] Adicionar suporte para o encadeamento de...
• [SPARK-49294] [SC-182730][ui] Adicionar atributo de largura para a caixa de seleção gravação aleatória-time.
• [SPARK-50426] [SC-182540][Python] Evite a pesquisa estática da Python fonte de dados ao usar a fonte de dados integrada ou Java fonte de dados
• [SPARK-48356] [SC-182603] [sql] Suporte para instrução FOR
• [SPARK-50333] [SC-182136] [sql] Suporte de Codegen para CsvToStructs (por Invoke & RuntimeReplaceable)
• [SPARK-50285] [SC-182575] métricas para commit em instâncias do StagedTable
• [SPARK-50081] [SC-182344] [sql] Suporte de Codegen para XPath*(por Invoke & RuntimeReplaceable)
• [SPARK-50440] [SC-182592] [SQL] Refatoração do AttributeSeq.resolveCandidates
• [SPARK-50067] [SC-179648] [sql] Suporte do Codegen para SchemaOfCSV (por Invoke & RuntimeReplaceable)
• [SPARK-49873] [SC-178577][sql] corrigir falha no post merge em testes de erros
• [SPARK-50118] [SC-181259][connet] Reset cache de estado isolado quando a tarefa está em execução
• [SPARK-49873] [SC-178577] [sql] Atribuir classe de erro adequada para _LEGACY_ERROR_TEMP_1325
• [SPARK-50381] [SC-182197] [core] Suporte spark.master.rest.maxThreads
• [SPARK-46725] [SC-182448] [sql] Adicionar função DAYNAME
• [SPARK-50270] [SC-181179][ss][Python] Adicionadas métricas de estado personalizadas para TransformWithStateInPandas
• [SPARK-50118] Reverter "[SC-181259][connet] Reset cache de estado isolado quando a tarefa estiver em execução"
• [SPARK-50075] [SC-181820][sql][Python][connect] Adicionar DataFrame APIs para funções com valor de tabela
• [SPARK-49470] [SC-175736] [ui] Atualizar folhas de estilo e javascripts do DataTables de 1.13.5 para 1.13.11
• [SPARK-50235] Reverter "[SC-180786][sql] Limpar o recurso ColumnVector depois de processar todas as linhas em ColumnarToRowExec"
• [SPARK-50324] [SC-182278][Python][CONNECT] Make createDataFrame trigger Config RPC at most once
• [SPARK-50387] [SC-182441] [ss] Condição de atualização para expiração do cronômetro e teste relevante
• [SPARK-50287] [SC-182400][sql] mesclar opções de tabela e relação ao criar WriteBuilder em FileTable
• [SPARK-50066] [SC-181484] [sql] Suporte de Codegen para SchemaOfXml (por Invoke & RuntimeReplaceable)
• [SPARK-50092] [SC-181568][sql] Corrigir o comportamento do conector PostgreSQL para matrizes multidimensionais
• [SPARK-50318] [SC-181641] [sql] Adicione Intervalutils.makeYearMonthInterval para desduplicar o código entre interpretado e codegen
• [SPARK-50312] [SC-181646] [sql] Erro ao passar o parâmetro CreateServer do SparkThriftServer quando o kerberos é verdadeiro
• [SPARK-50246] [SC-181468] [sql] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_2167: INVALID_JSON_RECORD_TYPE
• [SPARK-50214] [SC-180692][sql] De JSON/xml não deve alterar os agrupamentos no esquema fornecido
• [SPARK-50250] [SC-181466] [sql] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_2075: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
• [SPARK-50248] [SC-181467] [sql] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_2058: INVALID_PARTITION_VALUE
• [SPARK-50118] [SC-181259][connet] Reset cache de estado isolado quando a tarefa está em execução
• [SPARK-50235] [SC-180786][sql] Limpar o recurso ColumnVector depois de processar todas as linhas no ColumnarToRowExec
• [SPARK-50156] [SC-180781] [sql] Integre _LEGACY_ERROR_TEMP_2113 em UNRECOGNIZED_STATISTIC
• [SPARK-50069] [SC-180163] [sql] Integre _LEGACY_ERROR_TEMP_0028 em UNSUPPORTED_FROM_TO_EXPRESSION
• [SPARK-50154] [SC-180663] [sql] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_0043: INVALID_RESET_COMMAND_FORMAT
• [SPARK-49967] [SC-179534] [sql] Suporte do Codegen para StructsToJson(to_json)
• [SPARK-50055] [SC-180978] [sql] Adicionar alternativa TryMakeInterval
• [SPARK-50397] [SC-182367] [core] Remova os argumentos --ip e -i obsoletos de Master/Worker
• [SPARK-50238] [SC-181434][Python] Adicionar suporte a variantes em PySpark UDFs/UDTFs/UDAFs e Python UC UDFs
• [SPARK-50079] [SC-179830] [sql] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_2013: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
• [SPARK-50182] [SC-180346][exemplo] Adicionar exemplo da API REST do submit-sql.sh
• [SPARK-49966] [SC-179501] [sql] Use Invoke para implementar JsonToStructs(from_json)
• [SPARK-50302] [SC-182518] [ss] Garanta que os tamanhos do índice secundário sejam iguais aos tamanhos do índice primário para variáveis de estado transformWithState com TTL
• [SPARK-50301] [SC-182241] [ss] [16.x] Fazer com que as métricas do TransformWithState reflitam seus significados intuitivos
• [SPARK-50175] [SC-182140] [sql] Alterar cálculo de precedência de agrupamento
• [SPARK-50148] [SC-180292] [sql] Torne StaticInvoke compatível com o método que declara a exceção de lançamento
• [SPARK-50280] [SC-181214][Python] Refatorar a classificação de resultados e o preenchimento de caixas vazias no compute_hist
• [SPARK-50190] [SC-182458][Python] Remover a dependência direta do Numpy do Histograma
• [SPARK-50382] [SC-182368][connect] Adicionar documentação para obter informações gerais sobre o desenvolvimento de aplicativos com/extendendo o Spark Connect
• [SPARK-50296] [SC-181464][Python][CONNECT] Evite usar uma classproperty no threadpool para o cliente Python Connect
• [SPARK-49566] [SC-182239][sql] Adicionar sintaxe de pipe SQL para o operador EXTEND
• [SPARK-50036] [SC-179533][core][Python] Incluir SPARK_LOG_SCHEMA no contexto do REPL shell
• [SPARK-49859] [SC-178259] [conectar] Substitua multiprocessing.ThreadPool por ThreadPoolExecutor
• [SPARK-50141] [SC-182378][Python] Fazer com que lpad e rpad aceitem argumentos de tipo de coluna
• [SPARK-50379] [SC-182142] [sql] Corrige o tratamento de DaytimeIntervalType no WindowExecBase
• [SPARK-49954] [SC-179110] [sql] Suporte do Codegen para SchemaOfJSON (por Invoke & RuntimeReplaceable)
• [SPARK-50398] [SC-182341][core] Use ExitCode 0 para --help uso em scripts do Spark
• [SPARK-50377] [SC-182238] [sql] Permitir avaliar o dobrável RuntimeReplaceable
• [SPARK-50241] [SC-181444] [sql] Substitua NullIntolerant Mixin pelo método Expression.nullIntolerant
• [SPARK-50084] [SC-179672] [sql] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_3168: MISSING_TIMEOUT_CONFIGURATION
• [SPARK-50078] [SC-179649] [sql] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_0038: DUPLICATED_CTE_NAMES
• [SPARK-50057] [SC-179573] [sql] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_1049: INVALID_ATTRIBUTE_NAME_SYNTAX
• [SPARK-50070] [SC-179579] [sql] Integre _LEGACY_ERROR_TEMP_0039 em UNSUPPORTED_SQL_STATEMENT
• [SPARK-50378] [SC-182235][ss] Adicionar métricas personalizadas para o acompanhamento gasto para o estado inicial do proc em transformWithState
• [SPARK-50029] [SC-179531] [sql] Torne StaticInvoke compatível com o método que retorna Any
• [SPARK-49990] [SC-179497][sql] Melhorar o desempenho do randStr
• [SPARK-50048] [SC-179528] [sql] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_2114: UNRECOGNIZED_STATISTIC
• [SPARK-50053] [SC-179532] [sql] Transforme _LEGACY_ERROR_TEMP_2104 em INTERNAL_ERROR
• [SPARK-49665] [SC-180054][sql] Suporte de agrupamento de aparas para funções de cadeias de caracteres
• [SPARK-48549] [SC-176472][sql][Python] Melhorar a função SQL sentences
• [SPARK-50022] [SC-179503] [core] [UI] Correção MasterPage para ocultar links da interface do usuário do aplicativo quando a interface do usuário está desativada
• [SPARK-50087] [SC-182152] Tratamento robusto de expressões booleanas no CASE WHEN para MsSqlServer e futuros conectores
• [SPARK-49991] [SC-179481] [sql] Faça com que o HadoopMapReduceCommitProtocol respeite 'mapreduce.output.basename' para gerar nomes de arquivos
• [SPARK-50038] [SC-179521] [sql] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_0008: MERGE_WITHOUT_WHEN
• [SPARK-50236] [SC-181671] [sql] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_1156: COLUMN_NOT_DEFINED_IN_TABLE
• [SPARK-50021] [SC-179500] [core] [UI] Correção ApplicationPage para ocultar links da interface do usuário do aplicativo quando a interface do usuário está desativada
• [SPARK-49911] [SC-179111] [sql] Corrige a semântica da igualdade binária de suporte
• [SPARK-50025] [SC-179496] [sql] Integre _LEGACY_ERROR_TEMP_1253 em EXPECT_VIEW_NOT_TABLE
• [SPARK-49829] [SC-179480][ss] Corrigir o erro na otimização da adição de entrada ao armazenamento do estado na transmissão-transmissão join
• [SPARK-50004] [SC-179499] [sql] Integre _LEGACY_ERROR_TEMP_3327 em FIELD_NOT_FOUND
• [SPARK-50380] [SC-182210] [sql] ReorderAssociativeOperator deve respeitar o contrato em ConstantFolding
• [SPARK-50340] [SC-181859] [sql] Desembrulhe o UDT na consulta de entrada INSERT
• [SPARK-50237] [SC-181660] [sql] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_2138-9: CIRCULAR_CLASS_REFERENCE
• [SPARK-50258] [SC-181993] [sql] Corrige o problema de alteração da ordem das colunas de saída após a otimização do AQE
• [SPARK-49773] [SC-178369][sql] Exceção Java não capturada de make_timestamp() com fuso horário incorreto
• [SPARK-49977] [SC-179265][sql] Use a computação iterativa baseada em pilha para evitar a criação de muitos objetos Scala List para árvores de expressões profundas
• [SPARK-50153] [SC-181591][sql] Adicione name a RuleExecutor para tornar mais clara a impressão de QueryExecutionMetrics's logs
• [SPARK-50320] [SC-181668] [core] Torne --remote uma opção oficial removendo o aviso experimental
• [SPARK-49909] [SC-179492]Reverter "[SQL] Corrigir o nome bonito de algumas expressões"
• [SPARK-50330] [SC-180720][sc-181764][SQL] Adicionar dicas aos nós Sort e Window
• [SPARK-50364] [SC-182003] [sql] Implementar serialização para o tipo LocalDateTime em row.jsonValue
• [SPARK-50016] [SC-182139] [sql] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_2067: UNSUPPORTED_PARTITION_TRANSFORM
• [SPARK-49899] [SC-181175][Python][SS] Suporte a deleteIfExists para TransformWithStateInPandas
• [SPARK-49757] [SC-177824][sql] Suporte à expressão IDENTIFIER na instrução SET CATALOG
• [SPARK-50315] [SC-181886][sql] Suporte a métricas personalizadas para gravações V1Fallback
• [SPARK-42838] [SC-181509] [sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_2000
• [SPARK-50353] [SC-181985] [sql] A refatoração resolve o arquivo SQL
• [SPARK-48344] [SC-181967][sql] Preparar scripts SQL para a adição da estrutura de execução
• [SPARK-49345] [SC-174786][connect] Certifique-se de usar a Spark Session em execução no momento
• [SPARK-49925] [SC-178882][sql] Adicionar testes para order by com strings agrupadas
• [SPARK-50167] [SC-181199][Python][CONNECT] Melhorar as mensagens de erro e as importações do gráfico PySpark
• [SPARK-49368] [SC-174999] [conectar] Evite acessar as classes protobuf lite diretamente
• [SPARK-50056] [SC-181378] [sql] Suporte do Codegen para parseURL (por Invoke & RuntimeReplaceable)
• [SPARK-49601] [SC-180770][ss][Python] Suporte ao tratamento de estado inicial para TransformWithStateInPandas
• [SPARK-49908] [SC-178768] [sql] Atribua a condição de erro adequada para _LEGACY_ERROR_TEMP_0044
• [SPARK-50144] [SC-180307][ss] Resolver a limitação do cálculo de métricas com fontes de transmissão DSv1
• [SPARK-49874] [SC-178303] [sql] Remova os especificadores de agrupamento trim e ltrim.
• [SPARK-49513] [SC-180339][ss] Adicionar suporte para cronômetro na API transformWithStateInPandas
• [SPARK-49119] [SC-175607] [sql] Corrija a inconsistência da sintaxe show columns entre v1 e v2
• [SPARK-49206] [SC-173704] [core] [UI] Adicionar tabela Environment Variables ao Master EnvironmentPage
• [SPARK-49934] [SC-179581] [sql] Adicionar conversão implícita para acessar o mapa agrupado com literal
• [SPARK-50049] [SC-181659][sql] Suporte a métricas de driver personalizadas ao gravar na tabela v2
• [SPARK-50171] [SC-180295][Python] Tornar o numpy opcional para o KDE graficar
• [SPARK-49962] [SC-179320] [sql] Simplifique a hierarquia de classes AbstractStringTypes
• [SPARK-50226] [SC-181483][sql] Corrigir MakeDTInterval e MakeYMInterval para capturar exceções Java
• [SPARK-48775] [SC-170801][sql][STS] Substituir SQLContext por SparkSession no STS
• [SPARK-49015] [SC-175688] [core] O Connect Server deve respeitar spark.log.structuredLogging.enabled
• [SPARK-50327] [SC-181667] [sql] [16.x] Fatorar a resolução da função a ser reutilizada no analisador de passagem única
• [SPARK-49995] [SC-180762] [sql] Adicionar suporte a argumentos nomeados a mais TVFs
• [SPARK-49268] [SC-174903][core] registrar exceções de IO no provedor de história do SHS
• [SPARK-48123] [SC-164989][core] Fornecer um esquema de tabela constante para consulta de dados estruturados logs
• [SPARK-49217] [SC-174904] [core] Suporta configuração de tamanho de buffer separada no UnsafeShuffleWriter
• [SPARK-50325] [SC-181664] [sql] [16.x] Fatorar a resolução do alias a ser reutilizada no analisador de passagem única
• [SPARK-50322] [SC-181665] [sql] Corrigir identificador parametrizado em uma subconsulta
• [SPARK-48400] [SC-175283] [core] Promova PrometheusServlet para DeveloperApi
• [SPARK-50118] Reverter "[SC-181259][connet] Reset cache de estado isolado quando a tarefa estiver em execução"
• [SPARK-50306] [SC-181564][Python][CONNECT] Suporte a Python 3.13 em Spark Connect
• [SPARK-50152] [SC-181264][ss] Suporte a handleInitialState com leitor de fonte de dados de estado
• [SPARK-50260] [SC-181271][connect] Refatorar e otimizar o Spark C...
• [SPARK-47591] [SC-163090] [sql] Hive-ThriftServer: Migre o LogInfo com variáveis para a estrutura de registro estruturada
• [SPARK-49312] [SC-174672][Python] Melhorar a mensagem de erro para assertSchemaEqual
• [SPARK-49439] [SC-175236] [sql] Corrija o nome bonito da expressão FromProtobuf & ToProtobuf
• [SPARK-50092] [ES-1258521] Corrigir o comportamento do conector do PostgreSQL para matrizes multidimensionais
• [SPARK-49913] [SC-181565][sql] Adicionar verificação de nomes de rótulos exclusivos em escopos de rótulos aninhados
• [SPARK-49563] [SC-181465][sql] Adicionar sintaxe de pipe SQL para o operador WINDOW
• [SPARK-49661] [SC-179021] [sql] Implemente o hash e a comparação do agrupamento trim.
• [SPARK-38912] [SC-181543][Python] Remover o comentário relacionado ao classmethod e à propriedade
• [SPARK-49770] [16.x][sc-179802][SC-179270][ss][RocksDB Fortalecimento] Melhore o gerenciamento do mapeamento de arquivos SST do site RocksDB e corrija o problema de recarregar a mesma versão com o Snapshot existente
• [SPARK-49002] Reverter “[SC-172846] [sql] Manipule consistentemente locais inválidos em WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
• [SPARK-49668] [SC-178268][sql] Implementar collation key suporte para trim collation
• [SPARK-50262] [SC-181193] [sql] Proibir a especificação de tipos complexos durante a alteração do agrupamento
• [SPARK-48898] [SC-181435] [sql] Adicionar funções de destruição variantes
• [SPARK-48273] [SC-181381]Reverter "[SQL] Corrigir a reescrita tardia do PlanWithUnresolvedIdentifier
• [SPARK-50222] [SC-180706] [core] Suporte spark.submit.appName
• [SPARK-50208] [SC-180662] [core] Suporte spark.master.useDriverIdAsAppName.enabled
• [SPARK-50224] [SC-180689] [sql] As substituições de isValidUTF8|validateUTF8|tryValidateUTF8|makeValidUtf8 devem ser nullIntolerant
• [SPARK-50247] [SC-180962] [core] Defina BLOCK_MANAGER_REREGISTRATION_FAILED como ExecutorExitCode
• [SPARK-50282] [SC-181221] [ml] Simplificar TargetEncoderModel.transform
• [SPARK-50112] [SC-180763][sql] Permitir que o operador TransformWithState use a codificação Avro
• [SPARK-50267] [SC-181180][ml] Melhorar TargetEncoder.fit com APIs DataFrame
• [SPARK-37178] [SC-180939][ml] Adicionar codificação de destino a ml.recurso
• [SPARK-50118] [SC-181259][connet] Reset cache de estado isolado quando a tarefa está em execução
• [SPARK-50085] [BEHAVE-176][sc-179809][Python] Fazer com que lit(ndarray) com np.int8 respeite o tipo de dado numpy
• [SPARK-50256] [SC-181048] [sql] Adicione validação leve para verificar se um plano lógico não é resolvido após cada regra do otimizador
• [SPARK-50196] [SC-180932][connect] Corrija o contexto de erro do Python para usar um contexto adequado
• [SPARK-50274] [SC-181181] [core] Proteção contra o uso após o fechamento em DirectByteBufferOutputStream
• [SPARK-49999] [SC-180063][Python][CONNECT] Suporte ao parâmetro opcional "column" no box, kde e hist graficar
• [SPARK-50273] [SC-181178][ss] Melhorar o registro para casos de aquisição/liberação de bloqueio do RocksDB
• [SPARK-50033] [SC-180720][sc-180659][SQL] Adicionar uma dica ao nó logical.Aggregate()
• [SPARK-50163] [16,x] [sc-180201] [SC-180664] [ss] Corrigir a liberação extra do acquireLock do RocksDB devido ao listener de conclusão
• [SPARK-50253] [SC-180969][ss] A união transmissão-transmissão não deve buscar o ID do ponto de verificação se não for suportado.
• [SPARK-50255] [SC-180964][Python] Evite o uso desnecessário de casting no compute_hist
• [SPARK-50228] [SC-180780] [sql] Mova a regra RewriteCollationJoin para FinishAnalysis
• [SPARK-50001] [SC-179524][Python][PS][connect] Ajustar "precision" para fazer parte de kwargs para graficar caixa
• [SPARK-49637] [SC-180160] [sql] Mensagem de erro alterada para INVALID_FRACTION_OF_SECOND
• [SPARK-49530] [SC-180658][Python] Obter sessão ativa dos dataframes
• [SPARK-50195] [SC-180654] [core] Corrija StandaloneRestServer para propagar spark.app.name para SparkSubmit corretamente
• [SPARK-50229] [SC-180773] Reduza o uso de memória no driver para esquemas amplos reduzindo a vida útil dos objetos AttributeReference criados durante o planejamento lógico
• [SPARK-50231] [SC-180815][Python] Fazer com que a função instr aceite a coluna substring
• [SPARK-49854] [SC-179812][16.x][SQL] Gerenciador de artefatos de clone durante a clonagem da sessão
• [SPARK-50219] [SC-180694] [sql] Refatore ApplyCharTypePadding para que os métodos auxiliares possam ser usados no resolvedor de passagem única
• [SPARK-50077] [SC-179827][sql] Introduzir um novo objeto padrão para LogicalRelation para ajudar a evitar o padrão default full params
• [SPARK-50128] [Backport][16x][SC-180677][ss] Adicionar APIs de manuseio de processador com estado usando codificadores implícitos em Scala
• [SPARK-50061] [SC-179961] [sql] Habilitar tabela de análise para colunas agrupadas
• [SPARK-49993] [SC-180084] [sql] Melhore as mensagens de erro para Sum and Average
• [SPARK-49638] [SC-179665] [sql] Remova a sugestão de configuração ANSI em INVALID_URL
• [SPARK-50204] [SC-180660] [sql] Fatorar a resolução do caminho de leitura HiveTableRelation
• [SPARK-50193] [SC-180651] [ss] Corrige o tratamento de exceções para validar os modos de tempo
• [SPARK-50179] [SC-180342][core] Tornar a propriedade spark.app.name opcional na API REST
• [SPARK-50068] [SC-180300][sql] Refatorar TypeCoercion e AnsiTypeCoercion para separar as transformações de nó único
• [SPARK-49411] [SC-179483][ss] Comunicar armazenamento do estado Checkpoint ID entre o driver e os operadores stateful
• [SPARK-50124] [SC-180294] [sql] LIMIT/OFFSET deve preservar a ordem dos dados
• [SPARK-49506] [SC-180165] [sql] Otimize ArrayBinarySearch para matriz dobrável
• [SPARK-50097] [SC-179908] [sql] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_1248: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
• [SPARK-50071] [SC-180159][sql][Python] Adicionar try_make_timestamp(_ltz e _ntz) e testes relacionados
• [SPARK-50054] [SC-180228][Python][CONNECT] Suporte ao histograma graficar
• [SPARK-50015] [SC-179964] [sql] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_1125: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
• [SPARK-50155] [SC-180240] [3,5] Mova os arquivos Scala e java para suas pastas default
• [SPARK-49980] [SC-180353][core][SQL] Corrigir possíveis vazamentos de transmissão de arquivos causados por interrupção na tarefa cancelada
• [SPARK-49010] [SC-172304] [sql] [XML] Adicionar testes de unidade para diferenciação de maiúsculas e minúsculas de inferência de esquema XML
• [SPARK-49562] [SC-180211][sql] Adicionar sintaxe de pipe SQL para agregação
• [SPARK-49663] [SC-180239] [sql] Habilitar sugestões de RTRIM em expressões de agrupamento
• [SPARK-48965] [SC-175926] [sql] Use o esquema correto em Dataset#toJSON
• [SPARK-48493] [SC-175893][Python] Aprimore o Python Datasource Reader com suporte direto a lotes Arrow para melhorar o desempenho
• [SPARK-49734] [SC-180226][Python] Adicionar argumento seed para a função shuffle
• [SPARK-50174] [16.x][sc-180253][SQL] Fatorar a resolução não resolvidaCatalogRelation
• [SPARK-49989] [SC-179512][Python][CONNECT] Suporte kde/density graficar
• [SPARK-49805] [SC-180218][sql][ML] Remover funções privadas[xxx] do function.scala
• [SPARK-49808] [SC-179490] [sql] Corrige um impasse na execução de subconsultas devido a vals preguiçosos
• [SPARK-49929] [SC-180144][Python][CONNECT] Caixa de suporte graficar
• [SPARK-50008] [SC-179290][ps][CONNECT] Evite operações desnecessárias em attach_distributed_sequence_column
• [SPARK-49767] [SC-180161] [ps] [CONNECT] Refatore a invocação da função interna
• [SPARK-49683] [SC-178341] [sql] Agrupamento de acabamentos de blocos
• [SPARK-49939] [SC-178941] [sql] Suporte do Codegen para json_object_keys (por Invoke & RuntimeReplaceable)
• [SPARK-50031] [SC-179582] [sql] Adicione a expressão TryParseUrl
• [SPARK-49766] [SC-178933] [sql] Suporte do Codegen para json_array_length (por Invoke & RuntimeReplaceable)
• [SPARK-50046] [SC-180026] [ss] Use a ordem estável do nó EventTimeWatermark para calcular a marca d'água
• [SPARK-49540] [SC-180145] [ps] Unifique o uso de distributed_sequence_id
• [SPARK-50060] [SC-179965] [sql] Conversão desativada entre diferentes tipos agrupados em TypeCoercion e AnSitypeCoercion
• [SPARK-49004] [SC-173244][connect] Use um registro separado para as funções internas da API Column
• [SPARK-49811] [SC-177888] [sql] Renomear StringTypeAnyCollation
• [SPARK-49202] [SC-180059] [ps] Aplique ArrayBinarySearch para histograma
• [SPARK-49203] [SC-175734] [sql] Adicionar expressão para java.util.Arrays.binarySearch
• [SPARK-50034] [SC-179816] [core] Corrija a notificação incorreta de erros fatais como exceções não detectadas em SparkUncaughtExceptionHandler
• [SPARK-50093] [SC-179836][sql] As colações que usam ICU devem ter a versão da biblioteca ICU usada
• [SPARK-49985] [SC-179644] [sql] Remover o suporte para tipos de intervalo na Variant
• [SPARK-49103] [SC-173066] [core] Suporte spark.master.rest.filters
• [SPARK-50090] [SC-179819] Refatorar ResolveBinaryArithmetic para separar transformações de nó único
• [SPARK-49902] [SC-179650] [sql] Detecte erros de tempo de execução subjacentes em RegExpReplace
• [SPARK-49126] [SC-173342] [core] Mova a definição de configuração spark.history.ui.maxApplications para History.scala
• [SPARK-50094] [SC-179820][Python][CONNECT] Melhor mensagem de erro ao usar o profiler de memória em editores sem números de linha
• [SPARK-50062] [SC-179835] [sql] Suporta agrupamentos por InSet
• [SPARK-50035] [Backport] [16x] [SC-179530] [ss] Adicionar suporte para a função handleExpiredTimer explícita, parte do processador com estado
• [SPARK-49982] [SC-179814] [sql] Corrigir cache negativo em InMemoryRelation
• [SPARK-49082] [SC-173350] [sql] Ampliando promoções de tipo em AvroDeserializer
• [SPARK-50088] [SC-179680] [sql] Refatorar UnresolvedStarBase.expand
• [SPARK-49802] [SC-179482] [ss] Adicionar suporte ao feed de alteração de leitura para tipos de mapas e listas usados em processadores com estado
• [SPARK-49846] [SC-179506][ss] Adicionar as métricas numUpdatedStateRows e numRemovedStateRows para uso com o operador transformWithState
• [SPARK-50050] [SC-179643][Python][CONNECT][16.x] Faça com que a lista aceite str e bool, digite numpy ndarray
• [SPARK-49821] [SC-179527][ss][Python] Implementar suporte a MapState e TTL para TransformWithStateInPandas
• [SPARK-49558] [SC-179485][sql] Adicionar a sintaxe de pipe SQL para LIMIT/OFFSET e ORDER/SORT/clustering/DISTRIBUTE BY
• [SPARK-48144] [SC-165725][lc-4080][SQL] Corrigir canPlanAsBroadcastHashJoin para respeitar as dicas do shuffle join
• [SPARK-50051] [SC-179571][Python][CONNECT] Fazer lit funcionar com ndarray numpy vazio
• [SPARK-50018] [SC-179488] [sql] Tornar o AbstractStringType serializável
• [SPARK-50016] [SC-179491] [sql] Melhore o erro explícito de incompatibilidade de agrupamento
• [SPARK-50010] [SC-179487] [sql] Expandir erro de incompatibilidade de agrupamento implícito
• [SPARK-48749] [SC-170116][sql] Simplifique o UnaryPositive e elimine suas Catalyst Rules com RuntimeReplaceable
• [SPARK-49857] [SC-178576][sql] Adicionar storageLevel ao conjunto de dados localCheckpoint API
• [SPARK-50058] [SC-179538] [sql] Fatore as funções de normalização do plano para usá-las posteriormente em testes de análise de passagem única
• [SPARK-50052] [SC-179535][Python][16.X] Make NumpyArrayConverter support empty str ndarray
• [SPARK-47261] [SC-173665] [sql] Atribua um nome melhor para os erros _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 e _LEGACY_ERROR_TEMP_1174
• [SPARK-49147] [SC-173471] [core] Marque KryoRegistrator com a interface DeveloperAPI
• [SPARK-48949] [SC-173070][sql] SPJ: Runtime partition filtering
• [SPARK-50044] [SC-179523][Python] Refinar a documentação de várias funções matemáticas
• [SPARK-48757] [SC-170113] [core] Faça com que IndexShuffleBlockResolver tenha construtores explícitos
• [SPARK-50037] [SQL] Refatorar AttributeSeq.resolve(...)
• [SPARK-48782] [SC-177056] [sql] Adicionar suporte para execução de procedimentos em catálogos
• [SPARK-49057] [SC-173081] [sql] Não bloqueie o loop AQE ao enviar estágios de consulta
• [SPARK-48824] [SC-176772][behave-167][SQL] Adicionar sintaxe SQL da coluna de identidade
• [SPARK-48773] [SC-170773] Configuração do documento "spark.default.parallelism" pela estrutura do construtor de configurações
• [SPARK-48735] [SC-169810][sql] Melhoria do desempenho da função BIN
• [SPARK-48900] [SC-172433] Adicionar o campo reason para todas as chamadas internas para cancelamento de trabalho/estágio
• [SPARK-48488] [SC-167605] [core] Corrigir métodos log[info|warning|error] em SparkSubmit
• [SPARK-48708] [SC-169809] [core] Remova três registros de tipos desnecessários do KryoSerializer
• [SPARK-49958] [SC-179312][Python] Python API para funções de validação de strings
• [SPARK-49979] [SC-179264] [sql] Corrige o problema de suspensão do AQE ao coletar duas vezes em um plano que falhou
• [SPARK-48729] [SC-169795][sql] Adicionar uma interface UserDefinedFunction para representar uma função SQL
• [SPARK-49997] [SC-179279] [sql] Integre _LEGACY_ERROR_TEMP_2165 em MALFORMED_RECORD_IN_PARSING
• [SPARK-49259] [SC-179271][ss]Criação de partição baseada em tamanho durante a leitura de Kafka
• [SPARK-48129] [SC-165006][Python] Fornecer um esquema de tabela constante em PySpark para consulta de dados estruturados logs
• [SPARK-49951] [SC-179259] [sql] Atribuir condição de erro adequada para LEGACY_ERROR_TEMP (1099|3085)
• [SPARK-49971] [SC-179278] [sql] Atribua a condição de erro adequada para _LEGACY_ERROR_TEMP_1097
• [SPARK-49998] [SC-179277] [sql] Integre _LEGACY_ERROR_TEMP_1252 em EXPECT_TABLE_NOT_VIEW
• [SPARK-49876] [SC-179262][connect] Elimine os bloqueios globais do serviço Spark Connect
• [SPARK-49957] [SC-179202][sql] API do Scala para funções de validação de strings
• [SPARK-48480] [SC-173055] [ss] [CONNECT] StreamingQueryListener não deve ser afetado por spark.interrupt ()
• [SPARK-49643] [SC-179239][sql] merge _LEGACY_ERROR_TEMP_2042 into ARITHMETIC_OVERFLOW
• [SPARK-49959] [SC-179109] [sql] Corrija ColumnarArray.copy () para ler nulos a partir do deslocamento correto
• [SPARK-49956] Reverter “[SC-179070] Desabilitou agrupamentos com a expressão collect_set”
• [SPARK-49987] [SC-179180] [sql] Corrija o prompt de erro quando seedExpression não é dobrável em randstr
• [SPARK-49948] [SC-179158][ps][CONNECT] Adicionar o parâmetro "precision" a Pandas em Spark box graficar
• [SPARK-49970] [SC-179167] [sql] Atribua a condição de erro adequada para _LEGACY_ERROR_TEMP_2069
• [SPARK-49916] [SC-179108] [sql] Lance a exceção apropriada para incompatibilidade de tipo entre ColumnType e tipo de dados em algumas linhas
• [SPARK-49956] [SC-179070] Agrupamentos desativados com a expressão collect_set
• [SPARK-49974] [16.x][sc-179071][SQL] Mova resolveRelations(...) para fora do Analyzer.Scala
• [SPARK-47259] [SC-176437] [sql] Atribuir nomes às condições de erro para erros de intervalo
• [SPARK-47430] [SC-173679] [sql] Retrabalhe o grupo por tipo de mapa para corrigir a exceção de referência de associação
• [SPARK-49067] [SC-172616] [sql] Mova o literal utf-8 para métodos internos da classe URLCodec
• [SPARK-49955] [SC-178989][sql] Valor nulo não significa arquivo corrompido ao analisar as cadeias de caracteres JSON RDD
• [SPARK-49393] [SC-175212][sql] Fail by default in deprecated catalog plugin APIs
• [SPARK-49952] [SC-178985] [sql] Atribua a condição de erro adequada para _LEGACY_ERROR_TEMP_1142
• [SPARK-49405] [SC-175224] [sql] Restringir conjuntos de caracteres em JSONOptions
• [SPARK-49892] [SC-178975] [sql] Atribua a classe de erro adequada para _LEGACY_ERROR_TEMP_1136
• [SPARK-49904] [SC-178973] [sql] Atribua a condição de erro adequada para _LEGACY_ERROR_TEMP_2140
• [SPARK-47257] [SC-174244] [sql] Atribuir nomes às classes de erro _LEGACY_ERROR_TEMP_105 [3-4] e _LEGACY_ERROR_TEMP_1331
• [SPARK-49915] [SC-178869] [sql] Manipule zeros e uns no ReorderAssociativeOperator
• [SPARK-49891] [SC-178970] [sql] Atribua a condição de erro adequada para _LEGACY_ERROR_TEMP_2271
• [SPARK-49918] [SC-178748] [core] Use acesso somente para leitura ao conf em SparkContext quando apropriado
• [SPARK-49666] [SC-177891][sql] Adicionar sinalizador de recurso para o recurso de agrupamento de corte
• [SPARK-48885] [SC-171050] [sql] Faça com que algumas subclasses de RuntimeReplaceable substituam a substituição por lazy val
• [SPARK-49932] [SC-178931][core] Use tryWithResource release JsonUtils#toJsonString recurso para evitar vazamentos de memória
• [SPARK-49949] [SC-178978][ps] Evite tarefas de análise desnecessárias em attach_sequence_column
• [SPARK-49924] [SC-178935] [sql] Mantenha containsNull após a substituição de ArrayCompact
• [SPARK-49121] [SC-174787][sql] Suporte a from_protobuf e to_protobuf para funções SQL
• [SPARK-47496] [SC-160529][sql] Suporte Java SPI para registro de dialeto JDBC dinâmico
• [SPARK-49359] [SC-174895] [sql] Permitir que as implementações do StagedTableCatalog retornem à gravação não atômica
• [SPARK-49895] [SC-178543] [sql] [ES-1270338] Melhore o erro ao encontrar uma vírgula final na cláusula SELECT
• [SPARK-47945] [SC-163457][sql] MsSQLServer: Documentar o mapeamento de tipos de dados Spark SQL do Microsoft SQL Server e adicionar testes
• [SPARK-46037] [SC-175495][sql] Correção da correção da construção da junção do Shuffled Hash deixada sem codegen
• [SPARK-47813] [SC-162615] [sql] Substitua getArrayDimension por updateExtraColumnMeta
• [SPARK-49542] [SC-178765] [sql] Erro de avaliação da exceção de transformação de partição
• [SPARK-47172] [SC-169537] [core] Adicionar suporte para AES-GCM para criptografia RPC
• [SPARK-47666] [SC-161476] [sql] Corrige o NPE ao ler a matriz de bits do mysql como LongType
• [SPARK-48947] [SC-174239] [sql] Use o nome do conjunto de caracteres em minúsculas para diminuir o cache ausente em Charset.forName
• [SPARK-49909] [SC-178552] [sql] Corrige o nome bonito de algumas expressões
• [SPARK-47647] [SC-161377][sql] Tornar o site MySQL fonte de dados capaz de ler bit(n>1) como BinaryType como o Postgres
• [SPARK-46622] [SC-153004] [core] Substituir o método toString para o.a.s.network.shuffledb.StoreVersion
• [SPARK-48961] [SC-171910][Python] Tornar a nomenclatura dos parâmetros do PySparkException consistente com o JVM
• [SPARK-49889] [SC-178474][Python] Adicionar argumento trim para funçõestrim/ltrim/rtrim
• [SPARK-47537] [SC-160747][sql] Corrigir erro de mapeamento de tipo de dados no MySQL Connector/J
• [SPARK-47628] [SC-161257][sql] Corrigir o problema da matriz de bits do Postgres 'Cannot cast to Boolean'
• [SPARK-49843] [SC-178084][es-1268164][SQL] Corrigir comentário de alteração em colunas char/varchar
• [SPARK-49549] [SC-178764] [sql] Atribua um nome às condições de erro _LEGACY_ERROR_TEMP_3055, 3146
• [SPARK-49791] [SC-177730] [sql] Tornar a extensão DelegatingCatalogmais extensível
• [SPARK-49559] [SC-178551][sql] Adicionar sintaxe de pipe SQL para operações de conjunto
• [SPARK-49906] [SC-178536] [sql] Introduza e use o erro CONFLICTING_DIRECTORY_STRUCTURES para PartitioningUtils
• [SPARK-49877] [SC-178392] [sql] Alterar assinatura da função ClassifyException: adicionar argumento isRuntime
• [SPARK-47501] [SC-160532] [sql] Adicione convertDateToDate como o convertTimestampToTimestamp existente para jdbcDialect
• [SPARK-49044] [SC-175746] [sql] ValidateExternalType deve retornar filho por engano
• [SPARK-47462] [SC-160460] [sql] Alinhe mapeamentos de outros tipos numéricos não assinados com TINYINT no MySQLDialect
• [SPARK-47435] [SC-160129][sql] Corrige o problema de estouro do MySQL UNSIGNED TINYINT causado pelo SPARK-45561
• [SPARK-49398] [SC-176377][sql] Melhorar o erro de parâmetros na consulta de CACHE TABLE e CREATE VIEW
• [SPARK-47263] [SC-177012] [sql] Atribuir nomes às condições legadas _LEGACY_ERROR_TEMP_13 [44-46]
• [SPARK-49605] [SC-176605] [sql] Corrija o prompt quando ascendingOrder estiver DataTypeMismatch em SortArray
• [SPARK-49806] [SC-178304] [sql] [CONNECT] Remova blank space redundante após show nos clientes Scala e Connect
• [SPARK-47258] [SC-175032] [sql] Atribuir nomes às classes de erro _LEGACY_ERROR_TEMP_127 [0-5]
• [SPARK-49564] [SC-178461][sql] Adicionar a sintaxe de pipe SQL para o operador join
• [SPARK-49836] [SC-178339] [sql] [SS] Corrige uma consulta possivelmente quebrada quando a janela é fornecida para window/session_window fn
• [SPARK-47390] [SC-163306][sc-159312][SPARK-47396][sc-159376][SPARK-47406] Manipular o mapeamento de carimbos de data/hora SQL para Postgres e MySQL
• [SPARK-49776] [SC-177818][Python][CONNECT] Suporte pie graficar
• [SPARK-49824] [SC-178251] [ss] [CONNECT] Melhore o registro no SparkConnectStreamingQueryCache
• [SPARK-49894] [SC-178460][Python][CONNECT] Refine a representação de strings das operações de campo de coluna
• [SPARK-49764] [SC-177491][Python][CONNECT] Área de suporte graficar
• [SPARK-49694] [SC-177376][Python][CONNECT] Suporte ao graficar de dispersão
• [SPARK-49744] [SC-178363][ss][Python] Implementar suporte TTL para ListState em TransformWithStateInPandas
• [SPARK-49879] [SC-178334][core] Mova TransportCipherUtil para um arquivo separado para eliminar os avisos de compilação do Java
• [SPARK-49866] [SC-178353] [sql] Melhore a mensagem de erro para descrever a tabela com colunas de partição
• [SPARK-49867] [SC-178302][es-1260570][SQL] Melhora a mensagem de erro quando o índice está fora dos limites ao chamar GetColumnByOrdinal
• [SPARK-49607] [SC-177373][Python] Atualizar a abordagem de amostragem para gráficos baseados em amostragem
• [SPARK-49626] [SC-177276][Python][CONNECT] Suporte a barra gráfica horizontal e vertical
• [SPARK-49531] [SC-177770][Python][CONNECT] Linha de suporte graficar com backend plotly
• [SPARK-49444] [SC-177692][es-1203248][SQL] Modificou o UnivocityParser para lançar exceções de tempo de execução causadas por ArrayIndexOutOfBounds com mensagens mais orientadas ao usuário
• [SPARK-49870] [SC-178262][Python] Adicionar suporte a Python 3.13 em Spark Classic
• [SPARK-49560] [SC-178121][sql] Adicionar sintaxe de pipe SQL para o operador TABLESAMPLE
• [SPARK-49864] [SC-178305] [sql] Melhorar a mensagem de BINARY_ARITHMETIC_OVERFLOW
• [SPARK-48780] [SC-170274] [sql] Cometer erros no NamedParametersSupport genérico para lidar com funções e procedimentos
• [SPARK-49358] [SC-178158][sql] Mode expressão para tipos de mapa com agrupamento strings
• [SPARK-47341] [SC-178157] [sql] Corrige a documentação imprecisa do RuntimeConfig #get
• [SPARK-48357] [SC-178153] [sql] Suporte para instrução LOOP
• [SPARK-49845] [SC-178059][core] Tornar appArgs e environmentVariables opcionais na API REST
• [SPARK-49246] [SC-174679] [sql] TableCatalog #loadTable deve indicar se é para escrever
• [SPARK-48048] [SC-177525][sc-164846][CONNECT][ss] Adicionado suporte de ouvinte do lado do cliente para Scala
• [SPARK-48700] [SC-177978][sql] Mode expressão para tipos complexos (todos os agrupamentos)
• [SPARK-48196] [SC-177899] [sql] Transforme planos de val preguiçosos de execução de consultas em lazyTry
• [SPARK-49749] [16,x] [sc-177877 ] [NÚCLEO] Alterar o nível de log para debug no BlockManagerInfo
• [SPARK-49561] [SC-177897][sql] Adicionar sintaxe de pipe SQL para os operadores PIVOT e UNPIVOT
• [SPARK-49823] [SC-177885] [ss] Evite a descarga durante o desligamento no rocksdb close path
• [SPARK-49820] [SC-177855] [Python] Alterar raise IOError para raise OSError
• [SPARK-49653] [SC-177266][sql] Single join para subconsultas escalares correlacionadas
• [SPARK-49552] [SC-177477][Python] Adicionar suporte a DataFrame API para as novas funções 'randstr' e 'uniform' SQL
• [SPARK-48303] [16,x] [sc-166251 ] [NÚCLEO] Reorganize as chaves de registro
• [SPARK-49656] [16x] [backport] [SS] Adicione suporte para variáveis de estado com tipos de coleta de estado de valor e opções de feed de alteração de leitura
• [SPARK-48112] [SC-165129] [conectar] Expor a sessão no SparkConnectPlanner aos plug-ins
• [SPARK-48126] [16,x] [sc-165309] [Núcleo] Tornar efetivo o spark.log.structuredLogging.enabled
• [SPARK-49505] [SC-176873][sql] Crie novas funções SQL "randstr" e "uniform" para gerar strings ou números aleatórios dentro de intervalos
• [SPARK-49463] [SC-177474] Estado da lista de suporte para transformWithStateInPandas
• [SPARK-48131] [SC-165007][core] Unifique o MDC key mdc.taskName e task_name
• [SPARK-49557] [SC-177227][sql] Adicionar sintaxe de pipe SQL para o operador WHERE
• [SPARK-49323] [16.x] [sc-174689 ] [CONECTAR] Mova o MockObserver da pasta de teste do Spark Connect Server para a pasta principal do servidor
• [SPARK-49745] [SC-177501][ss] Adicionar alteração para ler temporizadores registrados por meio do leitor de fonte de dados de estado
• [SPARK-49772] [16,x] [sc-177478] [SC-177214] [ss] Remover ColumnFamilyOptions e adicionar configurações diretamente ao dbOptions no RocksDB

Suporte ao driver ODBC/JDBC da Databricks

A Databricks oferece suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e da atualização do site (download ODBC, download JDBC).

Consulte Atualizações de manutenção do Databricks Runtime 16.1.

Ambiente do sistema

• Sistema operacional : Ubuntu 24.04.1 LTS

  • Observação : esta é a versão do Ubuntu usada pelos contêineres do Databricks Runtime. Os contêineres DBR são executados nas máquinas virtuais do provedor de nuvem, que podem usar uma versão diferente do Ubuntu ou uma distribuição do Linux.

• Java : Zulu17.54+21-CA

• Scala : 2.12.15

• Python : 3.12.3

• R : 4.4.0

• Delta Lake : 3.2.1

Instalado Python biblioteca

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
tipos de anotações	0.7.0	asttokens	2.0.5	atunparse	1.6.3
comando automático	2.2.2	núcleo do azure	1,31,0	azure-storage-blob	12,23,0
azure-storage-file-datalake	12,17.0	arquivo backports.tar	1.2.0	preto	24.4.2
pisca-pisca	1.7.0	boto3	1,34,69	botocore	1,34,69
ferramentas de cache	5.3.3	certifi	2024.6.2	caffi	1,16.0
chardet	4.0.0	normalizador de conjuntos de caracteres	2.0.4	clique	8.1.7
salmoura	2.2.1	comunicações	0.2.1	contornar	1.2.0
criptografia	42,0.5	ciclador	0.11.0	Cython	3.0.11
databricks-sdk	0,30,0	dbus-Python	1.3.2	depurar	1.6.7
decorador	5.1.1	Descontinuado	1.2.14	distlib	0.3.8
docstring-to-markdown	0,11	pontos de entrada	0,4	execução	0,8.3
visão geral das facetas	1.1.1	bloqueio de arquivo	3.15.4	ferramentas de fonte	4,51,0
gitdb	4.0.11	GitPython	3.1.37	google-api-core	2.20.0
autenticação do Google	2.35,0	google-cloud-core	2.4.1	Google Cloud Storage	2.18.2
google-crc32c	1.6.0	mídia retomável do Google	2.7.2	googleapis-common-protos	1,65,0
grócio	1,60,0	status de grpcio	1,60,0	httplib2	0,20,4
Índia	3.7	importlib-metadados	6.0.0	importar lib_resources	6.4.0
inflexão	7.3.1	núcleo ipyflow	0,0.201	ipykernel	6,28,0
ipython	8,25,0	ipython-genutils	0.2.0	ipywidgets	7.7.2
isodato	0.6.1	jaraco.context	5.3.0	jaraco.functools	4.0.1
jaraco.text	3.12.1	jedi	0.19.1	jmespath	1.0.1
joblib	1.4.2	jupyter_client	8.6.0	jupyter_core	5.7.2
solucionador de kiwi	1.4.4	launchpadlib	1.11.0	lazr.restfulclient	0,14.6
lazr.uri	1.0.6	Matplotlib	3.8.4	matplotlib-inline	0.1.6
mccabe	0.7.0	malflow-skinny	2.15.1	mais ferramentas de iteração	10.3.0
mypy	1.10.0	extensões mypy	1.0.0	nest-assíncio	1.6.0
nodeenv	1.9.1	entorpecido	1.26.4	oauthlib	3.2.2
API de telemetria aberta	1.27.0	SDK de telemetria aberta	1.27.0	convenções semânticas de telemetria aberta	0,48b0
fazendo às malas	24,1	Pandas	1.5.3	parso	0,8.3
especificação do caminho	0.10.3	bode expiatório	0.5.6	esperar	4.8.0
travesseiro	10.3.0	pip	24,2	platformdirs	3.10.0
Plotly	5,22,0	plugado	1.0.0	kit de ferramentas de aviso	3,0,43
proto-plus	1.24.0	protobuf	4.24.1	pistila	5.9.0
psycopg2	2.9.3	processo pty	0.7.0	avaliação pura	0.2.2
flecha	15,0.2	pyasn1	0.4.8	módulos pyasn1	0.2.8
piccolo	0,0,65	pycparser	2,21	pidântico	2.8.2
núcleo pirântico	2.20.1	flocos	3.2.0	Pigmentos	2.15.1
Objeto PYG	3,48,2	PyJWT	2.7.0	pyodbc	5.0.1
análise de pipa	3.0.9	direito autoral	1,1,294	Python-dateutil	2.9.0.post0
Python-lsp-jsonrpc	1.1.2	Python-lsp-server	1.10.0	pytoolconfig	1.2.6
pytz	2024,1	PyYAML	6.0.1	pizma	25.1.2
pedidos	2.32.2	corda	1.12.0	rsa	4,9
transferência s3	0.10.2	scikit-learn	1.4.2	pegajoso	1.13.1
marítimo	0,13.2	ferramentas de configuração	74,0,0	seis	1,16.0
tapa	5.0.0	sqlparse	0.5.1	ID de importação ssh	5,11
dados de pilha	0.2.0	modelos de estatísticas	0,14.2	tenacidade	8.2.2
threadpool ctl	2.2.0	tokenizar-rt	4.2.1	tomli	2.0.1
tornado	6.4.1	almôndegas	5.14.3	tipografia	4.3.0
tipos-protobuf	3.20.3	tipos - psutil	5.9.0	tipos-pytz	2023.3.1.1
Tipos - PyYAML	6.0.0	tipos de solicitações	2.31.0.0	ferramentas de configuração de tipos	68.0.0.0
tipos seis	1,16.0	tipos - urllib3	1.26.25.14	extensões_de digitação	4.11.0
junhão	5.10.0	atualizações autônomas	0,1	urllib3	1,26,16
ambiente virtual	20.26.2	wadlib	1.3.6	largura do wc	0.2.5
qual é o patch	1.0.2	Python wheel	0,43,0	embrulhar	1.14.1
yapf	0,33,0	zíper	3.17.0

Instalou a R biblioteca

As bibliotecas R são instaladas a partir do Posit pacote Manager CRAN Snapshot em 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/.

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
flecha	16.1.0	askpass	1.2.0	afirme que	0.2.1
portas traseiras	1.5.0	base	4.4.0	base64enc	0,1-3
Grande D	0.2.0	pouco	4.0.5	bit64	4.0.5
bitops	1,0-8	bolha	1.2.4	inicialização	1,3-30
fermentar	1,0-10	brio	1.1.5	vassoura	1.0.6
babião	0,8.0	cachem	1.1.0	chamador	3.7.6
cursor	6,0-94	guarda de celas	1.1.0	crono	2,3-61
Aula	7,3-22	CLIPE	3.6.3	clipe	0,8.0
relógio	0.7.1	Cluster	2.1.6	ferramentas de código	0,2-20
espaço de cores	2,1-1	marca comum	1.9.1	compilador	4.4.0
configuração	0.3.2	em conflito	1.2.0	cpp11	0.4.7
giz de cera	1.5.3	Credenciais	2.0.1	cacho	5.2.1
data.tabela	1,15.4	conjunto de dados	4.4.0	DBI	1.2.3
dbplyr	2.5.0	desc	1.4.3	ferramentas de desenvolvimento	2.4.5
diagrama	1.6.5	diff	0.3.5	digerir	0,6,36
iluminado	0.4.4	dplyr	1.1.4	dtplyr	1.3.1
e1071	1,7-14	reticências	0.3.2	avalie	0,24,0
fansi	1.0.6	colorista	2.1.2	mapa rápido	1.2.0
fontawesome	0.5.2	para gatos	1.0.0	para cada um	1.5.2
Externo	0,8-86	forjar	0.2.0	fs	1.6.4
futuro	1,34,0	futuro.aplique	1.11.2	gargarejar	1.5.2
genéricas	0.1.3	obter	2.1.0	ggplot2	3.5.1
gh	1.4.1	git2r	0,33,0	gitcreds	0.1.2
glmnet	4,1-8	globais	0,16.3	cola	1.7.0
google drive	2.1.1	planilhas do Google 4	1.1.1	goleiro	1.0.1
gráficos	4.4.0	Dispositivos GR	4.4.0	grade	4.4.0
Grid Extra	2.3	gsubfn	0,7	gt	0.11.0
mesa	0.3.5	capacete	1.4.0	refúgio	2.5.4
mais alto	0,11	HMS	1.1.3	ferramentas html	0.5.8.1
widgets html	1.6.4	http.uv	1,6.15	httr	1.4.7
httr2	1.0.2	IDs	1.0.1	mini	0.3.1
ipred	0,9-15	isóbanda	0.2.7	iteradores	1,0.14
jquerylib	0.1.4	jsonlite	1.8.8	suco suculento	0.1.0
Kern Smooth	2,23-22	tricotar	1,48	rótulo	0.4.3
posteriormente	1.3.2	treliça	0,22-5	lava	1.8.0
ciclo de vida	1.0.4	ouvindo	0.9.1	lubrificar	1.9.3
magritter	2.0.3	Markdown	1,13	MASSA	7,3-60,0.1
Matriz	1,6-5	memoise	2.0.1	métodos	4.4.0
mgcv	1,9-1	mímica	0,12	Mini UI	0.1.1.1
MLflow	2.14.1	Métricas do modelo	1.2.2.2	modelar	0.1.11
munsell	0.5.1	nome	3,1-165	net	7,3-19
Número Deriv	2016,8-1,1	openssl	2.2.0	paralelo	4.4.0
paralelamente	1.38,0	pilar	1.9.0	pkgbuild	1.4.4
pkgconfig	2.0.3	pkgdown	2.1.0	carregamento de pacotes	1.4.0
plogr	0.2.0	plyr	1.8.9	elogio	1.0.0
unidades bonitas	1.2.0	ProC	1,18.5	processa	3.8.4
prodlim	2024,06,25	profvis	0.3.8	progresso	1.2.3
progressista	0.14.0	promessas	1.3.0	proto	1.0.0
proxy	0,4-27	ps	1.7.7	ronronar	1.0.2
R6	2.5.1	trapo	1.3.2	Floresta aleatória	4,7-1,1
corredeiras	0.3.3	rcmdcheck	1.4.0	Cervejaria RColor	1,1-3
Rcpp	1,0.13	RCP Pegen	0.3.4.0.0	reagível	0.4.4
Reator R	0.6.0	leitor	2.1.5	readxl	1.4.3
receitas	1.1.0	revanche	2.0.0	revanche 2	2.1.2
controles remotos	2.5.0	reprex	2.1.1	remodelar 2	1.4.4
rlang	1.1.4	rmarkdown	2,27	RODBC	1,3-23
roxigênio2	7.3.2	rpartem	4,1,23	rprojroot	2.0.4
Reservar	1,8-13	RSQLite	2.3.7	API do estúdio	0,16.0
reversões	2.1.2	colete	1.0.4	atrevimento	0.4.9
escala	1.3.0	seletor	0,4-2	informações da sessão	1.2.2
forma	1.4.6.1	brilhante	1.9.1	ferramentas de origem	0,1,7-1
Sparklyr	1.8.6	SparkR	3.5.0	espacial	7,3-17
splines	4.4.0	sqldf	0,4-11	QUADRADO	2021,1
estatísticas	4.4.0	estatísticas4	4.4.0	stringi	1.8.4
longarina	1.5.1	sobrevivência	3,6-4	arrogância	5.17.14.1
diz	3.4.2	fontes do sistema	1.1.0	tcltk	4.4.0
teste isso	3.2.1.1	modelagem de texto	0.4.0	petiscar	3.2.1
arrumado	1.3.1	seleção arrumada	1.2.1	tidyvere	2.0.0
mudança de horário	0.3.0	Hora/Data	4032,109	tinytex	0,52
Ferramentas	4.4.0	tzdb	0.4.0	verificador de URL	1.0.1
use isso	3.0.0	utf 8	1.2.4	utilidades	4.4.0
uuid	1,2-1	V8	4.4.2	vctrs	0.6.5
Viridis Lite	0.4.2	vadouro	1.6.5	waldo	0.5.2
bigode	0.4.1	murchar	3.0.1	diversão	0,46
xml2	1.3.6	xopen	1.0.1	x estável	1,8-4
yaml	2.3.10	fanático	0.1.0	compactar	2.3.1

Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)

ID do grupo	ID do artefato	Versão
chifre	chifre	2.7.7
com.amazonaws	Amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscale	1,12.638
com.amazonaws	formação de nuvem aws-java-sdk	1,12.638
com.amazonaws	aws-java-sdk-cloudfront	1,12.638
com.amazonaws	aws-java-sdk-cloudhsm	1,12.638
com.amazonaws	aws-java-sdk-cloudsearch	1,12.638
com.amazonaws	aws-java-sdk-cloudtrail	1,12.638
com.amazonaws	aws-java-sdk-cloudwatch	1,12.638
com.amazonaws	métricas aws-java-sdk-cloudwatch	1,12.638
com.amazonaws	aws-java-sdk-codedeploy	1,12.638
com.amazonaws	identidade cognitiva aws-java-sdk	1,12.638
com.amazonaws	aws-java-sdk-cognitosync	1,12.638
com.amazonaws	aws-java-sdk-config	1,12.638
com.amazonaws	aws-java-sdk-core	1,12.638
com.amazonaws	pipeline de dados aws-java-sdk	1,12.638
com.amazonaws	aws-java-sdk-conexão direta	1,12.638
com.amazonaws	diretório aws-java-sdk	1,12.638
com.amazonaws	aws-java-sdk-dynamodb	1,12.638
com.amazonaws	aws-java-sdk-ec2	1,12.638
com.amazonaws	aws-java-sdk-ecs	1,12.638
com.amazonaws	aws-java-sdk-efs	1,12.638
com.amazonaws	aws-java-sdk-elasticache	1,12.638
com.amazonaws	aws-java-sdk-elasticbeanstalk	1,12.638
com.amazonaws	balanceamento de carga elástico aws-java-sdk	1,12.638
com.amazonaws	transcodificador elástico aws-java-sdk-	1,12.638
com.amazonaws	aws-java-sdk-emr	1,12.638
com.amazonaws	aws-java-sdk-glacier	1,12.638
com.amazonaws	aws-java-sdk-glue	1,12.638
com.amazonaws	aws-java-sdk-iam	1,12.638
com.amazonaws	aws-java-sdk-importação/exportação	1,12.638
com.amazonaws	aws-java-sdk-kinesis	1,12.638
com.amazonaws	aws-java-sdk-kms	1,12.638
com.amazonaws	aws-java-sdk-lambda	1,12.638
com.amazonaws	aws-java-sdk-logs	1,12.638
com.amazonaws	aws-java-sdk - aprendizado de máquina	1,12.638
com.amazonaws	aws-java-sdk-opsworks	1,12.638
com.amazonaws	aws-java-sdk-rds	1,12.638
com.amazonaws	aws-java-sdk-redshift	1,12.638
com.amazonaws	aws-java-sdk-route53	1,12.638
com.amazonaws	aws-java-sdk-s3	1,12.638
com.amazonaws	aws-java-sdk-ses	1,12.638
com.amazonaws	aws-java-sdk-simpledb	1,12.638
com.amazonaws	aws-java-sdk - fluxo de trabalho simples	1,12.638
com.amazonaws	aws-java-sdk-sns	1,12.638
com.amazonaws	aws-java-sdk-sqs	1,12.638
com.amazonaws	aws-java-sdk-ssm	1,12.638
com.amazonaws	gateway de armazenamento aws-java-sdk	1,12.638
com.amazonaws	aws-java-sdk-sts	1,12.638
com.amazonaws	suporte aws-java-sdk	1,12.638
com.amazonaws	aws-java-sdk-swf-biblioteca	1.11.22
com.amazonaws	aws-java-sdk-workspace	1,12.638
com.amazonaws	jmespath-java	1,12.638
com.clearspring.analítica	transmissão	2.9.6
com.databricks	Reservar	1,8-3
com.databricks	databricks-sdk-java	0,27.0
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	scalapb-runtime_2.12	0,4,15-10
com.esotérico software	crio-sombreado	4.0.2
com.esotérico software	minlog	1.3.0
com.fasterxml	colega de classe	1.3.4
com.fasterxml.jackson.core	jackson-anotação	2.15.2
com.fasterxml.jackson.core	jackson-core	2.15.2
com.fasterxml.jackson.core	vinculação de dados jackson	2.15.2
formato de dados com.fasterxml.jackson.	formato de dados jackson-cbor	2.15.2
formato de dados com.fasterxml.jackson.	formato de dados jackson-yaml	2.15.2
com.fasterxml.jackson.tipo de dados	jackson-datatype-joda	2.15.2
com.fasterxml.jackson.tipo de dados	jackson-datatype-jsr310	2.16.0
com.fasterxml.jackson.module	parâmetro do módulo jackson	2.15.2
com.fasterxml.jackson.module	módulo jackson scala_2.12	2.15.2
com.github.ben-manes.cafeína	cafeína	2.9.3
com.github.fommil	descarregador	1.1
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java	1.1 - nativos
com.github.fommil.netlib	sistema_nativo-java	1.1
com.github.fommil.netlib	sistema_nativo-java	1.1 - nativos
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1 - nativos
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1 - nativos
com.github.luben	zstd-jni	1,5,5-4
com.github.wendykierp	JTransforma	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.10.1
com.google.crypto.tink	eu acho	1.9.0
com.google.propenso a erros	anotações propensas a erros	2.10.0
com.google.flatbuffers	tampões planos-java	23,5,26
com.google.goiaba	goiaba	15,0
com.google.protobuf	protobuf-java	3.25.1
com.helger	perfilador	1.1.1
com.ibm.icu	icu4j	75,1
com.jcraft	jsch	0,1,55
com.jolbox	bonecp	VERSÃO 0.8.0.
com.lihaoyi	código-fonte_2.12	0.1.9
com.microsoft.azure	azure-data lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-JDBC	11.2.2. jre8
com.microsoft.sqlserver	mssql-JDBC	11.2.3. jre8
comendo	comprimir-lzf	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.trunning	JSON	1,8
com.thoughtworks.paranamer	paranâmero	2.8
com.trueaccord.lenses	lentes_2.12	0.4.12
com.Twitter	chill-java	0.10.0
com.Twitter	chill_2.12	0.10.0
com.Twitter	util-app_2.12	7.1.0
com.Twitter	util-core_2.12	7.1.0
com.Twitter	função-útil_2.12	7.1.0
com.Twitter	util-jvm_2.12	7.1.0
com.Twitter	util-lint_2.12	7.1.0
com.Twitter	util-registry_2.12	7.1.0
com.Twitter	util-stats_2.12	7.1.0
com.typesafe	configuração	1.4.3
com.typesafe.Scala-logging	Scala-logging_2.12	3.7.2
com.uber	h3	3.7.3
com.univocidade	analisadores de univocidade	2.9.1
com.zaxxer	HikaricP	4.0.3
comum-CLI	comum-CLI	1.5.0
codec comum	codec comum	1,16.0
coleções comuns	coleções comuns	3.2.2
commons-dbcp	commons-dbcp	1.4
upload de arquivo commons	upload de arquivo commons	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.13.0
linguagem comum	linguagem comum	2.6
registro de bens comuns	registro de bens comuns	1.1.3
comum-pool	comum-pool	1.5.4
dev.ludovic.netlib	mochila	3.0.3
dev.ludovic.netlib	blás	3.0.3
dev.ludovic.netlib	lapack	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io. airlift	compressor de ar	0,27
io.delta	delta-compartilhamento-client_2.12	1.2.2
io.dropwizard.métricas	anotação de métricas	4.2.19
io.dropwizard.métricas	núcleo de métricas	4.2.19
io.dropwizard.métricas	métricas-grafite	4.2.19
io.dropwizard.métricas	métricas-healthchecks	4.2.19
io.dropwizard.métricas	métricas-jetty9	4.2.19
io.dropwizard.métricas	métricas-jmx	4.2.19
io.dropwizard.métricas	métricas-JSON	4.2.19
io.dropwizard.métricas	métricas-JVM	4.2.19
io.dropwizard.métricas	métricas-servlets	4.2.19
io.netty	tudo	4.1.108. Final
io.netty	netty-buffer	4.1.108. Final
io.netty	codec netty	4.1.108. Final
io.netty	netty-codec-http	4.1.108. Final
io.netty	netty-codec-http2	4.1.108. Final
io.netty	netty-codec-socks	4.1.108. Final
io.netty	netty-common	4.1.108. Final
io.netty	manipulador de limpeza	4.1.108. Final
io.netty	proxy netty-handler	4.1.108. Final
io.netty	resolvedor de rede	4.1.108. Final
io.netty	netty-tcnative-boringssl-static	2.0.61. Final-DB-R16
io.netty	netty-tcnative-boringssl-static	2.0.61. final-db-r16-Linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61. Final-DB-R16-Linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61. Final-DB-R16-OSX-AARCH_64
io.netty	netty-tcnative-boringssl-static	2.0.61. Final-DB-R16-OSX-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61. Final-DB-R16-Windows-x86_64
io.netty	classes netty-tcnative	2.0.61. Final
io.netty	transporte de urtigas	4.1.108. Final
io.netty	netty-transport-classes-epoll	4.1.108. Final
io.netty	netty-transport-classes-kqueue	4.1.108. Final
io.netty	netty-transport-native-epoll	4.1.108. Final
io.netty	netty-transport-native-epoll	4.1.108. final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.108. Final-Linux-RISCv64
io.netty	netty-transport-native-epoll	4.1.108. Final-Linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.108. Final-OSX-AARCH_64
io.netty	netty-transport-native-kqueue	4.1.108. Final-OSX-x86_64
io.netty	netty-transport-native-unix-common	4.1.108. Final
io. prometheus	cliente simples	0.7.0
io. prometheus	simpleclient_common	0.7.0
io. prometheus	simpleclient_dropwizard	0.7.0
io. prometheus	gateway client_push simples	0.7.0
io. prometheus	client_servlet simples	0.7.0
io.prometheus.jmx	coletor	0.12.0
jakarta.anotação	jakarta.anotação-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validação	jakarta.validação-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.ativação	ativação	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	API de transação	1.1
javax.xml.bind	jaxb-api	2.2.11
javolução	javolução	5.5.1
junte-se	junte-se	2.14.6
hora do dia	hora do dia	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	salmoura	1.3
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	supercsv	2.2.0
net.snowflake	SDK de ingestão de flocos de neve	0.9.6
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	chá remoto - oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.9.3
org.antlr	modelo de string	3.2.1
org.apache.ant	formiga	1.10.11
org.apache.ant	formiga	1.10.11
org.apache.ant	lançador de formigas	1.10.11
org.apache.arrow	formato de seta	15.0.0
org.apache.arrow	núcleo de memória de seta	15.0.0
org.apache.arrow	rede de memória de seta	15.0.0
org.apache.arrow	vetor de seta	15.0.0
org.apache.avro	AVRO	1.11.3
org.apache.avro	avro-ipc	1.11.3
org.apache.avro	mapeado automaticamente	1.11.3
org.apache.commons	commons-collections4	4.4
org.apache.commons	compressa comum	1,23,0
org.apache.commons	criptomoeda comum	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	texto comum	1.10.0
org.apache.curator	curador-cliente	2.13.0
org.apache.curator	estrutura de curador	2.13.0
org.apache.curator	receitas de curadores	2.13.0
org.apache.datasketches	esboços de dados-java	3.1.0
org.apache.datasketches	memória de esboços de dados	2.0.0
org.apache.derby	derby	10.14.2.0
org.apache.hadoop	tempo de execução do cliente hadoop	3.3.6
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	colmeia-CLI	2.3.9
org.apache.hive	hive-JDBC	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-lap-common	2.3.9
org.apache.hive	colmeia	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	API de armazenamento em nuvem	2.8.1
org.apache.hive.shims	calços de colmeia - 0,23	2.3.9
org.apache.hive.shims	calços de colmeia comuns	2.3.9
org.apache.hive.shims	hive-shims-programador	2.3.9
org.apache.httpcomponents	cliente http	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	hera	2.5.2
org.apache.logging.log4j	log4j-1.2-api	2.22.1
org.apache.logging.log4j	log4j-api	2.22.1
org.apache.logging.log4j	log4j-core	2.22.1
org.apache.logging.log4j	log4j-disposição-padrão-JSON	2.22.1
org.apache.logging.log4j	log4j-slf4j2-impl	2.22.1
org.apache.orc	núcleo orc	Protobuf 1.9.2 sombreado
org.apache.orc	orc-mapreduce	Protobuf 1.9.2 sombreado
org.apache.orc	calços de orc	1.9.2
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.ws.xmlschema	núcleo do esquema xml	2.3.0
org.apache.xbean	xbean-asm9-shaded	4,23
org.apache.yetus	audiência-anotação	0,13,0
org.apache.zookeeper	tratador	3.9.2
org.apache.zookeeper	tratador de zoológico - juta	3.9.2
org.checkerframework	xadrez igual	3,31,0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	compilador common	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	núcleo de dados-api-jdo	4.2.4
org.datanucleus	núcleo de dados	4.1.17
org.datanucleus	núcleo de dados-rdbms	4.1.19
org.datanucleus	javax.jdo	3,2,0-m3
org.Eclipse.collections	Eclipse-coleções	11.1.0
org.Eclipse.collections	Eclipse-collections-api	11.1.0
org.Eclipse.jetty	jetty-client	9.4.52.v20230823
org.Eclipse.jetty	continuação do cais	9.4.52.v20230823
org.Eclipse.jetty	jetty-http	9.4.52.v20230823
org.Eclipse.jetty	jetty-io	9.4.52.v20230823
org.Eclipse.jetty	jetty-jndi	9.4.52.v20230823
org.Eclipse.jetty	jetty-plus	9.4.52.v20230823
org.Eclipse.jetty	jetty-proxy	9.4.52.v20230823
org.Eclipse.jetty	segurança do cais	9.4.52.v20230823
org.Eclipse.jetty	servidor jetty-server	9.4.52.v20230823
org.Eclipse.jetty	jutty-servlet	9.4.52.v20230823
org.Eclipse.jetty	píer de servlets	9.4.52.v20230823
org.Eclipse.jetty	jetty-util	9.4.52.v20230823
org.Eclipse.jetty	jetty-util-ajax	9.4.52.v20230823
org.Eclipse.jetty	aplicativo web jetty-	9.4.52.v20230823
org.Eclipse.jetty	jetty-xml	9.4.52.v20230823
org.Eclipse.jetty.websocket	API de websoquete	9.4.52.v20230823
org.Eclipse.jetty.websocket	cliente websocket	9.4.52.v20230823
org.Eclipse.jetty.websocket	websocket-comum	9.4.52.v20230823
org.Eclipse.jetty.websocket	servidor websocket	9.4.52.v20230823
org.Eclipse.jetty.websocket	servlet websocket	9.4.52.v20230823
org.fusesource.leveldbjni	leveldbjni-tudo	1,8
org.glassfish.hk2	API hk2	2.6.1
org.glassfish.hk2	localizador hk2	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-recurso-locator	1.0.3
org.glassfish.hk2.external	aopalliance - reembalado	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	servlet de contêiner de camisa	2,40
org.glassfish.jersey.containers	jersey-container-servlet-core	2,40
org.glassfish.jersey.core	cliente de camisa	2,40
org.glassfish.jersey.core	camiseta comum	2,40
org.glassfish.jersey.core	servidor de camisa	2,40
org.glassfish.jersey.inject	camiseta-hk2	2,40
org.hibernate.validator	validador de hibernação	6.1.7. Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist	3,29,2 HA
org.jboss.logging	registro de jboss-logging	3.3.2. Final
org.jdbi	jdbi	2.63,1
org.jetbrains	anotação	17.0.0
org.joda	conversor de joda	1.7
org.jodd	núcleo nodular	3.5.2
org.json4s	json4s-ast_2.12	3,7,0-M11
org.json4s	json4s-core_2.12	3,7,0-M11
org.json4s	json4s-jackson_2.12	3,7,0-M11
org.json4s	json4s-scalap_2.12	3,7,0-M11
org.lz4	lz4-java	1.8.0-databricks-1
org.mlflow	mlflow-spark_2.12	2.9.1
org.objenesis	objênese	2.5.1
org.postgresql	PostgreSQL	42,6.1
org.roaringbitmap	Mapa de bits estrondoso	0.9.45 - blocos de dados
org.roaringbitmap	calços	0.9.45 - blocos de dados
org.rocksdb	rocksdbjni	9.2.1
org.rosuda.rEngine	Motor	2.1.0
org.Scala-lang	Scala-compiler_2.12	2.12.15
org.Scala-lang	Scala-library_2.12	2.12.15
org.Scala-lang	Scala-reflect_2.12	2.12.15
org.Scala-lang.modules	Scala-collection-compat_2.12	2.11.0
org.Scala-lang.modules	Scala-java8-compat_2.12	0.9.1
org.Scala-lang.modules	Scala-parser-combinators_2.12	1.1.2
org.Scala-lang.modules	Scala-xml_2.12	1.2.0
org.Scala-sbt	interface de teste	1,0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.2.16
org.scalanlp	breeze-macros_2.12	2.1.0
org.scalanlp	breeze_2.12	2.1.0
org.scalatest	compatível com scalatest	3.2.16
org.scalatest	scalatest-core_2.12	3.2.16
org.scalatest	diagramas de teste de escala_2.12	3.2.16
org.scalatest	scalatest-featurespec_2.12	3.2.16
org.scalatest	scalatest-flatspec_2.12	3.2.16
org.scalatest	scalatestfreespec_2.12	3.2.16
org.scalatest	scalatest-funspec_2.12	3.2.16
org.scalatest	scalatest-funsuite_2.12	3.2.16
org.scalatest	scalatest-matchers-core_2.12	3.2.16
org.scalatest	scalatest-mustmatchers_2.12	3.2.16
org.scalatest	scalatest-propspec_2.12	3.2.16
org.scalatest	scalatest-refspec_2.12	3.2.16
org.scalatest	scalatest - deve corresponders_2.12	3.2.16
org.scalatest	scalatest-wordspec_2.12	3.2.16
org.scalatest	scalatest_2.12	3.2.16
org.slf4j	jcl-over-slf4j	2.0.7
org.slf4j	jul-a-slf4j	2.0.7
org.slf4j	slf4j-api	2.0.7
org.slf4j	slf4j-simple	1,7,25
org.threeten	treze e mais	1.7.1
org.tukaani	xz	1,9
org.typelevel	álgebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	spire-macros_2.12	0,17.0
org.typelevel	spire-platform_2.12	0,17.0
org.typelevel	spire-util_2.12	0,17.0
org.typelevel	spire_2.12	0,17.0
org.wildfly.openssl	wildfly-openssl	1.1.3. Final
org.xerial	sqlite-JDBC	3,42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2,0
oro	oro	2.0.8
pt.edu.icm	Matrizes JLarge	1.5
software.Amazon.cryptools	Amazon Correcto Crypto Provider	2.4.1-linux-x86_64
stax	stax-api	1.0.1