Databricks Runtime 17.1 (Fim de suporte)

nota

O suporte para esta versão do Databricks Runtime foi encerrado. Para a data de fim do suporte, consulte o Histórico de fim de suporte. Para todas as versões suportadas Databricks Runtime , consulte as notas sobre versões e compatibilidadeDatabricks Runtime.

As notas a seguir sobre a versão fornecem informações sobre Databricks Runtime 17.1, desenvolvido com Apache Spark 4.0.0.

A Databricks lançou esta versão em agosto de 2025.

Novos recursos e melhorias

• Expressões SQL espaciais expandidas e tipos de dados GEOMETRIA e GEOGRAFIA
• Expressões de tabela comuns recursivas (GA)
• Funções de tabela definidas pelo usuário (UDTFs) do Unity Catalog em Python
• Suporte para ordenação default em nível de esquema e catálogo.
• Ambiente de execução de isolamento compartilhado para lotes Unity Catalog Python UDFs
• Melhor tratamento das opções JSON com VARIANT
• display() suporta transmissão tempo Modereal
• Fonte de taxa suporta Modede transmissão tempo real
• Temporizadores de tempo de evento suportados para janelas baseadas em tempo.
• As UDFs escalares do Python oferecem suporte a credenciais de serviço.
• Listagem de esquema aprimorada
• Mapeamento de colunas de strings aprimorado em gravações do Redshift
• Suporte para DDL, SHOW e DESCRIBE em tabelas com controle de acesso.
• Uso de memória reduzido para esquemas amplos no Photon Writer.
• Suporte para a sintaxe TIMESTAMP SEM FUSO HORÁRIO

Expressões SQL espaciais expandidas e tipos de dados GEOMETRIA e GEOGRAFIA

Agora você pode armazenar dados geoespaciais em colunas integradas GEOMETRY e GEOGRAPHY para um melhor desempenho de consultas espaciais. Esta versão adiciona mais de 80 novas expressões SQL espaciais, incluindo funções para importar, exportar, medir, construir, editar, validar, transformar e determinar relações topológicas com junção espacial. Consulte as funções geoespaciais ST, tipoGEOGRAPHY e tipoGEOMETRY.

Expressões de tabela comuns recursivas (GA)

Expressões de tabela comuns recursivas (rCTEs) agora estão disponíveis para o público em geral. Use rCTEs para navegar em dados hierárquicos com uma CTE autorreferencial e UNION ALL para seguir relacionamentos recursivos.

Funções de tabela definidas pelo usuário (UDTFs) do Unity Catalog em Python

Agora você pode registrar UDTFs Python no Unity Catalog para governança centralizada e lógica reutilizável em consultas SQL . Consulte as funções de tabela definidas pelo usuário (UDTFs)Python no Unity Catalog.

Suporte para ordenação default em nível de esquema e catálogo.

Agora você pode definir uma ordenação default para esquemas e catálogos no Databricks Runtime 17.1. Isso permite definir uma ordenação que se aplica a todos os objetos criados dentro do esquema ou catálogo, garantindo um comportamento de ordenação consistente em todos os seus dados.

Ambiente de execução de isolamento compartilhado para lotes Unity Catalog Python UDFs

Unity Catalog agora permite que UDFs Python com o mesmo proprietário compartilhem um ambiente de isolamento por default. Isso pode melhorar o desempenho e reduzir o uso de memória, diminuindo o número de ambientes separados que precisam ser iniciados.

Para garantir que uma UDF seja sempre executada em um ambiente totalmente isolado, adicione a cláusula característica STRICT ISOLATION . Veja Isolamento ambiental.

Melhor tratamento das opções JSON com VARIANT

As funções from_json e to_json agora aplicam corretamente as opções JSON ao trabalhar com esquemas VARIANT de nível superior. Isso garante um comportamento consistente com outros tipos de dados suportados.

display() suporta Modetransmissão tempo real

Você pode usar a função display() com consultas de transmissão que usam um gatilho de tempo real. Neste modo, display() usa automaticamente o modo de saída update e evita adicionar uma cláusula LIMIT , que não é suportada com update. O intervalo refresh da tela também é desacoplado da duração do lote para melhor suportar a capacidade de resposta em tempo real.

Fonte de taxa suporta Modede transmissão tempo real

A fonte de taxa na transmissão estruturada passou a funcionar com triggers tempo real, possibilitando a geração contínua de dados para transmissão pipeline utilizando Mode transmissão tempo real.

Temporizadores de tempo de evento suportados para janelas baseadas em tempo.

Databricks oferece suporte a gatilhos baseados em tempo de evento para operações de janela baseadas em tempo no Mode de transmissão tempo real. Isso permite um tratamento mais preciso de dados atrasados e da marca d'água em consultas de transmissão em tempo real.

As UDFs escalares do Python oferecem suporte a credenciais de serviço.

As UDFs escalares Python podem usar as credenciais de serviço Unity Catalog para acessar com segurança serviços externos cloud . Isso é útil para integrar operações como tokenização baseada em cloud , criptografia ou gerenciamento de segredos diretamente em suas transformações de dados.

Listagem de esquema aprimorada

O conector Snowflake usa a tabela INFORMATION_SCHEMA em vez do comando SHOW SCHEMAS para listar esquemas. Essa alteração remove o limite de 10.000 esquemas da abordagem anterior e melhora o suporte para bancos de dados com um grande número de esquemas.

Mapeamento de colunas de strings aprimorado em gravações do Redshift

Ao gravar tabelas no Redshift usando spark.write, colunas de strings sem um comprimento explícito são mapeadas para VARCHAR(MAX) em vez de TEXT. Isso evita o comportamento default do Redshiftde interpretar TEXT como VARCHAR(256), o que poderia causar erros ao escrever strings mais longas.

Suporte para DDL, SHOW e DESCRIBE em tabelas com controle de acesso.

Comandos SQL como DDL, SHOW e DESCRIBE agora são executados em tabelas com controle de acesso refinado usando clusters dedicados. Quando necessário para impor controles de acesso, Databricks encaminha esses comandos por meio compute serverless , assim como faz para leituras, mesclagens e acréscimos. Consulte a seção Suporte para DDL, SHOW, DESCRIBE e outros comandos.

Uso de memória reduzido para esquemas amplos no Photon Writer.

Foram feitas melhorias no mecanismo Photon que reduzem significativamente o uso de memória para esquemas amplos, resolvendo cenários que anteriormente resultavam em erros de falta de memória.

Suporte para a sintaxe TIMESTAMP SEM FUSO HORÁRIO

Agora você pode especificar TIMESTAMP WITHOUT TIME ZONE em vez de TIMESTAMP_NTZ. Essa alteração melhora a compatibilidade com o padrão SQL.

Mudanças comportamentais

• Problema de correlação de subconsulta resolvido
• Os literais de carimbo de data/hora NTZ não são mais empurrados para baixo.
• Erro gerado devido a restrições CHECK inválidas
• O conector Pulsar não expõe mais o Castelo Inflável
• Auto Loader usa eventos de arquivo por default , se disponíveis.
• Propriedades internas da tabela filtradas de SHOW CREATE TABLE
• Regras mais rígidas para transmissão-transmissão juntam-se em modo anexo
• O conector Teradata corrige a comparação de strings que diferencia maiúsculas de minúsculas.

Problema de correlação de subconsulta resolvido

O Databricks deixou de correlacionar incorretamente expressões agregadas semanticamente iguais entre uma subconsulta e sua consulta externa. Anteriormente, isso poderia levar a resultados de consulta incorretos.

Os literais de carimbo de data/hora NTZ não são mais empurrados para baixo.

Tanto para o conector Snowflake quanto para a Federação Snowflake Lakehouse, os literais TIMESTAMP_NTZ (timestamp sem fuso horário) não são mais enviados para o Snowflake. Essa alteração impede falhas de consulta causadas pelo tratamento incompatível de carimbos de data/hora e melhora a confiabilidade das consultas afetadas.

Erro gerado devido a restrições CHECK inválidas

O Databricks agora lança um AnalysisException se uma expressão de restrição CHECK não puder ser resolvida durante a validação da restrição.

O conector Pulsar não expõe mais o Castelo Inflável

A biblioteca Bouncy Castle agora está sombreada no conector Pulsar para evitar conflitos de classpath. Como resultado, Spark Job não pode mais acessar as classes org.bouncycastle.* do conector. Se o código da sua aplicação depende do Bouncy Castle, instale a biblioteca manualmente no seu cluster.

Auto Loader usa eventos de arquivo por default , se disponíveis.

O Auto Loader usa eventos de arquivo em vez de listagem de diretório quando o caminho de carregamento é um local externo com eventos de arquivo ativados. O default para useManagedFileEvents agora é if_available (era false). Isso pode melhorar o desempenho da ingestão e logs um aviso caso os eventos de arquivo ainda não estejam habilitados.

Propriedades internas da tabela filtradas de SHOW CREATE TABLE

SHOW CREATE TABLE não inclui mais propriedades internas que não podem ser definidas manualmente ou passadas para CREATE TABLE. Isso reduz a confusão e alinha a saída com as opções configuráveis pelo usuário.

Regras mais rígidas para transmissão-transmissão juntam-se em modo anexo

Databricks agora não permite consultas de transmissão no modo de acréscimo que utilizem uma join transmissão-transmissão seguida de agregação de janela, a menos que marcas d'água sejam definidas em ambos os lados. Consultas sem marcas d'água adequadas podem produzir resultados não finais, violando as garantias do modo de anexação.

O conector Teradata corrige a comparação de strings que diferencia maiúsculas de minúsculas.

O conector Teradata agora usa TMODE=ANSI como padrão, alinhando o comportamento de comparação de strings com Databricks , tornando-o sensível a maiúsculas e minúsculas. Essa alteração é configurável e não afeta os usuários existentes, a menos que eles optem por ativá-la.

Melhorias na biblioteca

• Biblioteca Python atualizada :

  • google-auth da versão 2.40.1 para a versão 2.40.0
  • mlflow-skinny da versão 3.0.0 para a 3.0.1
  • opentelemetry-api da versão 1.33.0 para a 1.32.1
  • opentelemetry-sdk da versão 1.33.0 para a 1.32.1
  • opentelemetry-semantic-conventions da versão 0.54b0 para a 0.53b1
  • embalagem de 24.1 a 24.2
  • pip de 24,2 para 25,0,1

• Biblioteca R atualizada :

• CLI da versão 3.6.4 para a 3.6.5

• curl de 6.2.1 para 6.4.0

• genéricos a partir de 0.1.3 para 0.1.4

• variáveis globais de 0.16.3 a 0.18.0

• openssl da versão 2.3.2 para a 2.3.3

• pilar de 1.10.1 para 1.11.0

• rlang da versão 1.1.5 para a 1.1.6

• Sparklyr da versão 1.9.0 para a 1.9.1

• stringi de 1.8.4 para 1.8.7

• tibble da versão 3.2.1 para a 3.3.0

• utf8 da versão 1.2.4 para a 1.2.6

• Biblioteca Java atualizada :

  • software.Amazon.cryptools.AmazonCorrettoCryptoProvider de 2.4.1-linux-x86_64 para 2.5.0-linux-x86_64

Apache Spark

O Databricks Runtime 17.1 inclui o Apache Spark 4.0.0. Esta versão inclui todas as correções e melhorias do Spark presentes na versão anterior, além das seguintes:

• SPARK-52721 Corrigir parâmetro de mensagem para CANNOT_PARSE_DATATYPE
• SPARK-51919 Permitir sobrescrever fonte de dados Python registrada estaticamente
• SPARK-52632 Reverter: Exibir formatação adequada dos nós do plano de escrita V2
• SPARK-52715 Strings SQL formatadas de TEMPO - INTERVALO DIA-HORA
• SPARK-51268 Tornar o TreeNode livre de bloqueios
• SPARK-52701 Corrigir a ampliação do tipo float32 em módulo com bool sob ANSI
• SPARK-52563 Corrigir bug de nomenclatura de variáveis em _assert_pandas_almost_equal
• SPARK-52541 Adicionar guia de programação para pipeline declarativo
• SPARK-51695 Corrige falhas de teste causadas pela alteração da sintaxe CHECK CONSTRAINT
• SPARK-52666 Mapear tipo definido pelo usuário para corrigir MutableValue em SpecificInternalRow
• SPARK-52660 Adicionar tipo de tempo ao CodeGenerator#javaClass
• SPARK-52693 Suporte para intervalos de tempo diurno ANSI +/- até/a partir de TIME
• SPARK-52705 Refatorar verificação determinística para expressões de agrupamento
• SPARK-52699 Suporte para agregação do tipo TIME no modo interpretado
• SPARK-52503 Corrigir problema de exclusão quando a coluna de entrada não existe.
• SPARK-52535 Melhorar a legibilidade do código da regra ApplyColumnarRulesAndInsertTransitions
• SPARK-52551 Adicionar um novo predicado v2 BOOLEAN_EXPRESSION
• SPARK-52698 Reverter: Melhorar as dicas de tipo para o módulo de fonte de dados
• SPARK-52684 Tornar o comando CACHE TABLE atômico ao encontrar erros de execução
• SPARK-52671 RowEncoder não deve consultar um UDT resolvido.
• SPARK-52670 Fazer o HiveResult funcionar com UserDefinedType#stringifyValue
• SPARK-52692 Suporte para armazenamento em cache do tipo TIME
• SPARK-51516 Suporte TIME pelo servidor Thrift
• SPARK-52674 Corrigir o uso de APIs obsoletas relacionadas a RandomStringUtils
• SPARK-51428 Atribuir aliases para árvores de expressão colhidas de forma determinística
• SPARK-52672 Não substitua expressões de classificação/existência por aliases se a expressão já existir em Agregado.
• SPARK-52618 Conversão de TIME(n) para TIME(m)
• SPARK-52656 Corrigir current_time()
• SPARK-52630 Reorganizar o código e os diretórios de gerenciamento de operadoras e estados de transmissão
• SPARK-52649 Remover aliases antes de corresponder às expressões Sort/Having/Filter em buildAggExprList
• SPARK-52578 Adicionar métricas para linhas para rastrear casos e ações em MergeRowsExec
• SPARK-49428 Mover o cliente Scala Connect do conector para o SQL
• SPARK-52494 Suporte à sintaxe do operador de dois pontos para acessar campos Variant
• SPARK-52642 Use daemonWorkers.get(worker) para evitar dessincronização inesperada entre idleWorkers e daemonWorkers
• SPARK-52570 Habilitar divisão por zero para rmod numérico com ANSI habilitado
• SPARK-52633 Remover duplicatas da saída de filhos de união única antes de DeduplicateRelations
• SPARK-52600 Mover CompletionIterator para common/utils
• SPARK-52626 Permitir agrupamento por tipo de tempo
• SPARK-52395 Falha na tarefa do reducer imediatamente quando a solicitação de busca do Prism falha
• SPARK-52596 Tente criar um TIMESTAMP_NTZ a partir de DATA e HORA
• SPARK-52595 Renomeie a expressão TimeAdd para TimestampAddInterval
• SPARK-52586 Introduzir AnyTimeType
• SPARK-52583 Adicionar API de desenvolvedor para converter valores em strings em UserDefinedType
• SPARK-52354 Adicionar coerção de tipo ao UnionLoop
• SPARK-52579 Configurar despejo periódico de rastreamento para o trabalhador Python
• SPARK-52456 Reduzir o limite mínimo de spark.eventLog.rolling.maxFileSize
• SPARK-52536 Defina o diretório de extração do AsyncProfilerLoader para o diretório local do Spark.
• SPARK-52405 Estender o teste V2JDBC para testar a leitura de múltiplas partições.
• SPARK-52303 Promover ExternalCommandRunner para a versão estável
• SPARK-52572 Evitar CAST_INVALID_INPUT de DataFrame.isin no modo ANSI
• SPARK-52349 Habilitar testes de divisão booleana com ANSI habilitado
• SPARK-52402 Corrige erros de divisão por zero na correlação de Kendall e Pearson no modo ANSI
• SPARK-52356 Habilitar divisão por zero para operações booleanas mod/rmod com ANSI habilitado
• SPARK-52288 Evitar INVALID_ARRAY_INDEX em split/rsplit quando o modo ANSI estiver ativado
• SPARK-52557 Evitar CAST_INVALID_INPUT de to_numeric(errors='coerce') no modo ANSI
• SPARK-52440 Adicionar instalação extra Python para pipeline declarativo
• SPARK-52569 Corrigir a exceção de conversão de classe em SecondsOfTimeWithFraction
• SPARK-52540 Criar TIMESTAMP_NTZ a partir de DATA e HORA
• SPARK-52539 Introduzir ganchos de sessão
• SPARK-52554 Evitar múltiplas viagens de ida e volta para verificação de configuração no Spark Connect
• SPARK-52553 Corrigir NumberFormatException ao ler o changelog da v1
• SPARK-52534 Tornar MLCache e MLHandler thread-safe
• SPARK-52460 Armazena valores de TEMPO internos em nanossegundos
• SPARK-52482 Suporte padrão para leitor de arquivo fonte de dados
• SPARK-52531 A referência externa no agregado da subconsulta está incorretamente vinculada ao agregado da consulta externa.
• SPARK-52339 Corrigir comparação de instâncias de InMemoryFileIndex
• SPARK-52418 Adicionar uma variável de estado noElements ao PercentileHeap para evitar cálculos repetitivos de isEmpty().
• SPARK-52537 Imprimir rastreamento de pilha em caso de falha ao criar diretório temporário
• SPARK-52462 Impor coerção de tipo antes da desduplicação de saída dos filhos em União
• SPARK-52528 Habilitar divisão por zero para módulo numérico com ANSI habilitado
• SPARK-52458 Suporte para spark.eventLog.excludedPatterns
• SPARK-52493 Suporte para TIMESTAMP SEM FUSO HORÁRIO
• SPARK-51563 Suporte para o nome de tipo totalmente qualificado TIME(n) SEM FUSO HORÁRIO
• SPARK-52450 Melhorar o desempenho da cópia profunda de esquemas
• SPARK-52519 Habilitar divisão por zero para floordiv numérico com ANSI habilitado
• SPARK-52489 Proibir manipuladores duplicados de SQLEXCEPTION e NOT FOUND dentro de um script SQL.
• SPARK-52488 Remover alias antes de envolver referências externas em HAVING
• SPARK-52383 Melhorar erros no SparkConnectPlanner
• SPARK-52335 Unificar o erro de contagem de buckets inválidos para Connect e Classic.
• SPARK-52337 Tornar InvalidPlanInput um erro visível para o usuário
• SPARK-52312 Ignorar V2WriteCommand ao armazenar DataFrame em cache
• SPARK-52487 Adicionar horário e duração de envio da etapa aos detalhes da página da etapa
• SPARK-52433 Unificar a coerção de strings em createDataFrame
• SPARK-52427 Normalizar a lista de expressões agregadas abrangidas por um projeto
• SPARK-51745 Impor a Máquina de Estados para o RocksDBStateStore
• SPARK-52447 Mover a normalização GetViewColumnByNameAndOrdinal para SessionCatalogSuite
• SPARK-52397 ExecutePlan Idempotente: segundo ExecutePlan com o mesmo operationId e plano se reconecta
• SPARK-52355 Inferir o tipo de objeto VariantVal como VariantType ao criar um DataFrame
• SPARK-52425 Refatorar ExtractValue para reutilização em implementação de passagem única
• SPARK-52249 Habilitar divisão por zero para truediv numérico com ANSI habilitado
• SPARK-52228 Integrar o microbenchmark de interação de estado no Quicksilver (TCP)
• SPARK-48356 Melhorar a inferência do esquema de colunas da instrução FOR
• SPARK-48353 Melhorias no tratamento de exceções
• SPARK-52060 Criar nó OneRowRelationExec
• SPARK-52391 Refatorar funções/variáveis TransformWithStateExec em uma classe base para Scala e Python
• SPARK-52218 Tornar as funções de data e hora atuais avaliáveis novamente
• SPARK-52350 Corrigir link para o guia de programação SS na versão 4.0
• SPARK-52385 Remover TempResolvedColumns do nome InheritAnalysisRules
• SPARK-52392 Nova funcionalidade de analisador de passagem única
• SPARK-52243 Adicionar suporte NERF para erros InvalidPlanInput relacionados ao esquema
• SPARK-52338 Herdar a ordenação default do esquema para a visualização
• SPARK-52307 Suporte para UDF de iterador de seta escalar
• SPARK-52300 Fazer com que a resolução UDTVF SQL use configurações consistentes com a resolução view
• SPARK-52219 Suporte para agrupamento em nível de esquema para tabelas
• SPARK-52272 V2SessionCatalog não altera o esquema no catálogo do Hive
• SPARK-51890 Adicionar parâmetro options à visualização do Plano Lógico
• SPARK-51936 ReplaceTableAsSelect deve sobrescrever a nova tabela em vez de anexá-la.
• SPARK-51302 O Spark Connect oferece suporte a JDBC e deve usar a API DataFrameReader.
• SPARK-50137 Evitar fallback a métodos incompatíveis com o Hive em caso de falha na criação de tabelas
• SPARK-52184 Encapsular erros de sintaxe JDBC de mecanismos externos com uma exceção unificada
• SPARK-47618 Usar o Magic Committer para todos os buckets S3 por default
• SPARK-52305 Aprimorar a docstring para isnotnull, equal_null, nullif, nullifzero, nvl, nvl2, zeroifnull
• SPARK-52174 Ativar spark.checkpoint.compress por default
• SPARK-52224 Introduzir pyyaml como uma dependência para o cliente Python
• SPARK-52233 Corrigir map_zip_with para tipos de ponto flutuante
• SPARK-52036 Adicionar trait SQLConfHelper ao v2.FileScan
• SPARK-52159 Remover condição muito ampla para o dialeto MariaDB
• SPARK-50104 Suporte para SparkSession.executeCommand no Connect
• SPARK-52240 Correção no uso do índice de linha ao explodir arrays compactados em um leitor vetorizado.
• SPARK-52153 Correção de from_json e to_json com variante
• SPARK-48618 Melhorar o teste de inexistência para verificar nomes de 3 e 2 partes.
• SPARK-52216 Tornar InvalidCommandInput um erro visível para o usuário
• SPARK-52299 Substituir JsonNode.fields obsoleto
• SPARK-52287 Melhorar o SparkContext para que ele não seja preenchido com oasinternal.io.cloud.* configuração se não existir
• SPARK-51430 Impedir que o logger de contexto do PySpark propague logs para stdout
• SPARK-52278 Suporte UDF de seta escalar para argumentos nomeados
• SPARK-52026 Bloquear API Pandas no Spark no modo ANSI por default
• SPARK-52171 Implementação join do StateDataSource para estado v3
• SPARK-52159 Lidar corretamente com a verificação de existência de tabelas para dialetos JDBC
• SPARK-52158 Adicionar objeto InvalidInputErrors para centralizar erros no SparkConnectPlanner
• SPARK-52195 Corrige problema de remoção da coluna de estado inicial para Python TWS
• SPARK-52211 Remover sufixo $ do log de informações do SparkConnectServer
• SPARK-52239 Suporte para registrar uma UDFde seta
• SPARK-52215 Implementar UDF de seta escalar
• Correção para SPARK-52188 no caso de StateDataSource onde StreamExecution.RUN_ID_KEY não está definido.
• SPARK-52189 Novos testes de arquivo padrão para junção NATURAL com GROUP BY, HAVING, ORDER BY e LCAs
• SPARK-52079 Normalizar a ordem dos atributos nas listas internas do projeto
• SPARK-52234 Corrigir erro na entrada de dados que não sejam strings para schema_of_csv/xml
• SPARK-52221 Refatorar o SqlScriptingLocalVariableManager para um gerenciador de contexto mais genérico
• SPARK-52181 Aumentar o limite de tamanho da variante para 128 MiB
• SPARK-52217 Ignorar validação de referência externa em Filtro no resolvedor de passagem única
• SPARK-51260 Mover V2ExpressionBuilder e PushableExpression para o módulo Catalyst
• SPARK-52156 Colocar o provedor legado CREATE TEMPORARY TABLE ... USING sob a flag
• SPARK-51012 Remover SparkStrategy dos Connect Shims
• SPARK-52109 Adicionar API listTableSummaries à APIde catálogo de tabelas V2 da fonte de dados
• SPARK-50915 Adicionar getCondition e descontinuar getErrorClass em PySparkException
• SPARK-52022 Adicionar verificação no método default para SparkThrowable.getQueryContext
• SPARK-51147 Refatore classes relacionadas à transmissão para um diretório de transmissão dedicado
• SPARK-52120 Passe a sessão para o ConnectHelper
• SPARK-52021 Padrões de operador e expressão separados
• SPARK-51722 Remover a origem "stop" da ParseException
• SPARK-52096 Erro de asserção de deslocamento de origem do Kafka na reclassificação
• SPARK-51985 Remover Experimental da Fonte Acumuladora
• SPARK-51156 Suporte para autenticação com tokens estáticos no Spark Connect
• SPARK-52157 Usar nome de computação anterior para OuterReference em resolvedor de passagem única
• SPARK-52100 Habilitar a sobreposição do limite de nível de recursão na sintaxe
• SPARK-51605 Crie o diretório pai antes de modificar o arquivo de log.
• SPARK-52127 Comprimir o protocolo de MapState chave/VALORES/ITERATOR para transformWithState em PySpark
• SPARK-52040 ResolveLateralColumnAliasReference deve manter o ID do plano
• SPARK-51638 Correção para a obtenção de blocos RDD armazenados em disco remoto por meio de serviço de embaralhamento externo
• SPARK-51983 Preparar o ambiente de teste para API Pandas no Spark com o modo ANSI ativado
• SPARK-52087 Adicionar cópia de tags e origem ao AliasHelper.trimNonTopLevelAliases
• SPARK-51210 Adicionar --enable-native-access=ALL-UNNAMED às opções do Java para Java 24+
• SPARK-52052 Adicionar .broadcast no objeto complementar de SerializableConfiguration
• SPARK-51823 Adicionar configuração para não persistir armazenamento do estado no executor
• SPARK-51291 Reclassificar erros de validação gerados pelo armazenamento do estado loading
• SPARK-52006 Excluir o acumulador CollectMetricsExec da Spark UI + logs de eventos + métricas de pulsação
• SPARK-52076 Fecha explicitamente o ExecutePlanResponseReattachableIterator após o uso.
• SPARK-51428 Atribuir aliases para árvores de expressão colhidas de forma determinística
• SPARK-52079 Normalizar a ordem dos atributos nas listas internas do projeto
• SPARK-52033 Correção de bug na geração de nós, onde a saída do nó filho pode ter múltiplas cópias do mesmo atributo.
• SPARK-51428 Atribuir aliases para árvores de expressão colhidas de forma determinística
• SPARK-52055 Suprimir a exceção em ExecutePlanResponseReattachableIterator. del
• SPARK-51921 Usar tipo longo para duração TTL em milissegundos em transformWithState
• SPARK-50763 Adicionar regra do Analyzer para resolução de funções de tabela SQL
• SPARK-51884 Adicionar atributos de escopo externo para SubqueryExpression
• SPARK-50762 Adicionar regra de analisador para resolução de UDFs escalares SQL
• SPARK-51814 Utiliza list(self) em vez de StructType.fields para compatibilidade com versões antigas.
• SPARK-51537 Construir o carregador de classes específico da sessão com base no carregador de classes de sessão default no executor
• SPARK-50777 Remover métodos init/destroy redundantes e sem efeito das classes Filter
• SPARK-51691 O SerializationDebugger deve ignorar a exceção ao tentar encontrar a causa do problema de serialização.
• SPARK-51386 Atribuir nome às condições de erro _LEGACY_ERROR_TEMP_3300-3302
• SPARK-50734 Adicionar API de catálogo para criação e registro de UDFs SQL
• SPARK-51989 Adicionar subclasses de filtro ausentes à lista completa na fonte de dados
• SPARK-52037 A ordem nas listas internas de projetos da ACV deve respeitar a ordem na lista original do projeto.
• SPARK-52007 Os IDs de expressão não devem estar presentes em expressões de agrupamento ao usar conjuntos de agrupamento.
• SPARK-51860 Desativar spark.connect.grpc.debug.enabled por default
• SPARK-47952 Suporte para recuperar programaticamente o endereço e a porta GRPC reais do SparkConnectService ao executar no Yarn.
• SPARK-50906 Adicionar verificação de nulidade para verificar se as entradas de to_avro estão alinhadas com o esquema
• SPARK-50581 corrige o suporte para UDAF em dataset.observe()
• SPARK-49946 Requer uma classe de erro em SparkOutOfMemoryError
• SPARK-49748 Adicionar getCondition e descontinuar getErrorClass em SparkThrowable
• SPARK-51959 Fazer com que as funções não importem ParentDataFrame
• SPARK-51964 Resolver corretamente os atributos da saída oculta em ORDER BY e HAVING em cima de um Aggregate no analisador de passagem única
• SPARK-49942 Renomeie errorClass para condition em classifyException()
• SPARK-51963 Simplificar IndexToString.transform
• SPARK-51946 Falha prematura ao criar tabela de fonte de dados incompatível com o Hive com 'col' sendo um nome de partição.
• SPARK-51553 Modificar EXTRACT para suportar o tipo de dados TIME
• SPARK-51891 Comprimir o protocolo ListState GET / PUT / APPENDLIST para transformWithState em PySpark
• SPARK-51931 Adicionar maxBytesPerOutputBatch para limitar o número de bytes dos lotes de saída do Arrow.
• SPARK-51441 Adicionar APIs DSv2 para restrições
• SPARK-51814 Use RecordBatch.schema.names em vez de column_names para compatibilidade com versões antigas do pyarrow.
• SPARK-51913 JDBCTableCatalog#loadTable deveria retornar corretamente o erro "tabela não encontrada"
• SPARK-51840 Restaurar colunas de partição em HiveExternalCatalog#alterTable
• SPARK-51414 Adicionar a função make_time()
• SPARK-49700 Interface Scala Unificada para Connect e Classic
• SPARK-51914 Adicionar com.mysql.cj ao spark.sql.Hive Hive metastore.sharedPrefixes
• SPARK-51827 Suporte ao Spark Connect em transformWithState no PySpark
• SPARK-51901 Proibir funções geradoras em conjuntos de agrupamento
• SPARK-51423 Adicionar a função current_time() para o tipo de dados TIME
• SPARK-51680 Defina o tipo lógico para TIME no gravador Parquet.
• SPARK-51889 Corrige um bug no método clear() do MapState em Python TWS.
• SPARK-51869 Criar classificação para erros do usuário em UDFs para Scala TransformWithState
• SPARK-51878 Melhorar fillDefaultValue executando a expressão default dobrável.
• SPARK-51757 Corrigir o deslocamento da função LEAD/LAG que excede o tamanho do grupo de janelas
• SPARK-51805 A função get com argumento incorreto deve lançar uma exceção apropriada em vez de uma exceção interna.
• SPARK-51900: Lançar corretamente a mensagem de incompatibilidade de tipo de dados no analisador de passagem única.
• SPARK-51421 Obter segundos do tipo de dados TIME
• SPARK-51661 Descoberta de partições de valores da coluna TIME
• SPARK-51687 Filtros pushdown com valores de TEMPO para Parquet
• SPARK-51419 Obter horas do tipo de dados TIME
• SPARK-51881 Tornar AvroOptions comparáveis
• SPARK-51861 Remover informações duplicadas/desnecessárias do detalhe do plano InMemoryRelation
• SPARK-51814 Introduz uma nova API transformWithState no PySpark
• SPARK-51779 Usar famílias de colunas virtuais para junção transmissão-transmissão
• SPARK-51649 Escritas/leituras dinâmicas de partições TIME
• SPARK-51634 Suporte para TIME em vetores de coluna fora do heap
• SPARK-51877 Adicionar funções 'chr', 'random' e 'uuid'
• SPARK-51610 Suporte ao tipo de dados TIME na fonte de dados Parquet.
• SPARK-51420 Obter minutos do tipo de dados TIME
• SPARK-51822 Lançamento de erro classificado quando funções não permitidas são chamadas durante StatefulProcessor.init()
• SPARK-51868 Mover a validação de coerção de tipo para um objeto separado
• SPARK-49747 Migrar arquivos connect/ para registro estruturado

Suporte a drivers ODBC/JDBC da Databricks

O Databricks oferece suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers lançados recentemente e atualização (download ODBC, download JDBC).

Atualizações de manutenção

Consulte as atualizações de manutenção do Databricks Runtime 17.1.

Ambiente do sistema

• Sistema Operacional : Ubuntu 24.04.2 LTS
• Java : Zulu17.58+21-CA
• Scala : 2.13.16
• Python : 3.12.3
• R : 4.4.2
• Delta Lake : 4.0.0

Biblioteca Python instalada

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
tipos de anotar	0.7.0	anyio	4.6.2	argônio2-cffi	21.3.0
ligações argon2-cffi	21.2.0	seta	1.3.0	tokens de asto	2.0.5
astunparse	1.6.3	async-lru	2.0.4	atributos	24.3.0
autocomando	2.2.2	azure-comum	1.1.28	azure-core	1.34.0
identidade-azure	1.20.0	azure-mgmt-core	1.5.0	azure-mgmt-web	8.0.0
azure-storage-blob	12.23.0	azure-storage-file-datalake	12.17.0	Babel	2.16.0
backports.tarfile	1.2.0	sopa bonita4	4.12.3	preto	24.10.0
água sanitária	6.2.0	pisca-pisca	1.7.0	boto3	1.36.2
botocore	1.36.3	ferramentas de cache	5.5.1	certificar	2025.1.31
cffi	1.17.1	chardet	4.0.0	normalizador de conjunto de caracteres	3.3.2
clique	8.1.7	picles de nuvem	3.0.0	comunicação	0.2.1
contornado	1.3.1	criptografia	43.0.3	ciclista	0.11.0
Cython	3.0.12	databricks-sdk	0.49.0	dbus-Python	1.3.2
debugpy	1.8.11	decorador	5.1.1	defusedxml	0.7.1
Descontinuado	1.2.13	biblioteca dist	0.3.9	docstring-to-markdown	0,11
executando	0.8.3	visão geral das facetas	1.1.1	fastapi	0.115.12
fastjsonschema	2.21.1	bloqueio de arquivo	3.18.0	ferramentas de fonte	4.55.3
fqdn	1.5.1	especificação de fs	2023.5.0	gitdb	4.0.11
GitPython	3.1.43	núcleo da API do Google	2.20.0	autenticação do Google	2.40.0
google-cloud-core	2.4.3	Google Cloud Storage	3.1.0	google-crc32c	1.7.1
mídia resumível do Google	2.7.2	googleapis-common-protos	1.65.0	grpcio	1.67.0
status-grupo	1.67.0	h11	0.14.0	httpcore	1.0.2
httplib2	0.20.4	httpx	0.27.0	idna	3.7
importlib-metadata	6.6.0	importlib_resources	6.4.0	flexionar	7.3.1
iniconfig	1.1.1	ipyflow-core	0,0,209	ipykernel	6.29.5
ipython	8.30.0	ipython-genutils	0.2.0	ipywidgets	7.8.1
isodato	0.6.1	isoduração	20.11.0	jaraco.context	5.3.0
jaraco.functools	4.0.1	jaraco.text	3.12.1	jedi	0.19.2
Jinja2	3.1.5	jmespath	1.0.1	joblib	1.4.2
json5	0.9.25	ponteiro json	3.0.0	esquema JSON	4.23.0
especificações-jsonschema	2023.7.1	eventos jupyter	0.10.0	jupyter-lsp	2.2.0
cliente jupyter	8.6.3	jupyter_core	5.7.2	servidor jupyter	2.14.1
jupyter_server_terminais	0.4.4	JupyterLab	4.3.4	jupyterlab-pygments	0.1.2
widgets do JupyterLab	1.0.0	servidor jupyterlab	2.27.3	kiwisolver	1.4.8
launchpadlib	1.11.0	lazr.restfulclient	0.14.6	lazr.uri	1.0.6
markdown-it-py	2.2.0	MarkupSafe	3.0.2	Matplotlib	3.10.0
matplotlib-inline	0.1.7	McCabe	0.7.0	mdurl	0.1.0
desafinação	2.0.4	mlflow-magro	3.0.1	mmh3	5.1.0
mais-itertools	10.3.0	msal	1.32.3	extensões msal	1.3.1
mypy-extensões	1.0.0	nbclient	0.8.0	nbconvert	7.16.4
nbformato	5.10.4	ninho-asyncio	1.6.0	ambiente nodeenv	1.9.1
notebook	7.3.2	notebook_shim	0.2.3	numpy	2.1.3
oauthlib	3.2.2	API de telemetria aberta	1.32.1	opentelemetry-sdk	1.32.1
convenções-semânticas-de-telemetria-abertas	0,53b1	substituições	7.4.0	embalagem	24.2
Pandas	2.2.3	pandocfilters	1.5.0	parso	0.8.4
especificação de caminho	0.10.3	Patsy	1.0.1	pexpect	4.8.0
travesseiro	11.1.0	pip	25.0.1	diretórios de plataforma	3.10.0
Plotly	5.24.1	pluggy	1.5.0	cliente prometheus	0.21.0
kit de ferramentas de prompt	3.0.43	proto-plus	1.26.1	protobuf	5.29.4
psutil	5.9.0	psycopg2	2.9.3	ptyprocess	0.7.0
avaliação pura	0.2.2	pyarrow	19.0.1	pyasn1	0.4.8
módulos pyasn1	0.2.8	Pyccolo	0,0,71	pycparser	2.21
pydântico	2.10.6	núcleo_pydantic	2.27.2	pyflakes	3.2.0
Pigmentos	2.15.1	PyGObject	3.48.2	pyiceberg	0.9.0
PyJWT	2.10.1	pyodbc	5.2.0	pyparsing	3.2.0
pyright	1.1.394	pytest	8.3.5	Python-dateutil	2.9.0.post0
Python-JSON- logger	3.2.1	Python-lsp-jsonrpc	1.1.2	Python- servidor lsp	1.12.0
pytoolconfig	1.2.6	pytz	2024.1	PyYAML	6.0.2
pyzmq	26.2.0	referenciando	0.30.2	solicitações	2.32.3
validador rfc3339	0.1.4	validador rfc3986	0.1.1	rico	13.9.4
corda	1.12.0	rpds-py	0.22.3	rsa	4.9.1
s3transfer	0.11.3	scikit-learn	1.6.1	scipy	1.15.1
nascido no mar	0.13.2	Send2Trash	1.8.2	ferramentas de configuração	74.0.0
seis	1.16.0	mapa de memória	5.0.0	sniffio	1.3.0
contêineres classificados	2.4.0	peneira de sopa	2,5	sqlparse	0.5.3
ssh-import-id	5.11	dados de pilha	0.2.0	estrelinha	0.46.2
modelos estatísticos	0.14.4	strictyaml	1.7.3	tenacidade	9.0.0
terminado	0.17.1	threadpoolctl	3.5.0	tinycss2	1.4.0
tokenize_rt	6.1.0	tomli	2.0.1	tornado	6.4.2
traços	5.14.3	guarda tipográfica	4.3.0	tipos-Python-dateutil	2.9.0.20241206
extensões_de_digitação	4.12.2	tzdata	2024.1	ujson	5.10.0
atualizações não assistidas	0,1	uri-padrão	1.3.0	urllib3	2.3.0
uvicórnio	0.34.2	ambiente virtual	20.29.3	wadllib	1.3.6
largura do wc	0.2.5	cores da web	24.11.1	codificações web	0.5.1
cliente websocket	1.8.0	whatthepatch	1.0.2	Python wheel	0.45.1
widgetsnbextension	3.6.6	embrulhado	1.17.0	yapf	0.40.2
zíper	3.21.0

Biblioteca R instalada

A biblioteca R foi instalada a partir do snapshot CRAN do Posit pacote Manager em 20/03/2025.

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
seta	19.0.1	askpass	1.2.1	afirmar que	0.2.1
backports	1.5.0	base	4.4.2	base64enc	0,1-3
bigD	0.3.0	pedaço	4.6.0	bit64	4.6.0-1
bitops	1.0-9	bolha	1.2.4	bota	1.3-30
cerveja	1,0-10	brio	1.1.5	vassoura	1.0.7
bslib	0.9.0	cachem	1.1.0	chamador	3.7.6
acento circunflexo	7.0-1	guarda-celular	1.1.0	cronologia	2.3-62
Aula	7.3-22	CLIPE	3.6.5	cortador	0.8.0
relógio	0.7.2	Cluster	2.1.6	ferramentas de código	0,2-20
espaço de cores	2.1-1	marca comum	1.9.5	compilador	4.4.2
configuração	0.3.2	em conflito	1.2.0	cpp11	0.5.2
giz de cera	1.5.3	Credenciais	2.0.2	cachos	6.4.0
tabela de dados	1.17.0	conjunto de dados	4.4.2	DBI	1.2.3
dbplyr	2.5.0	descrição	1.4.3	ferramentas de desenvolvedor	2.4.5
diagrama	1.6.5	diffobj	0.3.5	digerir	0.6.37
iluminação descendente	0.4.4	dplyr	1.1.4	dtplyr	1.3.1
e1071	1.7-16	elipse	0.3.2	avaliar	1.0.3
fã	1.0.6	farver	2.1.2	mapa rápido	1.2.0
fonte incrível	0.5.3	para gatos	1.0.0	para cada	1.5.2
Externo	0,8-86	forja	0.2.0	fs	1.6.5
futuro	1.34.0	futuro.aplicar	1.11.3	gargarejo	1.5.2
genéricos	0.1.4	gert	2.1.4	ggplot2	3.5.1
gh	1.4.1	git2r	0.35.0	gitcreds	0.1.2
glmnet	4.1-8	globais	0.18.0	cola	1.8.0
Google Drive	2.1.1	googlesheets4	1.1.1	Gower	1.0.2
gráficos	4.4.2	grDevices	4.4.2	grade	4.4.2
gradeExtra	2.3	gsubfn	0,7	gt	0.11.1
gtable	0.3.6	capacete	1.4.1	refúgio	2.5.4
mais alto	0,11	HMS	1.1.3	htmltools	0.5.8.1
htmlwidgets	1.6.4	httpuv	1.6.15	httr	1.4.7
httr2	1.1.1	IDs	1.0.1	ini	0.3.1
ipred	0,9-15	isoband	0.2.7	iteradores	1.0.14
jquerylib	0.1.4	jsonlite	1.9.1	suco suculento	0.1.0
KernSmooth	2.23-22	tricoteira	1,50	rótulo do rótulo	0.4.3
mais tarde	1.4.1	treliça	0,22-5	lava	1.8.1
vida útil	1.0.4	ouça	0.9.1	lubrificar	1.9.4
magrittr	2.0.3	Markdown	1.13	MASSA	7.3-60.0.1
Matriz	1,6-5	memória	2.0.1	métodos	4.4.2
mgcv	1.9-1	mímica	0,13	miniUI	0.1.1.1
MLflow	2.20.4	Métricas do Modelo	1.2.2.2	modelador	0.1.11
Munsell	0.5.1	nlme	3.1-164	nnet	7.3-19
numDerivado	2016.8-1.1	openssl	2.3.3	paralelo	4.4.2
em paralelo	1.42.0	pilar	1.11.0	pkgbuild	1.4.6
pkgconfig	2.0.3	pacote	2.1.1	pacote	1.4.0
plogr	0.2.0	alicate	1.8.9	louvar	1.0.0
unidades bonitas	1.2.0	pROC	1.18.5	processox	3.8.6
prodlim	25/06/2024	profvis	0.4.0	progresso	1.2.3
progressista	0.15.1	promessas	1.3.2	protótipo	1.0.0
proxy	0,4-27	ps	1.9.0	ronronar	1.0.4
R6	2.6.1	trapo	1.3.3	floresta aleatória	4,7-1,2
rappdirs	0.3.3	rcmdcheck	1.4.0	RColorBrewer	1.1-3
Rcpp	1.0.14	RcppEigen	0.3.4.0.2	reativo	0.4.4
reactR	0.6.1	leitor	2.1.5	readxl	1.4.5
receitas	1.2.0	revanche	2.0.0	revanche2	2.1.2
controles remotos	2.5.0	reprex	2.1.1	remodelar2	1.4.4
rlang	1.1.6	rmarkdown	2.29	RODBC	1.3-26
roxygen2	7.3.2	rpart	4.1.23	rprojroot	2.0.4
Reserve	1,8-15	RSQLite	2.3.9	rstudioapi	0.17.1
rversions	2.1.2	colheita	1.0.4	atrevimento	0.4.9
escala	1.3.0	seletor	0,4-2	informações da sessão	1.2.3
forma	1.4.6.1	brilhante	1.10.0	ferramentas de origem	0.1.7-1
Sparklyr	1.9.1	SparkR	4.0.0	esparsos	0.3.1
espacial	7.3-17	splines	4.4.2	sqldf	0,4-11
QUADRADO	2021.1	estatísticas	4.4.2	estatísticas4	4.4.2
stringi	1.8.7	stringr	1.5.1	sobrevivência	3,5-8
arrogância	5.17.14.1	sistema	3.4.3	fontes do sistema	1.2.1
tcltk	4.4.2	teste que	3.2.3	formatação de texto	1.0.0
tibble	3.3.0	mais organizado	1.3.1	tidyselect	1.2.1
tidyverse	2.0.0	mudança de horário	0.3.0	horaData	4041.110
tinytex	0,56	Ferramentas	4.4.2	tzdb	0.5.0
verificador de url	1.0.1	usethis	3.1.0	utf8	1.2.6
utilitários	4.4.2	uuid	1.2-1	V8	6.0.2
vctrs	0.6.5	viridisLite	0.4.2	vrum	1.6.5
Waldo	0.6.1	bigode	0.4.1	com	3.0.2
xfun	0,51	xml2	1.3.8	xopen	1.0.1
tabela cruzada	1,8-4	yaml	2.3.10	fanático	0.1.0
zíper	2.3.2

Bibliotecas Java e Scala instaladas (Scala versão cluster 2.13)

ID do grupo	ID do artefato	Versão
formiga	formiga	2.7.7
com.amazonaws	Amazon- cliente Kinesis	1.12.0
com.amazonaws	aws-java-sdk-autoscale	1.12.638
com.amazonaws	aws-java-sdk-cloudformation	1.12.638
com.amazonaws	aws-java-sdk-cloudfront	1.12.638
com.amazonaws	aws-java-sdk-cloudhsm	1.12.638
com.amazonaws	aws-java-sdk-cloudsearch	1.12.638
com.amazonaws	aws-java-sdk-cloudtrail	1.12.638
com.amazonaws	aws-java-sdk-cloudwatch	1.12.638
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.638
com.amazonaws	aws-java-sdk-codedeploy	1.12.638
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.638
com.amazonaws	aws-java-sdk-cognitosync	1.12.638
com.amazonaws	aws-java-sdk-config	1.12.638
com.amazonaws	aws-java-sdk-core	1.12.638
com.amazonaws	aws-java-sdk-datapipeline	1.12.638
com.amazonaws	aws-java-sdk-directconnect	1.12.638
com.amazonaws	diretório aws-java-sdk	1.12.638
com.amazonaws	aws-java-sdk-dynamodb	1.12.638
com.amazonaws	aws-java-sdk-ec2	1.12.638
com.amazonaws	aws-java-sdk-ecs	1.12.638
com.amazonaws	aws-java-sdk-efs	1.12.638
com.amazonaws	aws-java-sdk-elasticache	1.12.638
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.638
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.638
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.638
com.amazonaws	aws-java-sdk-emr	1.12.638
com.amazonaws	aws-java-sdk-glacier	1.12.638
com.amazonaws	aws-java-sdk-glue	1.12.638
com.amazonaws	aws-java-sdk-iam	1.12.638
com.amazonaws	aws-java-sdk-importar/exportar	1.12.638
com.amazonaws	aws-java-sdk-kinesis	1.12.638
com.amazonaws	aws-java-sdk-kms	1.12.638
com.amazonaws	aws-java-sdk-lambda	1.12.638
com.amazonaws	aws-java-sdk-logs	1.12.638
com.amazonaws	aws-java-sdk-machinelearning	1.12.638
com.amazonaws	aws-java-sdk-opsworks	1.12.638
com.amazonaws	aws-java-sdk-rds	1.12.638
com.amazonaws	aws-java-sdk-redshift	1.12.638
com.amazonaws	aws-java-sdk-route53	1.12.638
com.amazonaws	aws-java-sdk-s3	1.12.638
com.amazonaws	aws-java-sdk-ses	1.12.638
com.amazonaws	aws-java-sdk-simpledb	1.12.638
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.638
com.amazonaws	aws-java-sdk-sns	1.12.638
com.amazonaws	aws-java-sdk-sqs	1.12.638
com.amazonaws	aws-java-sdk-ssm	1.12.638
com.amazonaws	aws-java-sdk-storagegateway	1.12.638
com.amazonaws	aws-java-sdk-sts	1.12.638
com.amazonaws	suporte aws-java-sdk	1.12.638
com.amazonaws	aws-java-sdk-swf-biblioteca	1.11.22
com.amazonaws	aws-java-sdk-workspace	1.12.638
com.amazonaws	jmespath-java	1.12.638
com.clearspring.analítica	transmissão	2.9.8
com.databricks	Reserve	1,8-3
com.databricks	databricks-sdk-java	0.27.0
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	scalapb-runtime_2.13	0.4.15-11
com.esotericsoftware	sombreado por crio	4.0.3
com.esotericsoftware	minlog	1.3.0
com.fasterxml	colega	1.5.1
com.fasterxml.jackson.core	anotação de Jackson	2.18.2
com.fasterxml.jackson.core	núcleo de Jackson	2.18.2
com.fasterxml.jackson.core	jackson-datab	2.18.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.18.2
com.fasterxml.jackson.dataformat	jackson-dataformat-yaml	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.18.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.18.2
com.fasterxml.jackson.module	jackson-módulo-paranomer	2.18.2
com.fasterxml.jackson.module	jackson-módulo-scala_2.13	2.18.2
com.github.ben-manes.caffeine	cafeína	2.9.3
com.github.blemale	scaffaceine_2.13	4.1.0
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	referência nativa-java	1.1
com.github.fommil.netlib	referência nativa-java	1.1-nativos
com.github.fommil.netlib	sistema nativo-java	1.1
com.github.fommil.netlib	sistema nativo-java	1.1-nativos
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1-nativos
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1-nativos
com.github.luben	zstd-jni	1.5.6-10
com.github.virtuald	curvassap	1.08
com.github.wendykierp	JTransforms	3.1
com.google.api.grpc	proto-google-protos-comuns	2.5.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.11.0
com.google.crypto.tink	tinir	1.16.0
com.google.propensoaerros	anotações_propensas_a_erros	2.36.0
com.google.flatbuffers	flatbuffers-java	24.3.25
com.google.guava	falha de acesso	1.0.2
com.google.guava	goiaba	33.4.0-jre
com.google.guava	futuro audível	9999.0-vazio-para-evitar-conflito-com-goiaba
com.google.j2objc	j2objc-anotação	3.0.0
com.google.protobuf	protobuf-java	3.25.5
com.google.protobuf	protobuf-java-util	3.25.5
com.helger	perfilador	1.1.1
com.ibm.icu	icu4j	75,1
com.jcraft	jsch	0.1.55
com.lihaoyi	fãsi_2.13	0.5.0
com.lihaoyi	código-fonte_2.13	0.1.9
com.microsoft.azure	azure-data lake-store-sdk	2.3.10
com.microsoft.sqlserver	mssql-JDBC	11.2.2.jre8
com.microsoft.sqlserver	mssql-JDBC	12.8.0.jre8
com.ning	compress-lzf	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	JSON	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lentes_2.13	0.4.13
com.Twitter	chill-java	0.10.0
com.Twitter	chill_2.13	0.10.0
com.Twitter	util-app_2.13	19.8.1
com.Twitter	util-core_2.13	19.8.1
com.Twitter	função-utilitária_2.13	19.8.1
com.Twitter	util-jvm_2.13	19.8.1
com.Twitter	util-lint_2.13	19.8.1
com.Twitter	util-registry_2.13	19.8.1
com.Twitter	util-stats_2.13	19.8.1
com.typesafe	configuração	1.4.3
com.typesafe.Scala-log	Scala-logging_2.13	3.9.2
com.uber	h3	3.7.3
com.univocity	analisadores de univocidade	2.9.1
com.zaxxer	HikariCP	4.0.3
com.zaxxer	Conjunto de bits esparsos	1.3
commons-CLI	commons-CLI	1.9.0
codec comum	codec comum	1.17.2
coleções comuns	coleções comuns	3.2.2
commons-dbcp	commons-dbcp	1.4
upload de arquivo comum	upload de arquivo comum	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.18.0
commons-lang	commons-lang	2.6
registro comum	registro comum	1.1.3
poolcomum	poolcomum	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	blas	3.0.3
dev.ludovic.netlib	lapack	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	compressor de ar	2.0.2
io.delta	delta-compartilhamento-client_2.13	1.3.3
io.dropwizard.métricas	métricas-anotação	4.2.30
io.dropwizard.métricas	métricas-núcleo	4.2.30
io.dropwizard.métricas	métricas-grafite	4.2.30
io.dropwizard.métricas	métricas-verificações de integridade	4.2.30
io.dropwizard.métricas	métricas-jetty9	4.2.30
io.dropwizard.métricas	métricas-jmx	4.2.30
io.dropwizard.métricas	falando-JSON	4.2.30
io.dropwizard.métricas	mercantil-JVM	4.2.30
io.dropwizard.métricas	servlets de métricas	4.2.30
io.github.java-diff-utils	java-diff-utils	4.15
io.netty	netty-all	4.1.118.Final
io.netty	netty-buffer	4.1.118.Final
io.netty	netty-codec	4.1.118.Final
io.netty	netty-codec-http	4.1.118.Final
io.netty	netty-codec-http2	4.1.118.Final
io.netty	netty-codec-socks	4.1.118.Final
io.netty	netty-comum	4.1.118.Final
io.netty	manipulador de rede	4.1.118.Final
io.netty	netty-handler-proxy	4.1.118.Final
io.netty	netty-resolver	4.1.118.Final
io.netty	netty-tcnative-boringssl-estático	2.0.70.Final-db-r0-linux-aarch_64
io.netty	netty-tcnative-boringssl-estático	2.0.70.Final-db-r0-linux-x86_64
io.netty	netty-tcnative-boringssl-estático	2.0.70.Final-db-r0-osx-aarch_64
io.netty	netty-tcnative-boringssl-estático	2.0.70.Final-db-r0-osx-x86_64
io.netty	netty-tcnative-boringssl-estático	2.0.70.Final-db-r0-windows-x86_64
io.netty	classes-tcnativas netty	2.0.70.Final
io.netty	transporte netty	4.1.118.Final
io.netty	netty-transport-classes-epoll	4.1.118.Final
io.netty	netty-transport-classes-kqueue	4.1.118.Final
io.netty	netty-transport-native-epoll	4.1.118.Final
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-riscv64
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.118.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.118.Final-osx-x86_64
io.netty	netty-transport-nativo-unix-comum	4.1.118.Final
io.prometheus	cliente simples	0.16.1-databricks
io.prometheus	simpleclient_common	0.16.1-databricks
io.prometheus	simpleclient_dropwizard	0.16.1-databricks
io.prometheus	simpleclient_pushgateway	0.16.1-databricks
io.prometheus	simpleclient_servlet	0.16.1-databricks
io.prometheus	simpleclient_servlet_common	0.16.1-databricks
io.prometheus	simpleclient_tracer_common	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel_agente	0.16.1-databricks
io.prometheus.jmx	coletor	0.18.0
jacarta.anotação	jakarta.anotação-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validação	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	ativação	1.1.1
javax.anotação	javax.anotação-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	API jdo	3.0.1
javax.media	jai_core	jai_core_dummy
javax.transação	jta	1.1
javax.transação	API de transação	1.1
javax.xml.bind	API JAXB	2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.13.0
net.java.dev.jna	jna	5.8.0
rede.videira de navalha	salmoura	1.5
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.floco de neve	floco de neve-ingest-sdk	0.9.6
net.sourceforge.f2j	arpack_combinado_todos	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.13.1
org.antlr	stringtemplate	3.2.1
org.apache.ant	formiga	1.10.11
org.apache.ant	formiga-jsch	1.10.11
org.apache.ant	lançador de formigas	1.10.11
org.apache.arrow	formato de seta	18.2.0
org.apache.arrow	núcleo de memória de seta	18.2.0
org.apache.arrow	rede de memória de flechas	18.2.0
org.apache.arrow	patch de buffer netty-memory-arrow	18.2.0
org.apache.arrow	vetor de seta	18.2.0
org.apache.avro	AVRO	1.12.0
org.apache.avro	avro-ipc	1.12.0
org.apache.avro	avro-mapred	1.12.0
org.apache.commons	coleções-comuns4	4.4
org.apache.commons	commons-compress	1.27.1
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.17.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	texto comum	1.13.0
org.apache.curator	curador-cliente	5.7.1
org.apache.curator	estrutura de curadoria	5.7.1
org.apache.curator	curador-receitas	5.7.1
org.apache.datasketches	esboços de dados-java	6.1.1
org.apache.datasketches	memória de esboços de dados	3.0.2
org.apache.derby	derby	10.14.2.0
org.apache.hadoop	hadoop-client-runtime	3.4.1
org.apache.hive	linha de abelhas da colmeia	2.3.10
org.apache.hive	hive-CLI	2.3.10
org.apache.hive	hive-JDBC	2.3.10
org.apache.hive	cliente hive-llap	2.3.10
org.apache.hive	colmeia-llap-comum	2.3.10
org.apache.hive	colmeia-serde	2.3.10
org.apache.hive	calços de colmeia	2.3.10
org.apache.hive	API de armazenamento do Hive	2.8.1
org.apache.hive.shims	calços-colmeia-0,23	2.3.10
org.apache.hive.shims	calços-de-colmeia-comuns	2.3.10
org.apache.hive.shims	programador de calços de colmeia	2.3.10
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	hera	2.5.3
org.apache.logging.log4j	log4j-1.2-api	2.24.3
org.apache.logging.log4j	API log4j	2.24.3
org.apache.logging.log4j	log4j-core	2.24.3
org.apache.logging.log4j	log4j-disposição-padrão-JSON	2.24.3
org.apache.logging.log4j	log4j-slf4j2-impl	2.24.3
org.apache.orc	núcleo orc	2.1.1-protobuf sombreado
org.apache.orc	formato orc	1.1.0-shaded-protobuf
org.apache.orc	orc-mapreduce	2.1.1-protobuf sombreado
org.apache.orc	calços de orc	2.1.1
org.apache.poi	poi	5.4.1
org.apache.poi	poi-ooxml	5.4.1
org.apache.poi	poi-ooxml-full	5.4.1
org.apache.poi	poi-ooxml-lite	5.4.1
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.16.0
org.apache.ws.xmlschema	xmlschema-core	2.3.1
org.apache.xbean	xbean-asm9-shaded	4,26
org.apache.xmlbeans	xmlbeans	5.3.0
org.apache.yetus	anotação de público	0.13.0
org.apache.zookeeper	tratador de animais	3.9.3
org.apache.zookeeper	tratador de animais-juta	3.9.3
org.checkerframework	verificador-qual	3.43.0
org.codehaus.janino	compilador comum	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	núcleo de dados	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.Eclipse.jetty	cliente do cais	9.4.53.v20231009
org.Eclipse.jetty	continuação do cais	9.4.53.v20231009
org.Eclipse.jetty	jetty-http	9.4.53.v20231009
org.Eclipse.jetty	jetty-io	9.4.53.v20231009
org.Eclipse.jetty	cais-jndi	9.4.53.v20231009
org.Eclipse.jetty	cais-mais	9.4.53.v20231009
org.Eclipse.jetty	proxy jetty	9.4.53.v20231009
org.Eclipse.jetty	segurança do cais	9.4.53.v20231009
org.Eclipse.jetty	servidor jetty	9.4.53.v20231009
org.Eclipse.jetty	servlet de cais	9.4.53.v20231009
org.Eclipse.jetty	servlets de cais	9.4.53.v20231009
org.Eclipse.jetty	jetty-util	9.4.53.v20231009
org.Eclipse.jetty	jetty-util-ajax	9.4.53.v20231009
org.Eclipse.jetty	aplicativo web jetty	9.4.53.v20231009
org.Eclipse.jetty	jetty-xml	9.4.53.v20231009
org.Eclipse.jetty.websocket	API websocket	9.4.53.v20231009
org.Eclipse.jetty.websocket	cliente websocket	9.4.53.v20231009
org.Eclipse.jetty.websocket	websocket-comum	9.4.53.v20231009
org.Eclipse.jetty.websocket	servidor websocket	9.4.53.v20231009
org.Eclipse.jetty.websocket	servlet websocket	9.4.53.v20231009
org.fusesource.leveldbjni	níveldjni-todos	1.8
org.glassfish.hk2	API hk2	2.6.1
org.glassfish.hk2	hk2-locador	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-recurso-locador	1.0.3
org.glassfish.hk2.external	aopalliance-reempacotado	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.41
org.glassfish.jersey.containers	núcleo do servlet do contêiner jersey	2.41
org.glassfish.jersey.core	cliente de Jersey	2.41
org.glassfish.jersey.core	jersey-comum	2.41
org.glassfish.jersey.core	servidor jersey	2.41
org.glassfish.jersey.inject	camisa-hk2	2.41
org.hibernate.validator	hibernate-validador	6.2.5.Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist	3.29.2-GA
org.jboss.logging	jboss-logging	3.4.1.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	anotação	17.0.0
org.jline	jline	3.27.1-jdk8
org.joda	joda-converter	1.7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.13	4.0.7
org.json4s	json4s-core_2.13	4.0.7
org.json4s	json4s-jackson-core_2.13	4.0.7
org.json4s	json4s-jackson_2.13	4.0.7
org.json4s	json4s-scalap_2.13	4.0.7
org.lz4	lz4-java	1.8.0-databricks-1
org.mlflow	mlflow-spark_2.13	2.9.1
org.objenesis	objenesia	3.3
org.postgresql	PostgreSQL	42.6.1
org.roaringbitmap	RoaringBitmap	1.2.1
org.rocksdb	rocksdjni	9.8.4
org.rosuda.REngine	Motor RE	2.1.0
org.Scala-lang	Scala-compilador_2.13	2.13.16
org.Scala-lang	Scala-biblioteca_2.13	2.13.16
org.Scala-lang	Scala-reflect_2.13	2.13.16
org.Scala-lang.modules	Scala-collection-compat_2.13	2.11.0
org.Scala-lang.modules	Scala-java8-compat_2.13	0.9.1
org.Scala-lang.modules	Scala-coleções-paralelas_2.13	1.2.0
org.Scala-lang.modules	Scala-parser-combinators_2.13	2.4.0
org.Scala-lang.modules	Scala-xml_2.13	2.3.0
org.Scala-sbt	interface de teste	1.0
org.scalacheck	scalacheck_2.13	1.18.0
org.scalactic	escalactic_2.13	3.2.19
org.scalameta	comum_2.13	4.13.5
org.scalameta	io_2.13	4.13.5
org.scalameta	mdoc-parser_2.13	2.6.4
org.scalameta	metaconfig-core_2.13	0.15.0
org.scalameta	metaconfig-pprint_2.13	0.15.0
org.scalameta	metaconfig-typesafe-config_2.13	0.15.0
org.scalameta	analisadores_2.13	4.13.5
org.scalameta	scalafmt-config_2.13	3.9.6
org.scalameta	scalafmt-core_2.13	3.9.6
org.scalameta	scalafmt-macros_2.13	3.9.6
org.scalameta	scalafmt-sysops_2.13	3.9.6
org.scalameta	scalameta_2.13	4.13.5
org.scalameta	árvores_2.13	4.13.5
org.scalanlp	breeze-macros_2.13	2.1.0
org.scalanlp	brisa_2.13	2.1.0
org.scalatest	compatível com scalatest	3.2.19
org.scalatest	scalatest-core_2.13	3.2.19
org.scalatest	scalatest-diagramas_2.13	3.2.19
org.scalatest	scalatest-featurespec_2.13	3.2.19
org.scalatest	scalatest-flatspec_2.13	3.2.19
org.scalatest	scalatest-freespec_2.13	3.2.19
org.scalatest	scalatest-funspec_2.13	3.2.19
org.scalatest	scalatest-funsuite_2.13	3.2.19
org.scalatest	scalatest-matchers-core_2.13	3.2.19
org.scalatest	scalatest-mustmatchers_2.13	3.2.19
org.scalatest	scalatest-propspec_2.13	3.2.19
org.scalatest	scalatest-refspec_2.13	3.2.19
org.scalatest	scalatest-shouldmatchers_2.13	3.2.19
org.scalatest	scalatest-wordspec_2.13	3.2.19
org.scalatest	scalatest_2.13	3.2.19
org.slf4j	jcl-sobre-slf4j	2.0.16
org.slf4j	jul-para-slf4j	2.0.16
org.slf4j	API slf4j	2.0.16
org.slf4j	slf4j-simple	1.7.25
org.threeten	três dez-extra	1.8.0
org.tukaani	xz	1.10
org.typelevel	álgebra_2.13	2.8.0
org.typelevel	gatos-kernel_2.13	2.8.0
org.typelevel	paiges-core_2.13	0.4.4
org.typelevel	spire-macros_2.13	0.18.0
org.typelevel	plataforma-spire_2.13	0.18.0
org.typelevel	spire-util_2.13	0.18.0
org.typelevel	spire_2.13	0.18.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Final
org.xerial	sqlite-JDBC	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	yaml de cobra	2.0
ouro	ouro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.Amazon.cryptools	AmazonCorrettoCryptoProvider	2.5.0-linux-x86_64
stax	API stax	1.0.1

dica

Para ver notas sobre a versão para versões Databricks Runtime que atingiram o fim do suporte (EoS), consulte Notas sobre a versão Databricks Runtime de fim de suporte. As versões do Databricks Runtime que chegaram ao fim de sua vida útil foram descontinuadas e podem não ser atualizadas.