serverless compute notas sobre a versão

Aplica-se a: AWS GCP Azure

Esta seção inclui notas sobre a versão para serverless compute. As notas sobre a versão são organizadas por ano e semana do ano. serverless compute sempre executa usando a versão mais recente listada aqui.

Versão 18.0

27 de fevereiro de 2026

Esta versão compute serverless corresponde aproximadamente ao SAP Databricks Runtime 18.0.

Novo recurso

• A funcionalidade deSQL SQL agora está disponível para o público em geral em compute serverless .
• Isolamento compartilhado para UDFs Python Unity Catalog : As UDFs Python Unity Catalog agora são executadas em modo de isolamento compartilhado em compute serverless .
• Funções de janelaSQL na visualização de métricas : Agora você pode usar funções de janela SQL na visualização de métricas.
• Ajuste dinâmico de partições de embaralhamento em consultas de transmissão sem estado : o Serverless compute agora ajusta dinamicamente as partições de embaralhamento para consultas de transmissão sem estado, a fim de otimizar o desempenho.
• Cadeias literais coalescendo em todos os lugares : as cadeias literais agora estão coalescidas em todos os contextos SQL .
• Marcadores de parâmetros em todos os lugares : Os marcadores de parâmetros agora são suportados em todos os contextos SQL.
• Cláusula IDENTIFIER em todos os lugares : A cláusula IDENTIFIER agora é suportada em todos os contextos SQL.
• Nova função BITMAP_AND_AGG : Uma nova função agregada para operações AND em bitmaps.
• Novas funções de esboço Theta : Novas funções para contagem distinta aproximada de esboços Theta.
• Nova biblioteca de funções KLL Sketch : Novas funções para estimativa de quantis em esboços KLL.
• Apache Parquet atualizado para a versão 1.16.0 : A biblioteca Apache Parquet foi atualizada para a versão 1.16.0.
• Novas funções geoespaciais : st_azimuth, st_boundary, st_closestpoint, st_geogfromewkt, st_geomfromewkt.
• Desempenho aprimorado join espacial : a junção espacial agora é executada mais rapidamente em compute serverless .
• Desempenho aprimorado das funções geoespaciais : As funções geoespaciais foram otimizadas para um melhor desempenho.

Mudanças de comportamento

• FSCK REPAIR TABLE Inclui reparo de metadados por default.
• Unificação da execução UDF Python (alteração do comportamento do fuso horário TIMESTAMP).
• Restrições de viagem do tempo e comportamento de retenção vacuum atualizados.
• BinaryType Em PySpark por default os mapeamentos são feitos para bytes.
• Colunas de partição materializadas em arquivos Parquet.
• DESCRIBE TABLE A saída inclui uma coluna de metadados.

A versão 5 do ambiente sem servidor já está disponível.

25 de fevereiro de 2026

A versão 5 do ambiente sem servidor já está disponível e inclui biblioteca de sistema atualizada e patches de segurança.

Versão 17.3

28 de outubro de 2025

Esta versão compute serverless corresponde aproximadamente ao Databricks Runtime 17.3 LTS.

Novo recurso

• Suporte para LIMIT ALL em CTEs recursivas : Agora você pode usar a cláusula LIMIT ALL com expressões de tabela comuns recursivas (rCTEs) para especificar explicitamente que nenhum limite de linhas deve ser aplicado aos resultados da consulta.

• A adição de conteúdo a arquivos em volumes Unity Catalog Unity Catalog retorna uma mensagem de erro mais descritiva para ajudar você a entender e resolver o problema.

• Suporte à funçãost_dump : Agora você pode usar a função st_dump para decompor um objeto de geometria em suas partes constituintes, retornando um conjunto de geometrias mais simples.

• Agora há suporte para funções de anéis internos de polígonos : Você agora pode usar as seguintes funções para trabalhar com anéis internos de polígonos:

  • st_numinteriorringsObtenha o número de limites internos (anéis) de um polígono.
  • st_interiorringnExtrai o n-ésimo contorno interno de um polígono e o retorna como uma linha.

• EXECUTE IMMEDIATE usando expressões constantes : A instrução EXECUTE IMMEDIATE agora suporta o uso de expressões constantes nas strings de consulta, permitindo uma execução SQL dinâmica mais flexível.

• Permitir spark.sql.files.maxPartitionBytes em compute serverless : Agora você pode configurar o parâmetro de configuração Spark spark.sql.files.maxPartitionBytes em compute serverless para controlar o número máximo de bytes a serem compactados em uma única partição ao ler arquivos.

Mudanças de comportamento

• Adicionar coluna de metadados ao DESCRIBE QUERY e DESCRIBE TABLE : Os comandos DESCRIBE QUERY e DESCRIBE TABLE agora incluem uma coluna de metadados em sua saída, fornecendo informações adicionais sobre as propriedades e características de cada coluna.

• Alteração do modo padrão para o comando FSCK REPAIR TABLE : O modo default para o comando FSCK REPAIR TABLE foi alterado para fornecer um comportamento mais consistente ao reparar metadados de tabela.

• Tratamento correto de estruturas nulas ao remover colunas do tipo NullType : o SAP Databricks agora lida corretamente com valores de estrutura nulos ao remover colunas com NullType, evitando possível corrupção de dados ou comportamento inesperado.

• Melhoria no tratamento de structs nulos em Parquet : Esta versão inclui melhorias na forma como os valores de structs nulos são tratados durante a leitura e gravação em arquivos Parquet, garantindo um comportamento mais consistente e correto.

• Atualização da biblioteca aws-msk-iam-auth para Kafka : A biblioteca aws-msk-iam-auth usada para autenticação Amazon MSK IAM foi atualizada para a versão mais recente, proporcionando segurança e compatibilidade aprimoradas.

Versão 17.2

25 de setembro de 2025

Esta versão compute serverless corresponde aproximadamente ao Databricks Runtime 17.2.

Novo recurso

• A funçãoST_ExteriorRing agora é suportada : Agora você pode usar a função ST_ExteriorRing para extrair o limite externo de um polígono e retorná-lo como uma linha.

• Suporte à palavra-chave TEMPORARY para criação view de métricas : Agora você pode usar a palavra-chave TEMPORARY ao criar uma view de métricas. As métricas temporárias são visíveis apenas na sessão que as criou e desaparecem quando a sessão termina.

• Usar E/S nativa para LokiFileSystem.getFileStatus no S3 : LokiFileSystem.getFileStatus agora usa a pilha de E/S nativa para tráfego do Amazon S3 e retorna objetos org.apache.hadoop.fs.FileStatus em vez de shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus.

• O Auto Loader infere colunas de partição no modo singleVariantColumn : O Auto Loader agora infere colunas de partição a partir de caminhos de arquivo ao ingerir dados como um tipo variante semiestruturado usando a opção singleVariantColumn . Anteriormente, as colunas de partição não eram detectadas automaticamente.

Mudanças de comportamento

• DESCRIBE CONNECTION mostra as configurações de ambiente para conexões JDBC : o SAP Databricks agora inclui configurações de ambiente definidas pelo usuário na saída DESCRIBE CONNECTION para conexões JDBC que suportam drivers personalizados e execução isolada. Os demais tipos de conexão permanecem inalterados.

• Opção para truncar o histórico uniforme durante a migração de tabelas de gerenciamento : Agora você pode truncar o histórico uniforme ao migrar tabelas com Uniform/Iceberg habilitado usando ALTER TABLE...SET MANAGED. Isso simplifica as migrações e reduz o tempo de inatividade em comparação com a desativação e reativação manual do Uniform.

• Resultados corretos para split com regex vazia e limite positivo : O SAP Databricks agora retorna resultados corretos ao usar split function com uma regex vazia e um limite positivo. Anteriormente, a função truncava incorretamente as strings restantes em vez de incluí-las no último elemento.

• Correção do tratamento de erros url_decode e try_url_decode no Photon : No Photon, try_url_decode() e url_decode() com failOnError = false agora retornam NULL para strings codificadas em URL inválidas em vez de falhar na consulta.

• Ambiente de execução compartilhado para UDTFs Python do Unity Catalog : O SAP Databricks agora compartilha o ambiente de execução para funções de tabela definidas pelo usuário (UDTFs) em Python do mesmo proprietário e sessão do Spark. Uma cláusula STRICT ISOLATION opcional está disponível para desabilitar o compartilhamento para UDTFs com efeitos colaterais, como modificar variáveis de ambiente ou executar código arbitrário.

Versão 17.1

19 de agosto de 2025

Esta versão compute serverless corresponde aproximadamente ao Databricks Runtime 17.1.

Novo recurso

• Uso de memória reduzido para esquemas amplos no gravador Photon : melhorias foram feitas no mecanismo Photon que reduzem significativamente o uso de memória para esquemas amplos, abordando cenários que anteriormente resultavam em erros de falta de memória.

Mudanças de comportamento

• Erro lançado para restrições CHECK inválidas : o SAP Databricks agora lança um AnalysisException se uma expressão de restrição CHECK não puder ser resolvida durante a validação da restrição.

• O conector Pulsar não expõe mais o Bouncy Castle : a biblioteca Bouncy Castle agora está sombreada no conector Pulsar para evitar conflitos de classpath. Como resultado, Spark Job não pode mais acessar org.bouncycastle.* classes do conector. Se o seu código depende do Bouncy Castle, instale a biblioteca manualmente em um ambiente serverless .

ambiente sem servidor versão 4

13 de agosto de 2025

A versão 4 do ambiente agora está disponível no seu Notebook e Job serverless . Esta versão do ambiente inclui atualizações de biblioteca e atualizações de API.

Versão 17.0

24 de julho de 2025

Esta versão serverless compute corresponde aproximadamente a Databricks Runtime 17.0.

Novo recurso

• SQL Suporte a procedimentos : os scripts do site SQL agora podem ser encapsulados em um procedimento armazenado como um ativo reutilizável no site Unity Catalog. O senhor pode criar um procedimento usando o comando CREATE PROCEDURE e, em seguida, chamá-lo usando o comando CALL.

• Defina uma default colação para SQL funções : O uso da nova cláusula DEFAULT COLLATION no comando CREATE FUNCTION define a colação default usada para os parâmetros STRING, o tipo de retorno e os literais STRING no corpo da função.

• Suporte a expressões de tabelas comuns recursivas (rCTE) : O SAP Databricks agora suporta a navegação de expressões de tabelas comuns recursivas (rCTEs) de uso de dados hierárquicos. Use um CTE autorreferenciado com UNION ALL para acompanhar a relação recursiva.

• O PySpark e o Spark Connect agora suportam a API DataFrames df.mergeInto: O PySpark e o Spark Connect agora suportam a API df.mergeInto.

• Suporte ALL CATALOGS em SHOW SCHEMAS : A sintaxe SHOW SCHEMAS foi atualizada para aceitar ALL CATALOGS, permitindo que você repita em todos os catálogos ativos que suportam namespaces. Os atributos de saída agora incluem uma coluna catalog indicando o catálogo do namespace correspondente.

• O Liquid clustering agora compacta os vetores de exclusão com mais eficiência : as tabelas Delta com o Liquid clustering agora aplicam as alterações físicas dos vetores de exclusão com mais eficiência quando o OPTIMIZE está em execução.

• Permitir expressões não determinísticas em valores de colunas UPDATE /INSERT para operações MERGE: O SAP Databricks agora permite o uso de expressões não determinísticas em valores de coluna atualizados e inseridos de operações MERGE. Por exemplo, agora você pode gerar valores dinâmicos ou aleatórios para colunas usando expressões como rand().

• Altere Delta merge Python APIs para retornar DataFrame em vez de Unit : O Python MERGE APIs (como DeltaMergeBuilder) agora também retorna um DataFrame como o SQL API faz, com os mesmos resultados.