serverless compute notas sobre a versão

Aplica-se a: AWS GCP Azure

Esta seção inclui notas sobre a versão para serverless compute. As notas sobre a versão são organizadas por ano e semana do ano. serverless compute sempre executa usando a versão mais recente listada aqui.

Versão 17.3

28 de outubro de 2025

Esta versão compute serverless corresponde aproximadamente ao Databricks Runtime 17.3 LTS.

Novo recurso

• Suporte para LIMIT ALL em CTEs recursivas : Agora você pode usar a cláusula LIMIT ALL com expressões de tabela comuns recursivas (rCTEs) para especificar explicitamente que nenhum limite de linhas deve ser aplicado aos resultados da consulta.

• A adição de conteúdo a arquivos em volumes Unity Catalog Unity Catalog retorna uma mensagem de erro mais descritiva para ajudar você a entender e resolver o problema.

• Suporte à funçãost_dump : Agora você pode usar a função st_dump para decompor um objeto de geometria em suas partes constituintes, retornando um conjunto de geometrias mais simples.

• Agora há suporte para funções de anéis internos de polígonos : Você agora pode usar as seguintes funções para trabalhar com anéis internos de polígonos:

  • st_numinteriorringsObtenha o número de limites internos (anéis) de um polígono.
  • st_interiorringnExtrai o n-ésimo contorno interno de um polígono e o retorna como uma linha.

• EXECUTE IMMEDIATE usando expressões constantes : A instrução EXECUTE IMMEDIATE agora suporta o uso de expressões constantes nas strings de consulta, permitindo uma execução SQL dinâmica mais flexível.

• Permitir spark.sql.files.maxPartitionBytes em compute serverless : Agora você pode configurar o parâmetro de configuração Spark spark.sql.files.maxPartitionBytes em compute serverless para controlar o número máximo de bytes a serem compactados em uma única partição ao ler arquivos.

Mudanças de comportamento

• Adicionar coluna de metadados ao DESCRIBE QUERY e DESCRIBE TABLE : Os comandos DESCRIBE QUERY e DESCRIBE TABLE agora incluem uma coluna de metadados em sua saída, fornecendo informações adicionais sobre as propriedades e características de cada coluna.

• Alteração do modo padrão para o comando FSCK REPAIR TABLE : O modo default para o comando FSCK REPAIR TABLE foi alterado para fornecer um comportamento mais consistente ao reparar metadados de tabela.

• Tratamento correto de estruturas nulas ao remover colunas do tipo NullType : o SAP Databricks agora lida corretamente com valores de estrutura nulos ao remover colunas com NullType, evitando possível corrupção de dados ou comportamento inesperado.

• Melhoria no tratamento de structs nulos em Parquet : Esta versão inclui melhorias na forma como os valores de structs nulos são tratados durante a leitura e gravação em arquivos Parquet, garantindo um comportamento mais consistente e correto.

• Atualização da biblioteca aws-msk-iam-auth para Kafka : A biblioteca aws-msk-iam-auth usada para autenticação Amazon MSK IAM foi atualizada para a versão mais recente, proporcionando segurança e compatibilidade aprimoradas.

Versão 17.2

25 de setembro de 2025

Esta versão compute serverless corresponde aproximadamente ao Databricks Runtime 17.2.

Novo recurso

• A funçãoST_ExteriorRing agora é suportada : Agora você pode usar a função ST_ExteriorRing para extrair o limite externo de um polígono e retorná-lo como uma linha.

• Suporte à palavra-chave TEMPORARY para criação view de métricas : Agora você pode usar a palavra-chave TEMPORARY ao criar uma view de métricas. As métricas temporárias são visíveis apenas na sessão que as criou e desaparecem quando a sessão termina.

• Usar E/S nativa para LokiFileSystem.getFileStatus no S3 : LokiFileSystem.getFileStatus agora usa a pilha de E/S nativa para tráfego do Amazon S3 e retorna objetos org.apache.hadoop.fs.FileStatus em vez de shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus.

• O Auto Loader infere colunas de partição no modo singleVariantColumn : O Auto Loader agora infere colunas de partição a partir de caminhos de arquivo ao ingerir dados como um tipo variante semiestruturado usando a opção singleVariantColumn . Anteriormente, as colunas de partição não eram detectadas automaticamente.

Mudanças de comportamento

• DESCRIBE CONNECTION mostra as configurações de ambiente para conexões JDBC : o SAP Databricks agora inclui configurações de ambiente definidas pelo usuário na saída DESCRIBE CONNECTION para conexões JDBC que suportam drivers personalizados e execução isolada. Os demais tipos de conexão permanecem inalterados.

• Opção para truncar o histórico uniforme durante a migração de tabelas de gerenciamento : Agora você pode truncar o histórico uniforme ao migrar tabelas com Uniform/Iceberg habilitado usando ALTER TABLE...SET MANAGED. Isso simplifica as migrações e reduz o tempo de inatividade em comparação com a desativação e reativação manual do Uniform.

• Resultados corretos para split com regex vazia e limite positivo : O SAP Databricks agora retorna resultados corretos ao usar split function com uma regex vazia e um limite positivo. Anteriormente, a função truncava incorretamente as strings restantes em vez de incluí-las no último elemento.

• Correção do tratamento de erros url_decode e try_url_decode no Photon : No Photon, try_url_decode() e url_decode() com failOnError = false agora retornam NULL para strings codificadas em URL inválidas em vez de falhar na consulta.

• Ambiente de execução compartilhado para UDTFs Python do Unity Catalog : O SAP Databricks agora compartilha o ambiente de execução para funções de tabela definidas pelo usuário (UDTFs) em Python do mesmo proprietário e sessão do Spark. Uma cláusula STRICT ISOLATION opcional está disponível para desabilitar o compartilhamento para UDTFs com efeitos colaterais, como modificar variáveis de ambiente ou executar código arbitrário.

Versão 17.1

19 de agosto de 2025

Esta versão compute serverless corresponde aproximadamente ao Databricks Runtime 17.1.

Novo recurso

• Uso de memória reduzido para esquemas amplos no gravador Photon : melhorias foram feitas no mecanismo Photon que reduzem significativamente o uso de memória para esquemas amplos, abordando cenários que anteriormente resultavam em erros de falta de memória.

Mudanças de comportamento

• Erro lançado para restrições CHECK inválidas : o SAP Databricks agora lança um AnalysisException se uma expressão de restrição CHECK não puder ser resolvida durante a validação da restrição.

• O conector Pulsar não expõe mais o Bouncy Castle : a biblioteca Bouncy Castle agora está sombreada no conector Pulsar para evitar conflitos de classpath. Como resultado, Spark Job não pode mais acessar org.bouncycastle.* classes do conector. Se o seu código depende do Bouncy Castle, instale a biblioteca manualmente em um ambiente serverless .

ambiente sem servidor versão 4

13 de agosto de 2025

A versão 4 do ambiente agora está disponível no seu Notebook e Job serverless . Esta versão do ambiente inclui atualizações de biblioteca e atualizações de API.

Versão 17.0

24 de julho de 2025

Esta versão serverless compute corresponde aproximadamente a Databricks Runtime 17.0.

Novo recurso

• SQL Suporte a procedimentos : os scripts do site SQL agora podem ser encapsulados em um procedimento armazenado como um ativo reutilizável no site Unity Catalog. O senhor pode criar um procedimento usando o comando CREATE PROCEDURE e, em seguida, chamá-lo usando o comando CALL.

• Defina uma default colação para SQL funções : O uso da nova cláusula DEFAULT COLLATION no comando CREATE FUNCTION define a colação default usada para os parâmetros STRING, o tipo de retorno e os literais STRING no corpo da função.

• Suporte a expressões de tabelas comuns recursivas (rCTE) : O SAP Databricks agora suporta a navegação de expressões de tabelas comuns recursivas (rCTEs) de uso de dados hierárquicos. Use um CTE autorreferenciado com UNION ALL para acompanhar a relação recursiva.

• O PySpark e o Spark Connect agora suportam a API DataFrames df.mergeInto: O PySpark e o Spark Connect agora suportam a API df.mergeInto.

• Suporte ALL CATALOGS em SHOW SCHEMAS : A sintaxe SHOW SCHEMAS foi atualizada para aceitar ALL CATALOGS, permitindo que você repita em todos os catálogos ativos que suportam namespaces. Os atributos de saída agora incluem uma coluna catalog indicando o catálogo do namespace correspondente.

• O Liquid clustering agora compacta os vetores de exclusão com mais eficiência : as tabelas Delta com o Liquid clustering agora aplicam as alterações físicas dos vetores de exclusão com mais eficiência quando o OPTIMIZE está em execução.

• Permitir expressões não determinísticas em valores de colunas UPDATE /INSERT para operações MERGE: O SAP Databricks agora permite o uso de expressões não determinísticas em valores de coluna atualizados e inseridos de operações MERGE. Por exemplo, agora você pode gerar valores dinâmicos ou aleatórios para colunas usando expressões como rand().

• Altere Delta merge Python APIs para retornar DataFrame em vez de Unit : O Python MERGE APIs (como DeltaMergeBuilder) agora também retorna um DataFrame como o SQL API faz, com os mesmos resultados.