serverless compute notas sobre a versão

Aplica-se a: AWS GCP Azure

Esta seção inclui notas sobre a versão para serverless compute. As notas sobre a versão são organizadas por ano e semana do ano. serverless compute sempre executa usando a versão mais recente listada aqui.

6 de julho de 2026

Esta versão de compute serverless inclui atualizações do SAP Databricks Runtime 18.

Novo recurso

• Funções de endereço IP (Visualização) : Novas funções SQL estão disponíveis para trabalhar com endereços IPv4 e IPv6 e blocos CIDR, incluindo as variantes ip_host, ip_cidr, ip_version, ip_prefix_length, ip_network, ip_network_last, ip_cidr_contains, ip_as_binary, ip_as_string e try_* para comportamento nulo seguro.

• Particionamento de estado sob demanda (Preview) : Structured Streaming agora suporta a alteração do número de partições de embaralhamento para consultas com estado sem perder o estado de checkpoint.

Mudanças de comportamento

• CREATE OR REPLACE TABLE preserva comentários : CREATE OR REPLACE TABLE agora preserva os comentários de coluna e tabela existentes por default. Anteriormente, os comentários eram descartados ao recriar uma tabela.

• Escritas por nome do DataFrame convertem colunas compatíveis : writeTo().append(), writeTo().overwrite(), writeTo().overwritePartitions() e write.mode("append").saveAsTable() agora convertem automaticamente colunas compatíveis com o tipo (por exemplo, int para long) para corresponder ao esquema da tabela Delta de destino. Anteriormente, essas operações falhavam com um erro DELTA_FAILED_TO_MERGE_FIELDS quando os tipos de coluna eram compatíveis, mas não idênticos. O comportamento agora corresponde ao SQL INSERT INTO ... BY NAME.

• ALTER TABLE SET TBLPROPERTIES para pipelines.pipelineId : ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>') agora tenta tornar a tabela especificada elegível para gravações pelo pipeline. Anteriormente, definir esta propriedade em uma tabela regular não tinha efeito. Se a tabela não for elegível para gravações de pipeline, o comando lançará SETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED.

• DESCRIBE EXTENDED AS JSON inclui resultados de otimização preditiva : DESCRIBE EXTENDED ... AS JSON agora inclui resultados de avaliação de otimização preditiva em sua saída. Anteriormente, esta informação não era retornada na saída JSON.

• As medidas de janela da view de métricas retornam resultados corretos : As medidas de janela da view de métricas agora retornam resultados corretos quando as queries usam GROUP BY, filtros IN/BETWEEN ou predicados mistos na coluna de ordem da janela. Anteriormente, esses padrões de filtro podiam produzir resultados incorretos.

• Deduplicação do Structured Streaming com NaN chaves : a deduplicação do Structured Streaming agora trata os valores NaN (não é um número) que têm padrões de bits diferentes como duplicatas quando uma coluna double ou float é usada como chave de deduplicação. Anteriormente, os valores NaN com diferentes representações internas eram tratados como distintos e não eram desduplicados.

• Correspondência de coluna que não diferencia maiúsculas e minúsculasNATURAL JOIN : NATURAL JOIN agora corresponde a colunas comuns que não diferenciam maiúsculas e minúsculas, consistente com o join USING equivalente. Anteriormente, a correspondência de coluna diferenciava maiúsculas e minúsculas, fazendo com que as colunas que diferiam apenas na capitalização (por exemplo, ID vs id) não fossem reconhecidas como colunas comuns, resultando em um join de produto cartesiano silencioso em vez do equi-join esperado.

Versão 18,2

13 de maio de 2026

Esta versão de compute Serverless corresponde aproximadamente ao SAP Databricks Runtime 18,2.

Novo recurso

• SuporteCREATE OR REPLACE para tabelas temporárias : a sintaxe CREATE OR REPLACE TEMP TABLE agora é compatível, permitindo que você crie ou substitua tabelas temporárias em uma única instrução. Isso elimina a necessidade de descartar e recriar explicitamente tabelas temporárias.

• agg() measure() **agg() alias para a measure() função **: está agora disponível como um alias para a função. Esta alteração é totalmente compatível com versões anteriores. Queries existentes que usam measure() continuam a funcionar sem modificações, e agg() produz resultados idênticos quando usado com os mesmos argumentos.

• O histórico da tabela Delta inclui sinalizadores de opção de gravação : O histórico da tabela Delta (DESCRIBE HISTORY) agora inclui sinalizadores de opção de gravação na coluna operationParameters para operações WRITE e REPLACE TABLE. Quando as seguintes opções são explicitamente ativadas, elas aparecem como sinalizadores boolean na história (somente incluídas quando true):

  Para WRITE e REPLACE TABLE operações:

  • isDynamicPartitionOverwrite: presente quando o modo de substituição de partição dinâmica foi usado
  • canOverwriteSchema: presente quando a substituição de esquema (overwriteSchema) foi habilitada
  • canMergeSchema: presente quando o schema merge (mergeSchema) foi ativado

  Para REPLACE TABLE operações:

  • predicate: presente quando replaceWhere foi usado
  • isV1WriterSaveAsTableOverwrite: presente quando a substituição foi acionada por uma sobrescrita .saveAsTable

• Substitua dados seletivamente com replaceOn e replaceUsing APIs de DataFrame : As opções replaceOn e replaceUsing nas APIs de DataFrame Scala e Python agora estão geralmente disponíveis. Use essas opções para substituir parte da tabela pelo resultado de um DataFrame. replaceOn substitui linhas que correspondem a uma condição definida pelo usuário. replaceUsing substitui linhas onde as colunas especificadas são iguais. Essas APIs complementam as instruções SQL INSERT REPLACE ON e INSERT REPLACE USING.

Mudanças de comportamento

• Preservação de struct NULA em INSERT, merge e gravações de transmissão com evolução do esquema:INSERT Para, MERGE e gravações de transmissão que usam evolução do esquema, uma struct NULA na origem agora é armazenada como NULA no destino. Anteriormente, esse valor era materializado incorretamente como uma struct não nula com todos os campos definidos como NULOS, enquanto as mesmas operações sem evolução do esquema preservavam structs NULAS corretamente. Se o seu código dependia de receber uma struct não nula cujos campos eram todos NULOS, atualize-o para manipular uma struct NULA em vez disso.

• **Correção para LEFT OUTER JOIN LATERAL linhas descartadas**: Um bug que descartava incorretamente linhas de LEFT OUTER JOIN LATERAL queries foi corrigido. Queries que usam este constructo agora retornam os resultados corretos. Para reverter temporariamente para o comportamento anterior, defina spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic como true.

• NATURAL JOIN respeita a correspondência de coluna que não diferencia maiúsculas de minúsculas : NATURAL JOIN agora usa corretamente a correspondência de coluna que não diferencia maiúsculas de minúsculas quando spark.sql.caseSensitive é definido como false (o default). Anteriormente, NATURAL JOIN usava comparação que diferencia maiúsculas de minúsculas para identificar colunas comuns, fazendo com que as colunas que diferiam apenas no uso de maiúsculas e minúsculas (por exemplo, ID versus id) não fossem reconhecidas como correspondentes. Isso fez com que NATURAL JOIN produzisse resultados de cross-join silenciosamente. Essa correção alinha o comportamento de NATURAL JOIN com USING joins, que já lidavam com a não diferenciação de maiúsculas e minúsculas corretamente. As queries afetadas por esse bug agora retornam resultados corretos com colunas devidamente unidas.

• Validação de dependência de UDF SQL no Unity Catalog : O Unity Catalog agora impõe a validação de dependência para funções definidas pelo usuário (UDFs) SQL para evitar o desvio do controle de acesso. Anteriormente, as funções SQL criadas por meio da API REST podiam fazer referência a dependências às quais o usuário não tinha acesso. UDFs SQL com configurações de dependência inválidas agora são bloqueadas da execução.

• Dependências do AWS SDK v1 são sombreadas: As dependências do AWS SDK v1 empacotadas com o SAP Databricks Runtime agora são sombreadas e não estão mais diretamente disponíveis no classpath. Se o seu código depende das bibliotecas do AWS SDK v1 anteriormente fornecidas pelo Databricks Runtime SAP, adicione-as como dependências explícitas em seu projeto. Esta alteração prepara para a migração para o AWS SDK v2, após o fim do suporte da AWS para o SDK v1.

• Correção da autoridade EPSG incorreta para SRID 102100 definido por ESRI : O mapeamento do Sistema de Referência de Coordenadas (CRS) para SRID 102100 agora usa corretamente ESRI:102100 em vez do EPSG:102100 incorreto. Esta correção garante que os dados geoespaciais sejam armazenados com a autoridade correta para melhor interoperabilidade com outros sistemas.

Versão 18,1

20 de abril de 2026

Esta versão de compute serverless corresponde aproximadamente ao Databricks Runtime 18.1 do SAP.

Novo recurso

• **Evolução do esquema com instruções INSERT**: Use a WITH SCHEMA EVOLUTION cláusula com INSERT instruções SQL para evoluir automaticamente o esquema da tabela de destino durante as operações de inserção. A cláusula é compatível com as formas INSERT INTO, INSERT OVERWRITE e INSERT INTO ... REPLACE.

• **Valores de struct NULL preservados nas operações INSERT**: AsINSERT operações com evolução do esquema ou conversão implícita preservam NULL os valores struct quando as tabelas de origem e de destino têm ordens de campo struct diferentes.

• Função SQLparse_timestamp : A função SQL parse_timestamp analisa strings de timestamp usando vários padrões. A função é executada no mecanismo Photon para desempenho aprimorado.

• max_by ** e min_by com limite opcional**: As funções de agregação max_by e min_by agora aceitam um terceiro argumento opcional limit (até 100.000), retornando um array de valores top-K ou bottom-K sem funções de janela ou CTEs.

• Funções escalares e de agregação de vetor : Novas funções SQL operam em vetores ARRAY<FLOAT> para cargas de trabalho de embedding e similaridade, incluindo vector_avg, vector_sum, vector_cosine_similarity, vector_inner_product, vector_l2_distance, vector_norm e vector_normalize.

• Suporte a cursor SQL em comandos compostos : os comandos compostos de script SQL agora oferecem suporte ao processamento de cursor. Use DECLARE CURSOR para definir um cursor e, em seguida, abra, busque e feche os comandos para executar a query e consumir linhas uma de cada vez.

• **Funções de esboço top-k aproximadas**: Novas funções permitem criar e combinar esboços top-K aproximados para agregação top-Kapprox_top_k_accumulate distribuída:, approx_top_k_combine approx_top_k_estimatee.

• Funções de esboço de tupla : Novas funções agregadas e escalares para esboço de tupla suportam contagem distinta e agregação sobre pares key-resumo.

• **Novas funções geoespaciais**: As seguintes funções geoespaciais estão agora disponíveis:

  • st_estimatesrid: Estima o melhor identificador de referência espacial projetado (SRID) para uma geometria de entrada.
  • st_force2d: Converte uma geografia ou geometria em sua representação 2D.
  • st_nrings: Conta o número total de anéis em um polígono ou multipolígono, incluindo anéis externos e internos.
  • st_numpoints: Conta o número de pontos não vazios em uma geografia ou geometria.

• Suporte do Photon para funções st_differencegeoespaciais:, st_intersection e st_union agora executam no motor Photon para um desempenho mais rápido.

Mudanças de comportamento

• Erros de métricas de observação não falham mais queries : Erros durante a coleta de métricas de observação não causam mais falhas na execução da query. Anteriormente, erros em cláusulas OBSERVE (como divisão por zero) podiam bloquear ou falhar a query inteira. Agora, a query é concluída com êxito e o erro é gerado quando você chama observation.get.

• Palavra-chave reservadaDESCRIBE FLOW : O comando DESCRIBE FLOW agora está disponível. Se você tiver uma tabela chamada flow, use DESCRIBE schema.flow, DESCRIBE TABLE flow ou DESCRIBE `flow` com crases.

• Operações de conjunto Boolean SpatialSQL : ST_Difference, ST_Intersection e ST_Union usam uma nova implementação com desempenho aproximadamente 2x mais rápido. Geometrias de entrada válidas sempre produzem um resultado. Os resultados são normalizados para saída consistente e podem diferir após a 15ª casa decimal para interseções de segmento de linha devido a diferentes fórmulas e ordem das operações.

• Tipos de exceção para SQLSTATE : Os tipos de exceção são atualizados para oferecer suporte a SQLSTATE. Se seu código analisa exceções por correspondência de strings ou captura tipos de exceção específicos, atualize sua lógica de tratamento de erros.

Versão 18.0

27 de fevereiro de 2026

Esta versão compute serverless corresponde aproximadamente ao SAP Databricks Runtime 18.0.

Novo recurso

• A funcionalidade deSQL SQL agora está disponível para o público em geral em compute serverless .
• Isolamento compartilhado para UDFs Python Unity Catalog : As UDFs Python Unity Catalog agora são executadas em modo de isolamento compartilhado em compute serverless .
• Funções de janelaSQL na visualização de métricas : Agora você pode usar funções de janela SQL na visualização de métricas.
• Ajuste dinâmico de partições de embaralhamento em consultas de transmissão sem estado : o Serverless compute agora ajusta dinamicamente as partições de embaralhamento para consultas de transmissão sem estado, a fim de otimizar o desempenho.
• Cadeias literais coalescendo em todos os lugares : as cadeias literais agora estão coalescidas em todos os contextos SQL .
• Marcadores de parâmetros em todos os lugares : Os marcadores de parâmetros agora são suportados em todos os contextos SQL.
• Cláusula IDENTIFIER em todos os lugares : A cláusula IDENTIFIER agora é suportada em todos os contextos SQL.
• Nova função BITMAP_AND_AGG : Uma nova função agregada para operações AND em bitmaps.
• Novas funções de esboço Theta : Novas funções para contagem distinta aproximada de esboços Theta.
• Nova biblioteca de funções KLL Sketch : Novas funções para estimativa de quantis em esboços KLL.
• Apache Parquet atualizado para a versão 1.16.0 : A biblioteca Apache Parquet foi atualizada para a versão 1.16.0.
• Novas funções geoespaciais : st_azimuth, st_boundary, st_closestpoint, st_geogfromewkt, st_geomfromewkt.
• Desempenho aprimorado join espacial : a junção espacial agora é executada mais rapidamente em compute serverless .
• Desempenho aprimorado das funções geoespaciais : As funções geoespaciais foram otimizadas para um melhor desempenho.

Mudanças de comportamento

• FSCK REPAIR TABLE Inclui reparo de metadados por default.
• Unificação da execução UDF Python (alteração do comportamento do fuso horário TIMESTAMP).
• Restrições de viagem do tempo e comportamento de retenção vacuum atualizados.
• BinaryType Em PySpark por default os mapeamentos são feitos para bytes.
• Colunas de partição materializadas em arquivos Parquet.
• DESCRIBE TABLE A saída inclui uma coluna de metadados.

A versão 5 do ambiente sem servidor já está disponível.

25 de fevereiro de 2026

A versão 5 do ambiente sem servidor já está disponível e inclui biblioteca de sistema atualizada e patches de segurança.

Versão 17.3

28 de outubro de 2025

Esta versão compute serverless corresponde aproximadamente ao Databricks Runtime 17.3 LTS.

Novo recurso

• Suporte para LIMIT ALL em CTEs recursivas : Agora você pode usar a cláusula LIMIT ALL com expressões de tabela comuns recursivas (rCTEs) para especificar explicitamente que nenhum limite de linhas deve ser aplicado aos resultados da consulta.

• A adição de conteúdo a arquivos em volumes Unity Catalog Unity Catalog retorna uma mensagem de erro mais descritiva para ajudar você a entender e resolver o problema.

• Suporte à funçãost_dump : Agora você pode usar a função st_dump para decompor um objeto de geometria em suas partes constituintes, retornando um conjunto de geometrias mais simples.

• Agora há suporte para funções de anéis internos de polígonos : Você agora pode usar as seguintes funções para trabalhar com anéis internos de polígonos:

  • st_numinteriorringsObtenha o número de limites internos (anéis) de um polígono.
  • st_interiorringnExtrai o n-ésimo contorno interno de um polígono e o retorna como uma linha.

• EXECUTE IMMEDIATE usando expressões constantes : A instrução EXECUTE IMMEDIATE agora suporta o uso de expressões constantes nas strings de consulta, permitindo uma execução SQL dinâmica mais flexível.

• Permitir spark.sql.files.maxPartitionBytes em compute serverless : Agora você pode configurar o parâmetro de configuração Spark spark.sql.files.maxPartitionBytes em compute serverless para controlar o número máximo de bytes a serem compactados em uma única partição ao ler arquivos.

Mudanças de comportamento

• Adicionar coluna de metadados ao DESCRIBE QUERY e DESCRIBE TABLE : Os comandos DESCRIBE QUERY e DESCRIBE TABLE agora incluem uma coluna de metadados em sua saída, fornecendo informações adicionais sobre as propriedades e características de cada coluna.

• Alteração do modo padrão para o comando FSCK REPAIR TABLE : O modo default para o comando FSCK REPAIR TABLE foi alterado para fornecer um comportamento mais consistente ao reparar metadados de tabela.

• Tratamento correto de estruturas nulas ao remover colunas do tipo NullType : o SAP Databricks agora lida corretamente com valores de estrutura nulos ao remover colunas com NullType, evitando possível corrupção de dados ou comportamento inesperado.

• Melhoria no tratamento de structs nulos em Parquet : Esta versão inclui melhorias na forma como os valores de structs nulos são tratados durante a leitura e gravação em arquivos Parquet, garantindo um comportamento mais consistente e correto.

• Atualização da biblioteca aws-msk-iam-auth para Kafka : A biblioteca aws-msk-iam-auth usada para autenticação Amazon MSK IAM foi atualizada para a versão mais recente, proporcionando segurança e compatibilidade aprimoradas.

Versão 17.2

25 de setembro de 2025

Esta versão compute serverless corresponde aproximadamente ao Databricks Runtime 17.2.

Novo recurso

• A funçãoST_ExteriorRing agora é suportada : Agora você pode usar a função ST_ExteriorRing para extrair o limite externo de um polígono e retorná-lo como uma linha.

• Suporte à palavra-chave TEMPORARY para criação view de métricas : Agora você pode usar a palavra-chave TEMPORARY ao criar uma view de métricas. As métricas temporárias são visíveis apenas na sessão que as criou e desaparecem quando a sessão termina.

• Usar E/S nativa para LokiFileSystem.getFileStatus no S3 : LokiFileSystem.getFileStatus agora usa a pilha de E/S nativa para tráfego do Amazon S3 e retorna objetos org.apache.hadoop.fs.FileStatus em vez de shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus.

• O Auto Loader infere colunas de partição no modo singleVariantColumn : O Auto Loader agora infere colunas de partição a partir de caminhos de arquivo ao ingerir dados como um tipo variante semiestruturado usando a opção singleVariantColumn . Anteriormente, as colunas de partição não eram detectadas automaticamente.

Mudanças de comportamento

• DESCRIBE CONNECTION mostra as configurações de ambiente para conexões JDBC : o SAP Databricks agora inclui configurações de ambiente definidas pelo usuário na saída DESCRIBE CONNECTION para conexões JDBC que suportam drivers personalizados e execução isolada. Os demais tipos de conexão permanecem inalterados.

• Opção para truncar o histórico uniforme durante a migração de tabelas de gerenciamento : Agora você pode truncar o histórico uniforme ao migrar tabelas com Uniform/Iceberg habilitado usando ALTER TABLE...SET MANAGED. Isso simplifica as migrações e reduz o tempo de inatividade em comparação com a desativação e reativação manual do Uniform.

• Resultados corretos para split com regex vazia e limite positivo : O SAP Databricks agora retorna resultados corretos ao usar split function com uma regex vazia e um limite positivo. Anteriormente, a função truncava incorretamente as strings restantes em vez de incluí-las no último elemento.

• Correção do tratamento de erros url_decode e try_url_decode no Photon : No Photon, try_url_decode() e url_decode() com failOnError = false agora retornam NULL para strings codificadas em URL inválidas em vez de falhar na consulta.

• Ambiente de execução compartilhado para UDTFs Python do Unity Catalog : O SAP Databricks agora compartilha o ambiente de execução para funções de tabela definidas pelo usuário (UDTFs) em Python do mesmo proprietário e sessão do Spark. Uma cláusula STRICT ISOLATION opcional está disponível para desabilitar o compartilhamento para UDTFs com efeitos colaterais, como modificar variáveis de ambiente ou executar código arbitrário.

Versão 17.1

19 de agosto de 2025

Esta versão compute serverless corresponde aproximadamente ao Databricks Runtime 17.1.

Novo recurso

• Uso de memória reduzido para esquemas amplos no gravador Photon : melhorias foram feitas no mecanismo Photon que reduzem significativamente o uso de memória para esquemas amplos, abordando cenários que anteriormente resultavam em erros de falta de memória.

Mudanças de comportamento

• Erro lançado para restrições CHECK inválidas : o SAP Databricks agora lança um AnalysisException se uma expressão de restrição CHECK não puder ser resolvida durante a validação da restrição.

• O conector Pulsar não expõe mais o Bouncy Castle : a biblioteca Bouncy Castle agora está sombreada no conector Pulsar para evitar conflitos de classpath. Como resultado, Spark Job não pode mais acessar org.bouncycastle.* classes do conector. Se o seu código depende do Bouncy Castle, instale a biblioteca manualmente em um ambiente serverless .

ambiente sem servidor versão 4

13 de agosto de 2025

A versão 4 do ambiente agora está disponível no seu Notebook e Job serverless . Esta versão do ambiente inclui atualizações de biblioteca e atualizações de API.

Versão 17.0

24 de julho de 2025

Esta versão serverless compute corresponde aproximadamente a Databricks Runtime 17.0.

Novo recurso

• SQL Suporte a procedimentos : os scripts do site SQL agora podem ser encapsulados em um procedimento armazenado como um ativo reutilizável no site Unity Catalog. O senhor pode criar um procedimento usando o comando CREATE PROCEDURE e, em seguida, chamá-lo usando o comando CALL.

• Defina uma default colação para SQL funções : O uso da nova cláusula DEFAULT COLLATION no comando CREATE FUNCTION define a colação default usada para os parâmetros STRING, o tipo de retorno e os literais STRING no corpo da função.

• Suporte a expressões de tabelas comuns recursivas (rCTE) : O SAP Databricks agora suporta a navegação de expressões de tabelas comuns recursivas (rCTEs) de uso de dados hierárquicos. Use um CTE autorreferenciado com UNION ALL para acompanhar a relação recursiva.

• O PySpark e o Spark Connect agora suportam a API DataFrames df.mergeInto: O PySpark e o Spark Connect agora suportam a API df.mergeInto.

• Suporte ALL CATALOGS em SHOW SCHEMAS : A sintaxe SHOW SCHEMAS foi atualizada para aceitar ALL CATALOGS, permitindo que você repita em todos os catálogos ativos que suportam namespaces. Os atributos de saída agora incluem uma coluna catalog indicando o catálogo do namespace correspondente.

• O Liquid clustering agora compacta os vetores de exclusão com mais eficiência : as tabelas Delta com o Liquid clustering agora aplicam as alterações físicas dos vetores de exclusão com mais eficiência quando o OPTIMIZE está em execução.

• Permitir expressões não determinísticas em valores de colunas UPDATE /INSERT para operações MERGE: O SAP Databricks agora permite o uso de expressões não determinísticas em valores de coluna atualizados e inseridos de operações MERGE. Por exemplo, agora você pode gerar valores dinâmicos ou aleatórios para colunas usando expressões como rand().

• Altere Delta merge Python APIs para retornar DataFrame em vez de Unit : O Python MERGE APIs (como DeltaMergeBuilder) agora também retorna um DataFrame como o SQL API faz, com os mesmos resultados.