Atualizações automáticas
A Databricks atualiza automaticamente as tabelas gerenciadas pelo Unity Catalog para usar os recursos recomendados que estão disponíveis ao público geral, sem exigir alterações de código ou instruções ALTER TABLE manuais. As atualizações automáticas verificam se os clientes são compatíveis antes de ativar novos recursos.
As atualizações automáticas oferecem os seguintes benefícios:
- Reduza o esforço administrativo necessário para validar os requisitos de compatibilidade individuais para cada combinação de tabela e recurso em seu espaço de trabalho. Isso é especialmente útil se você tiver catálogos com milhares de tabelas.
- Obtenha automaticamente as melhorias mais recentes em desempenho e confiabilidade em suas mesas de gerenciamento.
- Atualize as mesas com segurança. As atualizações automáticas só ativam o recurso após verificar a compatibilidade da carga de trabalho.
Para mais detalhes sobre os benefícios associados a esses recursos, consulte Atualizações automáticas: recursos de melhores práticas para suas tabelas lakehouse.
Como funcionam as atualizações automáticas
Atualizações automáticas monitoram padrões de acesso de tabelas gerenciadas do Unity Catalog e usam uma janela de observação para verificar se os padrões de acesso são compatíveis antes de ativar qualquer recurso. A janela de observação é de 50 dias para atualizações em Pré-visualização Pública e 100 dias para atualizações geralmente disponíveis. Consulte recursos compatíveis.
Atualizações automáticas usam o compute serverless para atualizar tabelas em segundo plano. Não há custo para este processo.
Esquemas e tabelas
O comportamento das atualizações automáticas depende se um esquema é novo ou já existia quando o recurso foi lançado. Quando você cria uma nova tabela, ela herda recursos das propriedades default de seu esquema. A tabela a seguir descreve cada caso:
Esquema | Tabela | Comportamento |
|---|---|---|
Novo | Novo | Atualizações automáticas definem valores default no nível do esquema no momento da criação, para que as tabelas herdem imediatamente todos os recursos compatíveis. |
Existente | Novo | As atualizações automáticas ativam um recurso somente se todas as tabelas em seu esquema foram acessadas por cargas de trabalho verificadas durante a janela de observação anterior. Caso contrário, se uma única carga de trabalho não verificada acessou qualquer tabela no esquema, as atualizações automáticas ignoram a nova tabela. Consulte cargas de trabalho verificadas. |
Existente | Existente | As atualizações automáticas ativam um recurso quando todas as seguintes condições forem verdadeiras:
|
Cargas de trabalho verificadas
Uma carga de trabalho é considerada verificada para um recurso específico se ela acessou a tabela a partir de um cluster Databricks com uma versão Databricks Runtime igual ou superior à versão mínima exigida para o recurso.
As atualizações automáticas consideram as seguintes cargas de trabalho como não verificadas:
- Clientes externos e serviços de terceiros, como Flink ou Presto. Veja as integraçõesUnity Catalog.
- Serviços Databricks com acesso direto à tabela, como o Zerobus, que ignoram os padrões de acesso padrão do Databricks Runtime. Consulte Visão Geral do Conector Zerobus Ingest.
Se alguma tabela em um esquema for acessada durante o período de observação por uma versão Databricks Runtime inferior à versão mínima exigida do recurso ou por um cliente externo, as atualizações automáticas não ativarão o recurso correspondente em nenhuma tabela desse esquema.
Recurso suportado
Atualizações automáticas se aplicam a um subconjunto de recursos geralmente disponíveis, descritos nas tabelas a seguir. A disponibilidade do recurso pode variar por região.
O clustering líquido automático aplica-se apenas a novas tabelas. Ao contrário dos outros recursos, ele é adicionado por default ao criar uma tabela e nunca se aplica a tabelas existentes.
Recursos com atualizações que estão geralmente disponíveis
Os seguintes recursos estão disponíveis ao público geral, e as atualizações automáticas os aplicam aos tipos de tabela especificados. O sistema de atualização automática também está disponível ao público geral.
Cada recurso é lançado gradualmente, começando em sua data de lançamento e atingindo todos os clientes em cerca de seis meses.
Recurso | Tipos de tabela | Versão mínima compatível do Databricks Runtime | O que faz | Data de lançamento |
|---|---|---|---|---|
- Todas as novas tabelas | 15.4 LTS | Organiza automaticamente os dados da tabela com base em colunas frequentemente pesquisadas para melhorar o desempenho da query sem particionamento manual. As atualizações automáticas não aplicam esse recurso às tabelas existentes. | 22 de maio de 2026 | |
- Todas as novas tabelas - Tabelas existentes | 13.3 LTS | Suporta mais gravadores concorrentes e reduz conflitos de gravação em tabelas grandes ou frequentemente atualizadas. | 19 de maio de 2026 para novas tabelas em novos esquemas 13 de julho de 2026 para todas as tabelas em esquemas existentes | |
- Todas as novas tabelas - Tabelas existentes | 14.1 | Mantém IDs de linha ocultos para processamento incremental. Quando o acompanhamento de linha está ativado, o feed de dados de alteração automático está disponível sem configuração adicional. Consulte APIs AUTO CDC. | 25 de julho de 2026 para novas tabelas em novos esquemas 13 de julho de 2026 para todas as tabelas em esquemas existentes | |
- Novas tabelas em novos esquemas | 16.4 LTS | Centraliza o commit no Unity Catalog para permitir transações em várias tabelas, melhorar a interoperabilidade para gravações externas e permitir políticas de governança entre mecanismos. | 13 de julho de 2026 | |
- Novas tabelas em novos esquemas | 18,1 | Usa codificações avançadas do Parquet, cabeçalhos de página de dados e | 25 de junho de 2026 |
Recursos com atualizações em Pré-visualização Pública
Os recursos a seguir estão geralmente disponíveis, mas suas atualizações automáticas estão em Prévia Pública e exigem inscrição.
Visualização
Atualizações automáticas para os seguintes recursos estão em Pré-visualização Pública. Para se inscrever, preencha este formulário com seu ID de account. Nenhuma alteração de código ou configuração adicional é necessária após a inscrição.
As atualizações automáticas se aplicam a esses recursos somente se estiver inscrito na Prévia Pública, e elas entram em vigor imediatamente após a inscrição:
Recurso | Tipos de tabela | Versão mínima compatível do Databricks Runtime | O que faz |
|---|---|---|---|
- Todas as tabelas em esquemas existentes | 16.4 LTS | Centraliza o commit no Unity Catalog para permitir transações em várias tabelas, melhorar a interoperabilidade para gravações externas e permitir políticas de governança entre mecanismos. | |
- Todas as tabelas | 15.4 LTS | Permite renomear e excluir colunas sem sobrescrever os dados. | |
- Todas as tabelas em esquemas existentes | 18,1 | Usa codificações avançadas do Parquet, cabeçalhos de página de dados e |
Requisitos
- compute sem servidor (serverless computing) deve estar disponível em sua região.
- As tabelas devem ser tabelas Unity Catalog gerenciadas nos formatos Delta Lake ou Apache Iceberg .
Observe o recurso ativado
Para verificar se as atualizações automáticas ativaram um recurso em uma tabela, procure por SET TBLPROPERTIES operações na tab história no Explorador de Catálogo ou use DESCRIBE HISTORY <table_name>. Se as atualizações automáticas executarem as operações, o campo de nome de usuário mostrará um valor hash em vez de um nome de usuário, como 4d137f29-62. Veja O que é o Catalog Explorer? e visualizar tabela história.
Após as atualizações automáticas, ative o recurso nas tabelas de um novo esquema e view o esquema padrão na tab Propriedades do Explorador de Catálogo. Por exemplo, um esquema com acompanhamento de linha ativado mostra uma propriedade como catalog.schema.enableRowTracking: "true". Os esquemas existentes não possuem propriedades de observabilidade de atualizações automáticas.
Para visibilidade em toda a account, faça query na tabela do sistema de atualizações automáticas. Esta tabela registra cada recurso que as atualizações automáticas adicionam a uma tabela, quando foi adicionado e qual tabela foi afetada, para que o senhor(a) possa auditar a atividade de atualização em todos os seus Workspaces. Consulte referência da tabela do sistema de atualizações automáticas.
ger recurso recomendado
Administradores podem reverter alterações de uma atualização ou desativar recursos em tabelas individuais.
Reverter alterações
Use RESTORE para reverter os dados e metadados de uma tabela para uma versão anterior à ativação do recurso:
RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;
Consulte Restaurar uma tabela para um estado anterior para obter mais informações sobre o histórico e a restauração de tabelas.
Desative o recurso para tabelas
Para desativar um recurso em uma tabela individual:
ALTER TABLE <table_name> DROP FEATURE <feature_name>
As atualizações automáticas não reativam um recurso depois que você o desativa manualmente.
Limitações
- Tabelas compartilhadas pelo Compartilhamento do Delta Lake, tanto Databricks-para-Open quanto Databricks-to-Databricks, estão excluídas de atualizações automáticas. Veja O que é OpenSharing?.
- As atualizações automáticas não possuem um mecanismo de reversão em lotes para desativar um recurso em todas as tabelas em uma account. Consulte Gerenciar recursos recomendados de atualizações automáticas.
- Visualização materializada e tabelas de transmissão não são suportadas.
- As cargas de trabalho que ignoram Unity Catalog e acessam as tabelas diretamente pelo caminho não são rastreadas pelas atualizações automáticas. Se suas cargas de trabalho utilizam acesso baseado em caminho, entre em contato com sua equipe account para discutir a compatibilidade.
- Tabelas externas estão excluídas de atualizações automáticas. As tabelas externas são normalmente acessadas por caminho de arquivo, ignorando o Unity Catalog, e o Unity Catalog não consegue rastrear de forma confiável esses padrões de acesso. Consulte trabalhar com tabelas externas.
Perguntas Frequentes
O seguinte responde a perguntas comuns sobre atualizações automáticas.
O que são atualizações automáticas para tabelas gerenciadas pelo Unity Catalog?
Consulte a introdução no topo desta página.
Como as atualizações automáticas verificam a compatibilidade?
Consulte cargas de trabalho verificadas.
As atualizações automáticas alteram minhas tabelas automaticamente?
Sim. Depois que um recurso é verificado como seguro para uma tabela, o Databricks o aplica por meio de um Job em segundo plano leve. Ainda é possível desativar recursos em tabelas individuais.
Se eu desativar um recurso em uma tabela, as atualizações automáticas podem ativá-lo novamente mais tarde?
Não. Depois de desativar um recurso que as atualizações automáticas adicionaram, as atualizações automáticas não ativarão esse recurso novamente para essa tabela.
As atualizações automáticas alteram minhas tabelas existentes?
Sim, mas somente depois que a janela de observação confirmar que todo cliente que acessou a tabela é compatível com o recurso. O clustering líquido automático é a exceção: ele se aplica apenas a tabelas recém-criadas, nunca a tabelas existentes, pois isso alteraria a disposição dos dados existentes.
Como as atualizações automáticas são diferentes da otimização preditiva?
A otimização preditiva mantém a disposição dos seus dados por meio de operações como compactação e vacuum, com a opção de usar clustering líquido automático. As atualizações automáticas ativam novos recursos de tabela, como acompanhamento de linha ou Checkpoint V2. Os dois são complementares: um mantém as tabelas bem conservadas e o outro as mantém atualizadas. Cluster líquido automático é aplicado a novas tabelas por meio de atualizações automáticas. Consulte Otimização preditiva para tabelas gerenciadas do Unity Catalog.
Como as atualizações automáticas verificam se uma tabela é segura para atualizar?
Atualizações automáticas ativam apenas recursos disponíveis em geral que não reduzem materialmente o desempenho ou aumentam o custo. Atualizações automáticas aguardam a janela de observação, exigem que cada cliente de acesso seja compatível, ignoram tabelas que não podem verificar completamente e permitem desativar qualquer recurso em uma tabela a qualquer momento.
Se minha tabela foi alterada, como posso saber que foram atualizações automáticas?
Cada alteração que as atualizações automáticas fazem aparece na DESCRIBE HISTORY saída da tabela e na tab **História** no Catalog Explorer, marcada distintamente das suas próprias alterações. Para visibilidade em toda a account, faça query em system.storage.table_auto_upgrade_operations_history para ver quando qualquer recurso foi adicionado a qualquer tabela. Consulte view da história da tabela.
As atualizações automáticas danificarão uma tabela que minhas ferramentas externas ou de código aberto leem?
Não. Tabelas acessadas por clientes externos ou de código aberto estão fora do escopo. Atualizações automáticas agem apenas quando podem verificar que todo cliente que acessa uma tabela é compatível com o recurso.
Quais tabelas são elegíveis para atualizações automáticas?
Consulte Requisitos e Limitações.
Quanto tempo até que minhas tabelas sejam atualizadas? Quando verei alterações?
As atualizações automáticas usam a janela de observação para capturar cargas de trabalho infrequentes, como trabalhos em lote mensais, relatórios trimestrais e análises ad hoc, antes de agir. Depois que uma tabela é verificada como compatível, o recurso é aplicado logo em seguida por meio de um Job em segundo plano. Quando um recurso é lançado pela primeira vez, o lançamento é gradual para todos os clientes e tabelas, portanto, pode levar cerca de seis meses para alcançar suas tabelas com cargas de trabalho compatíveis.
O que preciso fazer para ativar os recursos da tabela automaticamente no Databricks?
Nenhuma ação é necessária. As atualizações automáticas avaliam e atualizam tabelas elegíveis sem configuração.
É possível desativar as atualizações automáticas para toda a minha account, ou para um esquema, catálogo ou Workspace?
As atualizações automáticas não podem ser totalmente desativadas, mas é possível desativar qualquer recurso individual em uma tabela a qualquer momento. Depois disso, as atualizações automáticas não ativam esse recurso novamente para essa tabela.
As atualizações automáticas custam alguma coisa?
Não há cobrança pelo processo de atualização automática (as operações de ALTER TABLE em segundo plano).
Os recursos aplicados por meio de atualizações automáticas me custam algo?
Em geral, os recursos que aumentam substancialmente os custos são excluídos das atualizações automáticas. Vários recursos aplicados, como vetores de exclusão e Parquet v2, reduzem os custos de armazenamento e compute. O acompanhamento de linhas adiciona um pequeno custo inicial único em tabelas muito grandes porque atribui um identificador exclusivo a cada linha, mas também ajuda a economizar em views Materializadas ao permitir o refresh incremental em vez de uma recomputação completa.
Como posso acompanhar os recursos que serão lançados por meio de atualizações automáticas no futuro?
Verifique os recursos suportados para ver quais recursos estão em Prévia Pública e quais serão lançados para todos os clientes em breve. Para ser notificado quando novos recursos forem lançados, configure um feed RSS na página de notas sobre a versão do Databricks. Também é possível verificar O que está por vir?.