Atualizações automáticas
Visualização
As atualizações automáticas para esquemas existentes estão em versão prévia pública. Para se inscrever, preencha este formulário com o seu ID account . Nenhuma alteração de código ou configuração adicional é necessária após a inscrição.
As atualizações automáticas para novos esquemas geralmente estão disponíveis.
Para tabelas gerenciadas Unity Catalog , Databricks as atualiza automaticamente para usar os recursos recomendados geralmente disponíveis, sem exigir alterações de código ou instruções ALTER TABLE manuais. As atualizações automáticas também verificam se os clientes são compatíveis antes de ativar novos recursos.
As atualizações automáticas oferecem os seguintes benefícios:
- Reduza o esforço administrativo necessário para validar os requisitos de compatibilidade individuais para cada combinação de tabela e recurso em seu espaço de trabalho. Isso é especialmente útil se você tiver catálogos com milhares de tabelas.
- Obtenha automaticamente as melhorias mais recentes em desempenho e confiabilidade em suas mesas de gerenciamento.
- Atualize as mesas com segurança. As atualizações automáticas só ativam o recurso após verificar a compatibilidade da carga de trabalho.
Como funcionam as atualizações automáticas
As atualizações automáticas monitoram os padrões de acesso ao Unity Catalog nos níveis de tabela e esquema e usam uma janela de observação para verificar se os padrões de acesso são compatíveis antes de ativar qualquer recurso. O período de observação é de 50 dias para o recurso em Pré-visualização Pública e de 100 dias para o recurso disponível ao público em geral.
As atualizações automáticas utilizam compute serverless para atualizar as tabelas em segundo plano.
Esquemas e tabelas
O comportamento das atualizações automáticas depende de os esquemas e tabelas já existirem antes de você ativar as atualizações automáticas. A tabela a seguir fornece mais detalhes:
Esquema | Tabela | Comportamento |
|---|---|---|
Novo | Novo | As atualizações automáticas definem os padrões de nível de esquema no momento da criação, de forma que as tabelas herdem imediatamente todos os recursos suportados, sem um período de observação. |
Existente | Novo | As atualizações automáticas ativam um recurso se apenas cargas de trabalho verificadas tiverem acessado a tabela durante o período de observação. Caso contrário, se uma única carga de trabalho não verificada acessar a tabela, as atualizações automáticas ignorarão a tabela. Veja as cargas de trabalho verificadas. |
Existente | Existente | As atualizações automáticas ativam um recurso quando todas as seguintes condições forem verdadeiras:
|
Cargas de trabalho verificadas
Uma carga de trabalho é considerada verificada para um recurso específico se ela acessou a tabela a partir de um cluster Databricks com uma versão Databricks Runtime igual ou superior à versão mínima exigida para o recurso.
As atualizações automáticas consideram as seguintes cargas de trabalho como não verificadas:
- Clientes externos e serviços de terceiros, como Flink ou Presto. Veja as integraçõesUnity Catalog.
- Serviços Databricks com acesso direto ou em nível de kernel às tabelas, como o Zerobus, que ignoram os padrões de acesso padrão Databricks Runtime . Consulte a visão geral do conector Zerobus Ingest.
Se alguma tabela em um esquema for acessada durante o período de observação por uma versão Databricks Runtime inferior à versão mínima exigida do recurso ou por um cliente externo, as atualizações automáticas não ativarão o recurso correspondente em nenhuma tabela desse esquema.
Recurso suportado
As atualizações automáticas ativam automaticamente os recursos disponíveis ao público em geral. No entanto, as atualizações não ativam o recurso na versão prévia pública, a menos que você se inscreva na versão prévia.
As atualizações automáticas são compatíveis com o seguinte recurso:
Recurso | O que faz | Estado de lançamento | Versão mínima compatível do Databricks Runtime |
|---|---|---|---|
Mantém IDs de linha ocultos para processamento incremental com feed de dados de alteração. | Geralmente disponível para novas tabelas em novos esquemas. Pré-visualização pública para todas as tabelas em esquemas existentes. | 14.1 | |
Permite que Delta Lake suporte mais escritores concorrentes e reduza conflitos de escrita em tabelas grandes ou atualizadas com frequência. | Geralmente disponível para novas tabelas em novos esquemas. Pré-visualização pública para todas as tabelas em esquemas existentes. | 13.3 | |
Organiza automaticamente os dados da tabela com base nas colunas consultadas com frequência para melhorar o desempenho das consultas sem a necessidade de particionamento manual. | Geralmente disponível para novas tabelas em novos esquemas. Pré-visualização pública para novas tabelas em esquemas existentes. As atualizações automáticas para este recurso ignoram as tabelas existentes. | 13.3 | |
Centraliza o commit no Unity Catalog para permitir transações em várias tabelas, melhorar a interoperabilidade para gravações externas e permitir políticas de governança entre mecanismos. | Pré-visualização pública para todas as tabelas em todos os esquemas. | 16,4 | |
Permite renomear e excluir colunas sem sobrescrever os dados. | Pré-visualização pública para todas as tabelas em todos os esquemas. | 15.3 |
A disponibilidade de recursos pode variar conforme a região.
Requisitos
- compute sem servidor (serverless computing) deve estar disponível em sua região.
- As tabelas devem ser tabelas Unity Catalog gerenciadas nos formatos Delta Lake ou Apache Iceberg .
Observe o recurso ativado
Para verificar se as atualizações automáticas ativaram um recurso em uma tabela, procure por SET TBLPROPERTIES operações na tab história no Explorador de Catálogo ou use DESCRIBE HISTORY <table_name>. Se as atualizações automáticas executarem as operações, o campo de nome de usuário mostrará um valor hash em vez de um nome de usuário, como 4d137f29-62. Veja O que é o Catalog Explorer? e visualizar tabela história.
Após as atualizações automáticas, ative o recurso nas tabelas de um novo esquema e view o esquema padrão na tab Propriedades do Explorador de Catálogo. Por exemplo, um esquema com acompanhamento de linha ativado mostra uma propriedade como catalog.schema.enableRowTracking: "true". Os esquemas existentes não possuem propriedades de observabilidade de atualizações automáticas.
ger recurso recomendado
Os administradores podem gerenciar o comportamento e as operações das atualizações com diversos controles.
Reverter alterações
Use RESTORE para reverter os dados e metadados de uma tabela para uma versão anterior à ativação do recurso:
RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;
Consulte Restaurar uma tabela para um estado anterior para obter mais informações sobre o histórico e a restauração de tabelas.
Desative o recurso para tabelas
Para desativar um recurso em uma tabela individual:
ALTER TABLE <table_name> DROP FEATURE <feature_name>
As atualizações automáticas não reativam um recurso depois que você o desativa manualmente.
Limitações
- As tabelas compartilhadas pelo Delta Lake , tanto Databricks-para-Open quanto Databricks-to-Databricks, são excluídas das atualizações automáticas. Veja O que é Delta Sharing?
- As atualizações automáticas não possuem um mecanismo de reversão robusto para desativar um recurso em todas as tabelas de uma account. Veja o recurso recomendado para gerenciar atualizações automáticas.
- Visualização materializada e tabelas de transmissão não são suportadas.
- As cargas de trabalho que ignoram Unity Catalog e acessam as tabelas diretamente pelo caminho não são rastreadas pelas atualizações automáticas. Se suas cargas de trabalho utilizam acesso baseado em caminho, entre em contato com sua equipe account para discutir a compatibilidade.
- Normalmente, as tabelas externas são acessadas por meio de caminhos de arquivo, ignorando Unity Catalog e com cargas de trabalho não verificadas de clientes externos. O Unity Catalog não consegue rastrear esses padrões de acesso de forma confiável, portanto, as tabelas externas são excluídas das atualizações automáticas. Consulte Trabalhar com tabelas externas.