Habilitação automática de recursos
Visualização
A ativação automática de recursos está em versão prévia pública. Para se inscrever, preencha este formulário com o seu ID account . Nenhuma alteração de código ou configuração adicional é necessária após a inscrição.
A ativação automática de recursos (AFE) atualiza automaticamente as tabelas gerencia Unity Catalog para usar recursos recomendados geralmente disponíveis, sem exigir alterações de código ou instruções ALTER TABLE manuais. O AFE também verifica se os clientes são compatíveis antes de ativar um novo recurso.
A AFE oferece os seguintes benefícios:
- Reduza o esforço administrativo necessário para validar os requisitos de compatibilidade individuais para cada combinação de tabela e recurso em seu espaço de trabalho, especialmente se você tiver catálogos com milhares de tabelas.
- Obtenha automaticamente as melhorias mais recentes em desempenho e confiabilidade em suas mesas de gerenciamento.
- Implemente as atualizações com segurança. O AFE só ativa o recurso após verificar a compatibilidade da carga de trabalho.
Como funciona o AFE
O AFE monitora os padrões de acesso Unity Catalog tanto no nível da tabela quanto no nível do esquema e usa uma janela de observação de 50 dias para verificar se os padrões de acesso são compatíveis antes de habilitar qualquer recurso. O AFE utiliza compute serverless para atualizar as tabelas em segundo plano.
Esquemas e tabelas
O comportamento do AFE depende de se o esquema e as tabelas já existiam antes da ativação do AFE. Esta tabela contém mais detalhes:
Esquema | Tabela | Comportamento AFE |
|---|---|---|
Novo | Novo | O AFE define os valores padrão em nível de esquema no momento da criação, de forma que as tabelas herdem imediatamente todos os recursos suportados, sem um período de observação. |
Existente | Novo | O AFE ativa um recurso se apenas cargas de trabalho verificadas tiverem acessado todas as tabelas do esquema dentro do período de observação de 50 dias. Caso contrário, o AFE não ativa o recurso para novas tabelas no esquema se uma única carga de trabalho não verificada acessou qualquer tabela no esquema. Veja as cargas de trabalho verificadas. |
Existente | Existente | O AFE ativa um recurso quando todas as seguintes condições forem verdadeiras:
|
Cargas de trabalho verificadas
Uma carga de trabalho é considerada verificada para um recurso específico se ela acessou a tabela a partir de um cluster Databricks com uma versão Databricks Runtime igual ou superior à versão mínima exigida para o recurso.
As seguintes cargas de trabalho são consideradas não verificadas:
- Clientes externos e serviços de terceiros, como Flink ou Presto. Veja as integraçõesUnity Catalog.
- Serviços Databricks com acesso direto ou em nível de kernel às tabelas, como o Zerobus, que ignoram os padrões de acesso padrão Databricks Runtime . Consulte a visão geral do conector Zerobus Ingest.
Se alguma tabela em um esquema for acessada dentro do período de observação de 50 dias por uma versão Databricks Runtime inferior à versão mínima exigida do recurso ou por um cliente externo, o AFE não ativará o recurso correspondente em nenhuma tabela desse esquema.
Recurso suportado
O AFE pode ativar automaticamente o seguinte recurso:
Recurso | O que faz | Versão mínima compatível do Databricks Runtime |
|---|---|---|
Mantém IDs de linha ocultos para processamento incremental com feed de dados de alteração. | 14.1 | |
Permite renomear e excluir colunas sem sobrescrever os dados. | 15.3 | |
Permite que Delta Lake suporte mais escritores concorrentes e reduza conflitos de escrita em tabelas grandes ou atualizadas com frequência. | 13.3 | |
Centraliza o commit no Unity Catalog para permitir transações em várias tabelas, melhora a interoperabilidade para gravações externas e possibilita políticas de governança entre os mecanismos. | 16,4 |
A disponibilidade de recursos pode variar conforme a região.
Requisitos
- compute sem servidor (serverless computing) deve estar disponível em sua região.
- As tabelas devem ser tabelas Unity Catalog gerenciadas nos formatos Delta Lake ou Apache Iceberg .
Observe o recurso ativado
Para verificar se o AFE ativou um recurso em uma tabela, procure por SET TBLPROPERTIES operações na tab história no Explorador de Catálogo ou use DESCRIBE HISTORY <table_name>. Se o AFE realizou as operações, o campo de nome de usuário mostra um valor hash em vez de um nome de usuário, como 4d137f29-62. Veja O que é o Catalog Explorer? e visualizar tabela história.
Após o AFE habilitar o recurso em tabelas em um novo esquema, view o padrão do esquema na tab Propriedades do Explorador de Catálogo. Por exemplo, um esquema com acompanhamento de linha ativado mostra uma propriedade como catalog.schema.enableRowTracking: "true". Os esquemas existentes não possuem propriedades de observabilidade AFE.
gerenciamento de recurso recomendado pela AFE
Os administradores podem gerenciar o comportamento e as operações do AFE com vários controles.
Reverter alterações
Use RESTORE para reverter os dados e metadados de uma tabela para uma versão anterior à ativação do recurso:
RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;
Consulte Restaurar uma tabela para um estado anterior para obter mais informações sobre o histórico e a restauração de tabelas.
Desative o recurso para tabelas
Para desativar um recurso em uma tabela individual:
ALTER TABLE <table_name> DROP FEATURE <feature_name>
O AFE não reativa um recurso depois que você o desativa manualmente.
Limitações
- As tabelas compartilhadas pelo Delta Lake Compartilhamento, tanto Databricks-para-Open quanto Databricks-to-Databricks, são excluídas do AFE. Consulte O que é Delta Sharing?
- O AFE não possui um mecanismo de rollback robusto para desativar um recurso em todas as tabelas de uma account. Veja gerenciamento do recurso recomendado pela AFE.
- Visualização materializada e tabelas de transmissão não são suportadas.
- As cargas de trabalho que ignoram Unity Catalog e acessam as tabelas diretamente pelo caminho do arquivo não são rastreadas pelo AFE. Se suas cargas de trabalho utilizam acesso baseado em caminho, entre em contato com sua equipe account para discutir a compatibilidade.
- Normalmente, as tabelas externas são acessadas por meio de caminhos de arquivo, ignorando Unity Catalog e com cargas de trabalho não verificadas de clientes externos. O Unity Catalog não consegue rastrear esses padrões de acesso de forma confiável, portanto, as tabelas externas são excluídas do AFE. Consulte Trabalhar com tabelas externas.