Otimização preditiva para Unity Catalog gerenciar tabelas

Esta página descreve a otimização preditiva, que executa automaticamente operações de manutenção para tabelas gerenciadas Unity Catalog no Databricks.

nota

A otimização preditiva está ativada por default para contas criadas a partir de 11 de novembro de 2024. Databricks começou a habilitar contas existentes em 7 de maio de 2025. Essa implementação será gradual e deverá ser concluída até abril de 2026. Para verificar se sua account já está ativada, consulte Verificar se a otimização preditiva está ativada.

Com a otimização preditiva ativada, o Databricks faz automaticamente o seguinte:

• Identifica tabelas que se beneficiariam com operações de manutenção e enfileira essas operações para execução.
• Coleta estatísticas quando os dados são gravados em uma tabela gerenciadora.

Isso elimina a execução desnecessária de manutenção e a carga de acompanhamento e resolução de problemas manualmente.

Databricks recomenda a otimização preditiva para todas as tabelas gerenciadas Unity Catalog . Por exemplo, clustering automático de líquidos utiliza a otimização inteligente de dados com base nos seus padrões de utilização de dados. Consulte Usar clustering líquido para tabelas.

Quais operações a otimização preditiva executa?

Execução de otimização preditiva das seguintes operações nas tabelas de gerenciamento Unity Catalog :

Operação	Descrição
OPTIMIZE	Aciona clustering incremental para tabelas habilitadas. Consulte Usar clustering líquido para tabelas. Melhora o desempenho das consultas otimizando o tamanho dos arquivos. Consulte Otimizar a disposição do arquivo de dados.
VACUUM	Reduz os custos de armazenamento excluindo arquivos de dados que não são mais referenciados pela tabela. Consulte Remover arquivos de dados não utilizados com o vacuum.
ANALYZE	Aciona atualizações incrementais de estatísticas para melhorar o desempenho das consultas. Consulte ANALYZE TABLE … calcular ESTATÍSTICAS.

nota

OPTIMIZE não executa ZORDER quando executado por otimização preditiva. Em tabelas que utilizam Z-order, a otimização preditiva ignora arquivos Z-ordered

Se o clustering líquido automático estiver ativado, a otimização preditiva poderá selecionar a nova chave clustering antes dos dados do clustering. Consulte Líquido automático clustering.

atenção

A janela de retenção para VACUUM é determinada pela propriedade da tabela delta.deletedFileRetentionDuration , que por padrão é de 7 dias. VACUUM remove arquivos de dados que não são mais referenciados por uma versão da tabela Delta dentro dessa janela. Para reter dados por um período mais longo (por exemplo, para suportar viagens de tempo prolongadas), defina esta propriedade antes de ativar a otimização preditiva:

SQL

ALTER TABLE table_name SET TBLPROPERTIES ('delta.deletedFileRetentionDuration' = '30 days');

computação e faturamento

Execução de otimização preditiva ANALYZE, OPTIMIZE e VACUUM operações usando compute serverless para Job. Sua account será cobrada por esse compute usando um SKU de tarefa serverless .

Consulte preços para Databricks serviço gerenciado. Consulte a otimização preditiva de rastreamento com tabelas do sistema.

Pré-requisitos

Os seguintes requisitos devem ser atendidos para usar a otimização preditiva:

• Seu workspace Databricks deve estar no plano Premium ou superior em uma região compatível.
• Você deve usar SQL Warehouse ou Databricks Runtime 12.2 LTS ou superior.
• Somente as tabelas gerenciais do site Unity Catalog são compatíveis.

Permita a otimização preditiva

Você pode ativar a otimização preditiva para uma account, um catálogo ou um esquema. Todas as tabelas Unity Catalog gerenciam e herdam o valor account por default. Você pode substituir o default account no nível do catálogo ou do esquema.

Você precisa ter os seguintes privilégios para ativar ou desativar a otimização preditiva:

Objeto do Unity Catalog	Privilégio
Conta	Administrador da conta
Catálogo	Proprietário do catálogo
Esquema	Proprietário do esquema

Ativar ou desativar a otimização preditiva para o seu account

Um administrador account pode ativar a otimização preditiva para todos os metastores em uma account. Catálogos e esquemas herdam essa configuração por default, mas você pode substituí-la em qualquer um dos níveis.

1. Acesse o painel de controle da conta.
2. Navegue até Settings (Configurações ) e, em seguida, habilite o recurso .
3. Selecione a opção desejada (por exemplo, Ativado ) ao lado de Otimização preditiva .

nota

• As metástores em regiões que não oferecem suporte à otimização preditiva não estão habilitadas.
• Desativar a otimização preditiva no nível account não a desativa para catálogos ou esquemas que a tenham ativado especificamente.

Ativar ou desativar a otimização preditiva para um catálogo ou esquema

A otimização preditiva utiliza um modelo de herança. Quando ativada para um catálogo, os esquemas nesse catálogo herdam a configuração, e as tabelas dentro de um esquema ativado também a herdam. Você pode habilitar ou desabilitar explicitamente a otimização preditiva para um catálogo ou esquema, a fim de substituir esse comportamento.

nota

Você pode desativar a otimização preditiva no nível do catálogo ou do esquema antes de ativá-la no nível account . Se a otimização preditiva for posteriormente ativada no nível account , ela permanecerá bloqueada para as tabelas nesses objetos.

Use a seguinte sintaxe para ativar, desativar ou redefinir a otimização preditiva para herdar do objeto pai:

SQL

ALTER CATALOG [catalog_name] { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;
ALTER { SCHEMA | DATABASE } schema_name { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;

Verifique se a otimização preditiva está ativada.

O campo Predictive Optimization é uma propriedade Unity Catalog que indica se a otimização preditiva está ativada. Se a configuração for herdada de um objeto pai, o valor do campo indicará isso.

Utilize a seguinte sintaxe para verificar o status:

SQL

DESCRIBE (CATALOG | SCHEMA | TABLE) EXTENDED name

Acompanhe a otimização preditiva com tabelas do sistema.

A Databricks fornece a tabela do sistema system.storage.predictive_optimization_operations_history para observabilidade em operações de otimização preditiva, custos e impacto. Consulte a referência da tabela do sistema de otimização preditiva.

Limitações

A otimização preditiva não é executada nos seguintes tipos de tabela:

• Tabelas carregadas em um workspace como destinatários Delta Sharing
• Tabelas externas