Ignorar dados

nota

No Databricks Runtime 13.3 e acima, o Databricks recomenda o uso de clusters líquidos para disposição da tabela. Clustering não é compatível com Z-ordering. Consulte Usar clustering líquido para tabelas.

As informações que ignoram dados são coletadas automaticamente quando você grava dados em uma tabela. O Databricks aproveita esta informação (valores mínimos e máximos, contagens nulas e registros totais por arquivo) no momento da consulta para fornecer consultas mais rápidas.

Você deve ter estatísticas coletadas para colunas que são usadas em ZORDER instruções. Consulte O que é Z-ordering?.

Especificar colunas de estatísticas

Para o Unity Catalog tabelas externas, as estatísticas são coletadas nas primeiras 32 colunas definidas em seu esquema de tabela por padrão. Para as tabelas gerenciadas do Unity Catalog, as estatísticas de salto de arquivo são escolhidas de forma inteligente usando a otimização preditiva e não têm um limite de 32 colunas. Otimização preditiva executa automaticamente ANALYZE, um comando para coletar estatísticas. A Databricks recomenda ativar a otimização preditiva para todas as tabelas gerenciadas pelo Unity Catalog para simplificar a manutenção de dados e reduzir os custos de armazenamento. Consulte Otimização preditiva para tabelas gerenciadas do Unity Catalog.

Caso não esteja utilizando a otimização preditiva, é possível modificar o comportamento que limita a coleta de estatísticas a 32 colunas, definindo uma das seguintes propriedades de tabela:

Propriedade da tabela	Databricks Runtime tem suporte	Descrição
dataSkippingNumIndexedCols	Todas as versões do Databricks Runtime compatíveis	Aumentar ou diminuir o número de colunas nas quais as estatísticas são coletadas. Depende da ordem das colunas.
dataSkippingStatsColumns	Databricks Runtime 13.3 LTS e acima	Especificar uma lista de nomes de coluna para os quais as estatísticas são coletadas. Substitui dataSkippingNumIndexedCols.

As propriedades da tabela podem ser definidas durante a criação da tabela ou com instruções ALTER TABLE. Consulte a referência de propriedades da tabela. O exemplo a seguir substitui o comportamento padrão da coleta de estatísticas para configurar a coleta de estatísticas em colunas nomeadas.

Delta Lake table

SQL

ALTER TABLE table_name SET TBLPROPERTIES('delta.dataSkippingStatsColumns' = 'col1, col2, col3')

Iceberg table

SQL

ALTER TABLE table_name SET TBLPROPERTIES('iceberg.dataSkippingStatsColumns' = 'col1, col2, col3')

A atualização dessas propriedades não recalcula automaticamente as estatísticas para os dados existentes. Em vez disso, isso impacta o comportamento da futura coleta de estatísticas ao adicionar ou atualizar dados na tabela. Estatísticas não são aproveitadas para colunas não incluídas na lista atual de colunas de estatísticas.

No Databricks Runtime 14.3 LTS e acima, se você alterou as propriedades da tabela ou alterou as colunas especificadas para estatísticas, você pode acionar manualmente o recálculo das estatísticas para uma tabela usando o seguinte comando:

SQL

ANALYZE TABLE table_name COMPUTE DELTA STATISTICS

nota

Strings longas são truncados durante a coleta de estatísticas. Pode-se optar por excluir colunas de strings longas da coleta de estatísticas, especialmente se as colunas não forem usadas frequentemente para consultas de filtragem.

O que é Z-ordering?

nota

O Databricks recomenda os clusters líquidos para todas as novas tabelas. Não é possível usar ZORDER em combinação com clustering líquido. Consulte Usar clusters líquidos para tabelas.

Z-ordering é uma técnica para colocalizar informações relacionadas no mesmo conjunto de arquivos. Os algoritmos de salto de dados do Databricks usam automaticamente esta colocalidade. Esse comportamento reduz a quantidade de dados que precisam ser lidos. Para dados de Z-order, especifique as colunas a serem ordenadas na cláusula ZORDER BY :

SQL

OPTIMIZE events
WHERE date >= current_timestamp() - INTERVAL 1 day
ZORDER BY (eventType)

Se você espera que uma coluna seja comumente usada em predicados de consulta e se essa coluna tiver alta cardinalidade (ou seja, um grande número de valores distintos), use ZORDER BY.

Você pode especificar várias colunas para ZORDER BY como uma lista separada por vírgulas. No entanto, a eficácia da localidade diminui a cada coluna extra. O Z-ordering em colunas que não têm estatísticas coletadas seria ineficaz e um desperdício de recursos. Isso ocorre porque a omissão de dados exige estatísticas locais da coluna, como mínimo, máximo e contagem. Você pode configurar a coleta de estatísticas em determinadas colunas reordenando as colunas no esquema ou pode aumentar o número de colunas nas quais coletar estatísticas.

nota

• O Z-ordering não é idempotente , mas pretende ser uma operação incremental. Não é garantido que o tempo necessário para o Z-ordering seja reduzido em várias execuções. No entanto, se nenhum novo dado foi adicionado a uma partição que foi apenas Z-ordered, outro Z-ordering dessa partição não terá nenhum efeito.

• O Z-Ordering visa produzir arquivos de dados equilibrados em relação ao número de tuplas, mas não necessariamente ao tamanho dos dados no disco.As duas medidas são frequentemente correlacionadas, mas pode haver situações em que esse não é o caso, levando a distorções na otimização dos tempos das tarefas.

  Por exemplo, se você ZORDER BY data e seus registros mais recentes forem todos muito mais amplos (por exemplo, matrizes ou valores de strings mais longas) do que os anteriores, espera-se que as durações de tarefa do job OPTIMIZE sejam distorcidas, bem como os tamanhos dos arquivos resultantes. Este é, no entanto, apenas um problema para o próprio comando OPTIMIZE; ele não deve ter qualquer impacto negativo nas consultas subsequentes.