Pular para o conteúdo principal

Monitorar a visualização materializada em Databricks SQL

info

Visualização

Esse recurso está em Public Preview.

Este artigo descreve como monitorar e consultar dados de refresh sobre um view materializado em Databricks SQL.

Exibir detalhes no Catalog Explorer​

A maneira mais fácil de view obter informações sobre view o materializado é view acessá-lo no Catalog Explorer. O Catalog Explorer também permite refresh logsque view o senhor veja o histórico do, incluindo o, e o status do refresh atual.

Há algumas propriedades do site materializado view que não estão disponíveis no Catalog Explorer. Para essas propriedades, ou para obter as informações de forma programática, o senhor pode usar o comando DESCRIBE EXTENDED.

Visualizar detalhes materializados do view com DESCRIBE EXTENDED​

O senhor pode view detalhes sobre um view materializado de forma programática usando o comando DESCRIBE EXTENDED. Isso inclui:

  • O status da última conclusão refresh.
  • O refresh programar.
  • As colunas do site materializado view.
  • O tamanho dos dados do site materializado view, em bytes totais (não disponível no Catalog Explorer).
  • O local de armazenamento do site materializado view (não disponível no Catalog Explorer).
SQL
-- As table:
DESCRIBE TABLE EXTENDED sales;

-- As a single JSON object:
DESCRIBE TABLE EXTENDED sales AS JSON;

visualizar a refresh história de um senhor materializado view​

Para view o status das REFRESH operações em uma view materializada, incluindo a atualização atual e passada, consulte o evento DLT log:

SQL
SELECT
  *
FROM
  event_log(TABLE(my_catalog.my_schema.sales))
WHERE
  event_type = "update_progress"
ORDER BY
  timestamp desc;

Substitua <fully-qualified-table-name> pelo nome totalmente qualificado do site materializado view, incluindo o catálogo e o esquema.

Consulte O que é o evento DLT log?

Veja o tipo de refresh que ocorreu para um senhor materializado. view​

Algumas consultas podem ser atualizadas de forma incremental. Se não for possível executar um refresh incremental, será executado um refresh completo.

Para ver o tipo refresh de um view materializado, consulte o evento log:

SQL
SELECT
  timestamp,
  message
FROM
  event_log(TABLE(my_catalog.my_schema.sales))
WHERE
  event_type = 'planning_information'
ORDER BY
  timestamp desc;

Exemplo de saída para esse comando:

    • carimbo de data/hora
    • Mensagem
    • 2025-03-21T22:23:16.497+00:00
    • Flow 'sales' has been planned in DLT to be executed as ROW_BASED.

Para obter detalhes sobre os tipos de refresh e como otimizar a atualização, consulte Incremental refresh for materialized view.

Monitorar a execução usando o histórico de consultas​

O senhor pode usar a página de histórico de consultas para acessar detalhes e perfis de consultas que podem ajudá-lo a identificar consultas com baixo desempenho e gargalos no site DLT pipeline usado para executar as atualizações da tabela de transmissão. Para obter uma visão geral do tipo de informação disponível para histórico de consultas e perfis de consultas, consulte Histórico de consultas e Perfil de consultas.

info

Visualização

Esse recurso está em Public Preview. Os administradores do espaço de trabalho podem ativar esse recurso na página Pré-visualizações . Veja gerenciar Databricks Previews.

Todos os comandos relacionados à visualização materializada aparecem no histórico de consultas. O senhor pode usar o filtro suspenso Statement (Declaração ) para selecionar qualquer comando e inspecionar as consultas relacionadas. Todas as declarações CREATE são seguidas por uma declaração REFRESH que é executada de forma assíncrona em um pipeline DLT. As declarações do REFRESH normalmente incluem planos de consulta detalhados que fornecem percepções sobre a otimização do desempenho.

Para acessar as declarações do REFRESH na interface do usuário da história da consulta, siga as etapas abaixo:

  1. Clique em Ícone de história na barra lateral esquerda para abrir a Query History UI.
  2. Selecione a caixa de seleção REFRESH no filtro suspenso Statement (Declaração ).
  3. Clique no nome da instrução de consulta para acessar view detalhes resumidos, como a duração da consulta e as métricas agregadas.
  4. Clique em Ver perfil de consulta para abrir o perfil de consulta. Para obter detalhes sobre como navegar pelo perfil de consulta, consulte Perfil de consulta.
  5. Opcionalmente, use os links na seção Fonte da consulta para abrir a consulta ou o pipeline relacionado.

Consulte CREATE MATERIALIZED VIEW.

Solucionar problemas de falha refresh​

nota

Para solucionar problemas de um refresh que está cheio quando o senhor acredita que deveria ser incremental, primeiro verifique se o acompanhamento de linha está ativado para qualquer tabela de origem Delta. Para obter outros detalhes sobre o incremental refresh, consulte Support for materialized view incremental refresh.

A refresh operações podem falhar por vários motivos diferentes. Por exemplo:

  • O proprietário do site materializado view pode perder o acesso SELECT às tabelas de origem.
  • As tabelas de origem podem ter uma alteração de esquema incompatível com a definição da consulta materializada view.

Para solucionar problemas de uma falha materializada view refresh:

  1. Clique em Ícone de catálogo Catálogo na barra lateral.
  2. Na árvore Catalog Explorer, à esquerda, abra o catálogo e selecione o esquema em que o site view materializado está localizado.
  3. Clique no link See refresh details (Ver detalhes de ) na Visão Geral tab.
  4. Na página de detalhes pipeline, em Event log tab na parte inferior, clique em Error (Erro ) para filtrar apenas os erros no processamento.
  5. Clique em um erro para ver os detalhes, incluindo a mensagem de erro exata.

Este é um exemplo de mensagem de erro:

org.apache.spark.sql.AnalysisException: [AMBIGUOUS_REFERENCE] Reference `customer_name` is ambiguous, could be: ['p'.'customer_name', 'u'.'customer_name']. SQLSTATE: 42704
Última atualização em