Pular para o conteúdo principal

Monitorar visualização materializada no Databricks SQL

info

Visualização

Este recurso está em Visualização Pública.

Este artigo descreve como monitorar e consultar dados refresh sobre uma view materializada no Databricks SQL.

ver detalhes no Catalog Explorer​

A maneira mais fácil de view informações sobre sua view materializada é view la no Catalog Explorer. O Catalog Explorer também permite que você veja o histórico refresh , incluindo logs, e view o status da refresh atual.

Existem algumas propriedades da view materializada que não estão disponíveis no Catalog Explorer. Para essas propriedades, ou para obter as informações programaticamente, você pode usar o comando DESCRIBE EXTENDED .

ver detalhes view materializada com DESCRIBE EXTENDED​

Você pode view detalhes sobre uma view materializada programaticamente usando o comando DESCRIBE EXTENDED . Isso inclui:

  • O status da última refresh concluída.
  • O programa refresh .
  • As colunas da view materializada.
  • O tamanho dos dados para a view materializada, em bytes totais (não disponível no Catalog Explorer).
  • O local de armazenamento da view materializada (não disponível no Catalog Explorer).
SQL
-- As table:
DESCRIBE TABLE EXTENDED sales;

-- As a single JSON object:
DESCRIBE TABLE EXTENDED sales AS JSON;

veja o histórico refresh para uma viewmaterializada​

Para view o status de REFRESH operações em uma view materializada, incluindo atualizações atuais e anteriores, consulte o log de eventos do pipeline declarativo LakeFlow :

SQL
SELECT
  *
FROM
  event_log(TABLE(my_catalog.my_schema.sales))
WHERE
  event_type = "update_progress"
ORDER BY
  timestamp desc;

Substitua <fully-qualified-table-name> pelo nome totalmente qualificado da view materializada, incluindo o catálogo e o esquema.

Consulte logde eventos do pipeline declarativoLakeFlow.

veja o tipo de refresh que ocorreu para uma viewmaterializada​

Algumas consultas podem ser atualizadas incrementalmente. Se uma refresh incremental não puder ser executada, uma refresh completa será executada.

Para ver o tipo refresh de uma view materializada, consulte o log de eventos:

SQL
SELECT
  timestamp,
  message
FROM
  event_log(TABLE(my_catalog.my_schema.sales))
WHERE
  event_type = 'planning_information'
ORDER BY
  timestamp desc;

Exemplo de saída para este comando:

    • carimbo de data/hora
    • Mensagem
    • 2025-03-21T22:23:16.497+00:00
    • Flow 'sales' has been planned in :re[LDP] to be executed as ROW_BASED.

Para obter detalhes sobre os tipos de refresh e como otimizá-la, consulte refresh incremental para visualização materializada.

Monitore a execução usando query história​

Você pode usar a página de histórico de consultas para acessar detalhes e perfis de consultas que podem ajudar a identificar consultas com baixo desempenho e gargalos no pipeline declarativo LakeFlow usado para executar suas atualizações de tabela de transmissão. Para uma visão geral do tipo de informação disponível para consulta história e perfis de consulta, consulte Consulta história e Consulta perfil.

info

Visualização

Este recurso está em Visualização Pública. Os administradores do espaço de trabalho podem controlar o acesso a este recurso na página Visualizações . Veja as prévias do gerenciar Databricks.

Todas as declarações relacionadas à visualização materializada aparecem no histórico da consulta. Você pode usar o filtro suspenso Instrução para selecionar qualquer comando e inspecionar as consultas relacionadas. Todas as instruções CREATE são seguidas por uma instrução REFRESH que é executada de forma assíncrona em um pipeline. As instruções REFRESH normalmente incluem planos de consulta detalhados que fornecem percepções para otimizar o desempenho.

Para acessar instruções REFRESH na interface de usuário do histórico de consulta, use os seguintes passos:

  1. Clique Ícone da história. na barra lateral esquerda para abrir a interface do usuário Query History .
  2. Selecione a caixa de seleção REFRESH no filtro suspenso Declaração .
  3. Clique no nome da instrução de consulta para view detalhes resumidos, como a duração da consulta e métricas agregadas.
  4. Clique em Ver perfil de consulta para abrir o perfil de consulta. Para obter detalhes sobre como navegar no perfil de consulta, consulte Perfil de consulta.
  5. Opcionalmente, use os links na seção Fonte da consulta para abrir a consulta ou o pipeline relacionado.

Veja CREATE MATERIALIZED VIEW.

Solucionar problemas refreshcom falha​

nota

Para solucionar problemas de uma refresh completa quando você acredita que deveria ser incremental, primeiro verifique se o acompanhamento de linhas está habilitado para quaisquer tabelas Delta de origem. Para outros detalhes sobre refresh incremental, consulte Suporte para refreshincremental view materializada.

Uma operação refresh pode falhar por vários motivos diferentes. Por exemplo:

  • O proprietário da view materializada pode perder SELECT acesso às tabelas de origem.
  • As tabelas de origem podem ter uma alteração de esquema incompatível com a definição de consulta view materializada.

Para solucionar problemas refresh view materializada com falha:

  1. Clique Ícone de dados. Catálogo na barra lateral.
  2. Na árvore do Catalog Explorer à esquerda, abra o catálogo e selecione o esquema onde sua view materializada está localizada.
  3. Clique no link Ver detalhes refresh na tab Visão geral .
  4. Na página de detalhes pipeline , na tab logeventos na parte inferior, clique em Erro para filtrar apenas os erros no processamento.
  5. Clique em um erro para ver detalhes, incluindo a mensagem de erro exata.

Este é um exemplo de mensagem de erro:

org.apache.spark.sql.AnalysisException: [AMBIGUOUS_REFERENCE] Reference `customer_name` is ambiguous, could be: ['p'.'customer_name', 'u'.'customer_name']. SQLSTATE: 42704
Última atualização em