Acesse o histórico de consultas para LakeFlow Declarative pipeline
Este artigo explica como acessar o histórico de consultas e os perfis de consultas associados à execução do pipeline LakeFlow Declarative. O senhor pode usar essas informações para depurar consultas, identificar gargalos de desempenho e otimizar a execução do pipeline.
Revise o histórico de consultas para obter atualizações em pipeline
Para todos os pipelines do ETL, tanto acionados quanto contínuos, uma instrução de consulta aparece no histórico de consultas quando a visualização materializada e as tabelas de transmissão são atualizadas. Há uma instrução REFRESH
para cada execução de fluxo que atualiza uma tabela de destino. O senhor pode usar o filtro de computação na página de histórico de consultas para mostrar apenas as consultas processadas usando o pipeline declarativo LakeFlow compute. Consulte História da consulta para saber mais sobre a interface do usuário da história da consulta.
Para acessar os detalhes da consulta, siga estas etapas:
-
Clique em
Query History (Histórico de consultas ) na barra lateral.
-
Selecione a opção de pipeline Declarativo LakeFlow no filtro suspenso de computação para mostrar apenas o pipeline.
Você também pode filtrar por usuário, hora, status e outros recursos da consulta ou atualização.
-
Clique em uma instrução de consulta para view detalhes resumidos, como a duração da consulta e métricas agregadas. Veja os detalhes da consulta.
-
Clique em Ver perfil de consulta para abrir o perfil de consulta. Consulte Perfil de consulta para obter detalhes sobre o perfil de consulta. O senhor pode abrir o perfil de consulta enquanto o pipeline estiver em execução ou após a conclusão da execução.
-
Opcionalmente, use os links na seção Fonte da consulta para abrir a página de monitoramento do pipeline relacionado.
Acesse a consulta história da página de monitoramento pipeline
Na página de monitoramentopipeline, clique na tab de desempenho perto da parte inferior da tela para acessar o histórico do seu pipeline. Você pode view o painel de detalhes da consulta e o perfil clicando em uma instrução enquanto o pipeline estiver em execução ou após a execução ser concluída.
Acesse a história da consulta no LakeFlow Pipelines Editor
Ao editar um pipeline, você pode acessar o histórico da consulta na tab desempenho no painel inferior. Se você selecionar primeiro uma tabela, o histórico da consulta será delimitado para essa tabela.
Cada item na lista corresponde à execução de um fluxo definido no seu código. Há uma instrução por tabela, a menos que vários fluxos gravem na mesma tabela.
- Você pode filtrar esta lista por nome dataset para encontrar as instruções dos fluxos que gravam nessa tabela.
- Esta lista mostra até 1.000 declarações. Se o seu pipeline tiver mais instruções, você pode clicar em visualizar tudo no histórico de consultas para ver a lista completa de instruções na página Histórico de consultas, filtrada pelo ID de execução do pipeline mais recente.
- Por default, você pode ver a duração e as métricas de leituras e gravações. Você pode clicar em uma instrução REFRESH na lista para view mais métricas e o perfil de consulta do fluxo.
- As métricas e os perfis de consulta ficam disponíveis enquanto o pipeline está em execução ou após a conclusão da execução.
Para saber mais sobre os detalhes disponíveis nesta view, consulte Exibir detalhes da consulta.
Limitações
- O tempo de provisionamento e de fila não está disponível.