Revise os resultados dos logs de detecção de anomalia

Por default, os resultados da verificação de monitoramento da qualidade dos dados são armazenados na tabela system.data_quality_monitoring.table_results . Somente os administradores account podem acessar esta tabela e devem conceder acesso a outros conforme necessário. O monitoramento de qualidade de dados utiliza armazenamentodefault para armazenar os resultados de detecção de anomalia. Você não será cobrado pelo armazenamento.

importante

A tabela de resultados system.data_quality_monitoring.table_results contém todos os resultados em todo o metastore e inclui valores de amostra de tabelas em cada catálogo. Tenha cautela ao conceder acesso a esta tabela.

esquema da tabela de resultados de detecção de anomalia

Cada linha na tabela de resultados corresponde a uma única tabela no esquema que foi analisado.

A tabela possui o seguinte esquema:

Nome da coluna	Conteúdo (para o tipo de dados struct )	Tipo de dados	Descrição	Dados de exemplo
event_time		carimbo de data/hora	Hora em que a linha foi gerada.	2025-06-27T12:00:00
catalog_name		string	Nome do catálogo. Utilizado para identificar a mesa.	main
schema_name		string	Nome do esquema. Utilizado para identificar a mesa.	default
table_name		string	Nome da tabela. Utilizado para identificar a mesa.	events
catalog_id		string	ID estável para o catálogo.	3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe
schema_id		string	ID estável para o esquema.	3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe
table_id		string	ID estável para a tabela.	3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe
status		string	Estado de saúde consolidado ao nível da tabela. Unhealthy se alguma verificação ou grupo estiver com problemas.	Healthy, Unhealthy, Unknown
freshness		struct	Verificações de frescor.
	status	string	Estado geral de frescor.	Unhealthy
	commit_freshness	struct	confirmar resultados da verificação de frescor.
completeness		struct	Resultados da verificação de integridade.
	status	string	Status da verificação de integridade.	Unhealthy
	total_row_count	struct	Número total de linhas na tabela ao longo do tempo.
	daily_row_count	struct	Número de linhas adicionadas a cada dia.
downstream_impact		struct	Resumo do impacto a jusante com base no gráfico de dependência.
	impact_level	int	Indicador de gravidade (0 = nenhuma, 1 = baixa, 2 = média, 3 = alta, 4 = muito alta).	2
	num_downstream_tables	int	Número de tabelas subsequentes afetadas.	5
	num_queries_on_affected_tables	int	Número de consultas executadas nas tabelas downstream afetadas nos últimos 30 dias.	120
root_cause_analysis		struct	informações sobre o trabalho upstream que contribui para o problema.
	upstream_jobs	matriz	Metadados para cada tarefa upstream.

commit_freshness estrutura de matriz

A estrutura commit_freshness contém o seguinte:

Nome do item	Tipo de dados	Descrição	Dados de exemplo
status	string	Status da verificação de atualização do commit.	Unhealthy
error_code	string	Mensagem de erro encontrada durante a verificação.	FAILED_TO_FIT_MODEL
last_value	carimbo de data/hora	Data e hora do último commit.	2025-06-27T11:30:00
predicted_value	carimbo de data/hora	Tempo previsto para a atualização da tabela.	2025-06-27T11:45:00

Estrutura de matriz total_row_count e daily_row_count

As estruturas total_row_count e daily_row_count contêm o seguinte:

Nome do item	Tipo de dados	Descrição	Dados de exemplo
status	string	Situação da verificação.	Unhealthy
error_code	string	Mensagem de erro encontrada durante a verificação.	FAILED_TO_FIT_MODEL
last_value	int	Número de linhas observadas nas últimas 24 horas.	500
min_predicted_value	int	Número mínimo esperado de linhas nas últimas 24 horas.	10
max_predicted_value	int	Número máximo esperado de linhas nas últimas 24 horas.	1000

upstream_jobs estrutura de matriz

A estrutura da matriz mostrada na coluna upstream_jobs é apresentada na tabela a seguir:

Nome do item	Tipo de dados	Descrição	Dados de exemplo
job_id	string	ID Job .	12345
workspace_id	string	ID do espaço de trabalho.	6051921418418893
job_name	string	Nome de exibição Job .	daily_refresh
last_run_status	string	Estado da execução mais recente.	SUCCESS
run_page_url	string	URL da página de execução do trabalho Databricks .	https://<workspace_url>/runs/123

Informações sobre impacto a jusante

Na tabela de resultados de logs, a coluna downstream_impact é um struct com os seguintes campos:

campo	Tipo	Descrição
impact_level	int	Valor inteiro entre 1 e 4 que indica a gravidade do problema de qualidade dos dados. Valores maiores indicam maior interrupção.
num_downstream_tables	int	Número de tabelas subsequentes que podem ser afetadas pelo problema identificado.
num_queries_on_affected_tables	int	Número total de consultas que fizeram referência às tabelas afetadas e às tabelas subsequentes nos últimos 30 dias.