Referência da tabela do sistema de resultados do monitoramento da qualidade dos dados

info

Visualização

Este recurso está em Pré-visualização Pública.

Esta página descreve o esquema da tabela do sistema de resultados de monitoramento da qualidade de dados e inclui exemplos de queries. A tabela armazena os resultados das verificações de atualização e integridade em todas as tabelas com o monitoramento da qualidade de dados ativado no seu metastore.

Caminho da tabela : system.data_quality_monitoring.table_results

Only account admins can access this table, and they must grant access to others as needed. The system table uses default storage. Because it contains sample values, use caution when granting access to others.

Esquema da tabela de resultados do monitoramento da qualidade dos dados

A tabela system.data_quality_monitoring.table_results usa o seguinte esquema:

Nome da coluna	Conteúdo (para o tipo de dados struct )	Tipo de dados	Descrição	Dados de exemplo
event_time		carimbo de data/hora	Hora em que a linha foi gerada.	2025-06-27T12:00:00
catalog_name		string	Nome do catálogo. Usado para identificar a tabela.	main
schema_name		string	Nome do esquema. Usado para identificar a tabela.	default
table_name		string	Nome da tabela. Usado para identificar a tabela.	events
catalog_id		string	ID estável para o catálogo.	3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe
schema_id		string	ID estável para o esquema.	3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe
table_id		string	ID estável para a tabela.	3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe
status		string	Estado de saúde consolidado no nível da tabela. "Não saudável" se qualquer verificação ou grupo não estiver saudável.	Healthy, Unhealthy, Unknown
freshness		struct	Verificações de frescor.
	status	string	Status geral de frescor.	Unhealthy
	commit_freshness	struct	confirmar resultados da verificação de frescor.
completeness		struct	Resultados da verificação de integridade.
	status	string	Status da verificação de integridade.	Unhealthy
	total_row_count	struct	Número total de linhas na tabela ao longo do tempo.
	daily_row_count	struct	Número de linhas adicionadas a cada dia.

Nome da coluna	Conteúdo (para o tipo de dados struct )	Tipo de dados	Descrição	Dados de exemplo
event_time		carimbo de data/hora	Hora em que a linha foi gerada.	2025-06-27T12:00:00
catalog_name		string	Nome do catálogo. Usado para identificar a tabela.	main
schema_name		string	Nome do esquema. Usado para identificar a tabela.	default
table_name		string	Nome da tabela. Usado para identificar a tabela.	events
catalog_id		string	ID estável para o catálogo.	3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe
schema_id		string	ID estável para o esquema.	3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe
table_id		string	ID estável para a tabela.	3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe
status		string	Estado de saúde consolidado no nível da tabela. "Não saudável" se qualquer verificação ou grupo não estiver saudável.	Healthy, Unhealthy, Unknown
freshness		struct	Verificações de frescor.
	status	string	Status geral de frescor.	Unhealthy
	commit_freshness	struct	confirmar resultados da verificação de frescor.
completeness		struct	Resultados da verificação de integridade.
	status	string	Status da verificação de integridade.	Unhealthy
	total_row_count	struct	Número total de linhas na tabela ao longo do tempo.
	daily_row_count	struct	Número de linhas adicionadas a cada dia.

commit_freshness estrutura de matriz

A estrutura commit_freshness contém o seguinte:

Nome do item	Tipo de dados	Descrição	Dados de exemplo
status	string	Status da verificação de atualização do commit.	Unhealthy
error_code	string	Mensagem de erro encontrada durante a verificação.	FAILED_TO_FIT_MODEL
last_value	carimbo de data/hora	Último registro de data e hora de commit .	2025-06-27T11:30:00
predicted_value	carimbo de data/hora	Tempo previsto para que a tabela fosse atualizada.	2025-06-27T11:45:00

Nome do item	Tipo de dados	Descrição	Dados de exemplo
status	string	Status da verificação de atualização do commit.	Unhealthy
error_code	string	Mensagem de erro encontrada durante a verificação.	FAILED_TO_FIT_MODEL
last_value	carimbo de data/hora	Último registro de data e hora de commit .	2025-06-27T11:30:00
predicted_value	carimbo de data/hora	Tempo previsto para que a tabela fosse atualizada.	2025-06-27T11:45:00

Estrutura de matriz total_row_count e daily_row_count

As estruturas total_row_count e daily_row_count contêm o seguinte:

Nome do item	Tipo de dados	Descrição	Dados de exemplo
status	string	Status do cheque.	Unhealthy
error_code	string	Mensagem de erro encontrada durante a verificação.	FAILED_TO_FIT_MODEL
last_value	int	Número de linhas observadas nas últimas 24 horas.	500
min_predicted_value	int	Número mínimo esperado de linhas nas últimas 24 horas.	10
max_predicted_value	int	Número máximo esperado de linhas nas últimas 24 horas.	1000

Nome do item	Tipo de dados	Descrição	Dados de exemplo
status	string	Status do cheque.	Unhealthy
error_code	string	Mensagem de erro encontrada durante a verificação.	FAILED_TO_FIT_MODEL
last_value	int	Número de linhas observadas nas últimas 24 horas.	500
min_predicted_value	int	Número mínimo esperado de linhas nas últimas 24 horas.	10
max_predicted_value	int	Número máximo esperado de linhas nas últimas 24 horas.	1000

Consultas de exemplo

Substitua os valores dos parâmetros pelos seus antes de executar.

Obtenha todos os incidentes atuais em um esquema

SQL

WITH latest_rows AS (
    SELECT
        *,
        ROW_NUMBER() OVER (
            PARTITION BY table_id
            ORDER BY event_time DESC
        ) AS rn
    FROM
      system.data_quality_monitoring.table_results
    WHERE
      catalog_name = "c"
      AND schema_name = "s"
)

SELECT *
FROM latest_rows
WHERE
  rn = 1
  AND status = "Unhealthy"

Obter todas as tabelas em um esquema que estão atualmente afetadas por um problema de atualização

SQL

WITH latest_rows AS (
    SELECT
        *,
        ROW_NUMBER() OVER (
            PARTITION BY table_id
            ORDER BY event_time DESC
        ) AS rn
    FROM
      system.data_quality_monitoring.table_results
    WHERE
      catalog_name = "c"
      AND schema_name = "s"
)

SELECT *
FROM latest_rows
WHERE rn = 1
  AND freshness.status = "Unhealthy"

Obter todos os registros históricos de uma tabela

SQL

SELECT *
FROM system.data_quality_monitoring.table_results
WHERE
  catalog_name = "c"
  AND schema_name = "s"
  AND table_name = "t"