Pular para o conteúdo principal

Revise os resultados dos logs de detecção de anomalia

Por default, os resultados da verificação de monitoramento da qualidade dos dados são armazenados na tabela system.data_quality_monitoring.table_results . Somente os administradores account podem acessar esta tabela e devem conceder acesso a outros conforme necessário. O monitoramento de qualidade de dados utiliza armazenamentodefault para armazenar os resultados de detecção de anomalia. Você não será cobrado pelo armazenamento.

importante

A tabela de resultados system.data_quality_monitoring.table_results contém todos os resultados em todo o metastore e inclui valores de amostra de tabelas em cada catálogo. Você deve compartilhar esta tabela apenas com usuários autorizados a view os resultados do monitoramento da qualidade dos dados em todo o metastore.

esquema da tabela de resultados de detecção de anomalia​

Cada linha na tabela de resultados corresponde a uma única tabela no esquema que foi analisado.

A tabela possui o seguinte esquema:

Nome da coluna

Conteúdo (para o tipo de dados struct )

Tipo de dados

Descrição

Dados de exemplo

event_time

carimbo de data/hora

Hora em que a linha foi gerada.

2025-06-27T12:00:00

catalog_name

string

Nome do catálogo. Utilizado para identificar a mesa.

main

schema_name

string

Nome do esquema. Utilizado para identificar a mesa.

default

table_name

string

Nome da tabela. Utilizado para identificar a mesa.

events

catalog_id

string

ID estável para o catálogo.

3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe

schema_id

string

ID estável para o esquema.

3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe

table_id

string

ID estável para a tabela.

3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe

status

string

Estado de saúde consolidado ao nível da tabela. Unhealthy se alguma verificação ou grupo estiver com problemas.

Healthy, Unhealthy, Training, Error, Unknown

freshness

struct

Verificações de frescor.

status

string

Estado geral de frescor.

Unhealthy

commit_freshness

struct

confirmar resultados da verificação de frescor.

completeness

struct

Resultados da verificação de integridade.

status

string

Status da verificação de integridade.

Unhealthy

total_row_count

struct

Número total de linhas na tabela ao longo do tempo.

daily_row_count

struct

Número de linhas adicionadas a cada dia.

Nome da coluna

Conteúdo (para o tipo de dados struct )

Tipo de dados

Descrição

Dados de exemplo

event_time

carimbo de data/hora

Hora em que a linha foi gerada.

2025-06-27T12:00:00

catalog_name

string

Nome do catálogo. Utilizado para identificar a mesa.

main

schema_name

string

Nome do esquema. Utilizado para identificar a mesa.

default

table_name

string

Nome da tabela. Utilizado para identificar a mesa.

events

catalog_id

string

ID estável para o catálogo.

3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe

schema_id

string

ID estável para o esquema.

3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe

table_id

string

ID estável para a tabela.

3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe

status

string

Estado de saúde consolidado ao nível da tabela. Unhealthy se alguma verificação ou grupo estiver com problemas.

Healthy, Unhealthy, Training, Error, Unknown

freshness

struct

Verificações de frescor.

status

string

Estado geral de frescor.

Unhealthy

commit_freshness

struct

confirmar resultados da verificação de frescor.

completeness

struct

Resultados da verificação de integridade.

status

string

Status da verificação de integridade.

Unhealthy

total_row_count

struct

Número total de linhas na tabela ao longo do tempo.

daily_row_count

struct

Número de linhas adicionadas a cada dia.

commit_freshness estrutura de matriz​

A estrutura commit_freshness contém o seguinte:

Nome do item

Tipo de dados

Descrição

Dados de exemplo

status

string

Status da verificação de atualização do commit.

Unhealthy

error_code

string

Mensagem de erro encontrada durante a verificação.

FAILED_TO_FIT_MODEL

last_value

carimbo de data/hora

Data e hora do último commit.

2025-06-27T11:30:00

predicted_value

carimbo de data/hora

Tempo previsto para a atualização da tabela.

2025-06-27T11:45:00

Nome do item

Tipo de dados

Descrição

Dados de exemplo

status

string

Status da verificação de atualização do commit.

Unhealthy

error_code

string

Mensagem de erro encontrada durante a verificação.

FAILED_TO_FIT_MODEL

last_value

carimbo de data/hora

Data e hora do último commit.

2025-06-27T11:30:00

predicted_value

carimbo de data/hora

Tempo previsto para a atualização da tabela.

2025-06-27T11:45:00

Estrutura de matriz total_row_count e daily_row_count​

As estruturas total_row_count e daily_row_count contêm o seguinte:

Nome do item

Tipo de dados

Descrição

Dados de exemplo

status

string

Situação da verificação.

Unhealthy

error_code

string

Mensagem de erro encontrada durante a verificação.

FAILED_TO_FIT_MODEL

last_value

int

Número de linhas observadas nas últimas 24 horas.

500

min_predicted_value

int

Número mínimo esperado de linhas nas últimas 24 horas.

10

max_predicted_value

int

Número máximo esperado de linhas nas últimas 24 horas.

1000

Nome do item

Tipo de dados

Descrição

Dados de exemplo

status

string

Situação da verificação.

Unhealthy

error_code

string

Mensagem de erro encontrada durante a verificação.

FAILED_TO_FIT_MODEL

last_value

int

Número de linhas observadas nas últimas 24 horas.

500

min_predicted_value

int

Número mínimo esperado de linhas nas últimas 24 horas.

10

max_predicted_value

int

Número máximo esperado de linhas nas últimas 24 horas.

1000