Examiner les résultats journalisés de la détection d'anomalies

Par default, les résultats de l'analyse du monitoring de la qualité des données sont stockés dans la table system.data_quality_monitoring.table_results. Seuls les administrateurs de compte peuvent accéder à cette table, et ils doivent accorder l’accès à d’autres personnes si nécessaire. Le monitoring de la qualité des données utilise le stockage par default pour stocker les résultats de la détection d'anomalies. Le stockage ne vous est pas facturé.

important

La table de résultats system.data_quality_monitoring.table_results contient tous les résultats de l'intégralité du metastore et inclut des exemples de valeurs provenant de tables de chaque catalogue. Vous ne devez partager cette table qu'avec les utilisateurs autorisés à consulter les résultats de monitoring de la qualité des données à l'échelle du metastore.

Schéma de table des résultats de la détection d'anomalies

Chaque ligne de la table de résultats correspond à une seule table dans le schéma qui a été analysé.

La table a le schéma suivant :

Nom de colonne	Contenu (pour le type de données struct)	Type de données	Description	Données d'exemple
event_time		Horodatage	Heure à laquelle la ligne a été générée.	2025-06-27T12:00:00
catalog_name		chaîne	Nom du catalogue. Permet d'identifier la table.	main
schema_name		chaîne	Nom du schéma. Permet d'identifier la table.	default
table_name		chaîne	Nom de la table. Permet d'identifier la table.	events
catalog_id		chaîne	ID stable pour le catalogue.	3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe
schema_id		chaîne	ID stable du schéma.	3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe
table_id		chaîne	ID stable pour la table.	3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe
status		chaîne	État de santé consolidé au niveau de la table. Unhealthy si une vérification ou un groupe est défaillant.	Healthy, Unhealthy, Training, Error, Unknown
freshness		structure	Vérifications de récence.
	status	chaîne	Statut général d'actualisation.	Unhealthy
	commit_freshness	structure	Résultats de la vérification de l'actualisation des commits.
completeness		structure	Résultats du contrôle d'exhaustivité.
	status	chaîne	État de la vérification d'exhaustivité.	Unhealthy
	total_row_count	structure	Nombre total de lignes dans le tableau au fil du temps.
	daily_row_count	structure	Nombre de lignes ajoutées chaque jour.
downstream_impact (Bêta)		structure	Résumé de l'impact en aval basé sur le graphe des dépendances.
	impact_level	int	Indicateur de gravité (0 = aucune, 1 = faible, 2 = moyenne, 3 = élevée, 4 = très élevée).	2
	num_downstream_tables	int	Nombre de tables en aval affectées.	5
	num_queries_on_affected_tables	int	Nombre de requêtes exécutées sur les tables en aval affectées au cours des 30 derniers jours.	120
root_cause_analysis (Bêta)		structure	Informations sur les jobs en amont contribuant au problème. Cette colonne sera bientôt obsolète. Après son obsolescence, il ne sera plus alimenté.
	upstream_jobs	tableau	Métadonnées pour chaque job en amont.

Nom de colonne	Contenu (pour le type de données struct)	Type de données	Description	Données d'exemple
event_time		Horodatage	Heure à laquelle la ligne a été générée.	2025-06-27T12:00:00
catalog_name		chaîne	Nom du catalogue. Permet d'identifier la table.	main
schema_name		chaîne	Nom du schéma. Permet d'identifier la table.	default
table_name		chaîne	Nom de la table. Permet d'identifier la table.	events
catalog_id		chaîne	ID stable pour le catalogue.	3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe
schema_id		chaîne	ID stable du schéma.	3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe
table_id		chaîne	ID stable pour la table.	3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe
status		chaîne	État de santé consolidé au niveau de la table. Unhealthy si une vérification ou un groupe est défaillant.	Healthy, Unhealthy, Training, Error, Unknown
freshness		structure	Vérifications de récence.
	status	chaîne	Statut général d'actualisation.	Unhealthy
	commit_freshness	structure	Résultats de la vérification de l'actualisation des commits.
completeness		structure	Résultats du contrôle d'exhaustivité.
	status	chaîne	État de la vérification d'exhaustivité.	Unhealthy
	total_row_count	structure	Nombre total de lignes dans le tableau au fil du temps.
	daily_row_count	structure	Nombre de lignes ajoutées chaque jour.
downstream_impact (Bêta)		structure	Résumé de l'impact en aval basé sur le graphe des dépendances.
	impact_level	int	Indicateur de gravité (0 = aucune, 1 = faible, 2 = moyenne, 3 = élevée, 4 = très élevée).	2
	num_downstream_tables	int	Nombre de tables en aval affectées.	5
	num_queries_on_affected_tables	int	Nombre de requêtes exécutées sur les tables en aval affectées au cours des 30 derniers jours.	120
root_cause_analysis (Bêta)		structure	Informations sur les jobs en amont contribuant au problème. Cette colonne sera bientôt obsolète. Après son obsolescence, il ne sera plus alimenté.
	upstream_jobs	tableau	Métadonnées pour chaque job en amont.

structure de tableau commit_freshness

La structure commit_freshness contient les éléments suivants :

Nom de l'élément	Type de données	Description	Données d'exemple
status	chaîne	État de la vérification de l'actualisation des commits.	Unhealthy
error_code	chaîne	Message d’erreur rencontré lors de la vérification.	FAILED_TO_FIT_MODEL
last_value	Horodatage	Dernier commit Timestamp.	2025-06-27T11:30:00
predicted_value	Horodatage	Heure prédite à laquelle la table aurait dû être mise à jour.	2025-06-27T11:45:00

Nom de l'élément	Type de données	Description	Données d'exemple
status	chaîne	État de la vérification de l'actualisation des commits.	Unhealthy
error_code	chaîne	Message d’erreur rencontré lors de la vérification.	FAILED_TO_FIT_MODEL
last_value	Horodatage	Dernier commit Timestamp.	2025-06-27T11:30:00
predicted_value	Horodatage	Heure prédite à laquelle la table aurait dû être mise à jour.	2025-06-27T11:45:00

structure de tableau total_row_count et daily_row_count

Les structures total_row_count et daily_row_count contiennent les éléments suivants :

Nom de l'élément	Type de données	Description	Données d'exemple
status	chaîne	Statut de la vérification.	Unhealthy
error_code	chaîne	Message d’erreur rencontré lors de la vérification.	FAILED_TO_FIT_MODEL
last_value	int	Nombre de lignes observées au cours des dernières 24 heures.	500
min_predicted_value	int	Nombre minimal de lignes attendues au cours des dernières 24 heures.	10
max_predicted_value	int	Nombre maximal attendu de lignes au cours des dernières 24 heures.	1000

Nom de l'élément	Type de données	Description	Données d'exemple
status	chaîne	Statut de la vérification.	Unhealthy
error_code	chaîne	Message d’erreur rencontré lors de la vérification.	FAILED_TO_FIT_MODEL
last_value	int	Nombre de lignes observées au cours des dernières 24 heures.	500
min_predicted_value	int	Nombre minimal de lignes attendues au cours des dernières 24 heures.	10
max_predicted_value	int	Nombre maximal attendu de lignes au cours des dernières 24 heures.	1000

structure de tableau upstream_jobs

La structure du tableau affiché dans la colonne upstream_jobs est présentée dans le tableau suivant :

Nom de l'élément	Type de données	Description	Données d'exemple
job_id	chaîne	ID de Job.	12345
workspace_id	chaîne	ID du Workspace.	6051921418418893
job_name	chaîne	Nom d'affichage du Job.	daily_refresh
last_run_status	chaîne	Statut de l'exécution la plus récente.	SUCCESS
run_page_url	chaîne	URL de la page d'exécution du Job Databricks.	https://<workspace_url>/runs/123

Nom de l'élément	Type de données	Description	Données d'exemple
job_id	chaîne	ID de Job.	12345
workspace_id	chaîne	ID du Workspace.	6051921418418893
job_name	chaîne	Nom d'affichage du Job.	daily_refresh
last_run_status	chaîne	Statut de l'exécution la plus récente.	SUCCESS
run_page_url	chaîne	URL de la page d'exécution du Job Databricks.	https://<workspace_url>/runs/123

Informations sur l'impact en aval

Dans la table des Logs, la colonne downstream_impact est un struct avec les champs suivants :

Champ	Type	Description
impact_level	int	Valeur entière entre 1 et 4 indiquant la gravité du problème de qualité des données. Des valeurs plus élevées indiquent une disruption plus importante.
num_downstream_tables	int	Nombre de tables en aval qui pourraient être affectées par le problème identifié.
num_queries_on_affected_tables	int	Nombre total de requêtes ayant référencé les tables affectées et en aval au cours des 30 derniers jours.

Champ	Type	Description
impact_level	int	Valeur entière entre 1 et 4 indiquant la gravité du problème de qualité des données. Des valeurs plus élevées indiquent une disruption plus importante.
num_downstream_tables	int	Nombre de tables en aval qui pourraient être affectées par le problème identifié.
num_queries_on_affected_tables	int	Nombre total de requêtes ayant référencé les tables affectées et en aval au cours des 30 derniers jours.