Référence de la table système des résultats de monitoring de la qualité des données
Aperçu
Cette fonctionnalité est en aperçu public.
Cette page présente le schéma de la table système des résultats de monitoring de la qualité des données et inclut des exemples de queries. La table stocke les résultats des vérifications de récence et d’exhaustivité de toutes les tables pour lesquelles le monitoring de la qualité des données est activé dans votre metastore.
Chemin de la table : system.data_quality_monitoring.table_results
Seuls les administrateurs de compte peuvent accéder à cette table, et ils doivent accorder l'accès à d'autres utilisateurs selon les besoins. La table système utilise le stockage default. Puisqu’il contient des valeurs d’échantillon, faites preuve de prudence lorsque vous accordez l’accès à d’autres utilisateurs.
Schéma de table des résultats du monitoring de la qualité des données
La table system.data_quality_monitoring.table_results utilise le schéma suivant :
Nom de colonne | Contenu (pour le type de données | Type de données | Description | Données d'exemple |
|---|---|---|---|---|
| Horodatage | Heure à laquelle la ligne a été générée. |
| |
| chaîne | Nom du catalogue. Permet d'identifier la table. |
| |
| chaîne | Nom du schéma. Permet d'identifier la table. |
| |
| chaîne | Nom de la table. Permet d'identifier la table. |
| |
| chaîne | ID stable pour le catalogue. |
| |
| chaîne | ID stable du schéma. |
| |
| chaîne | ID stable pour la table. |
| |
| chaîne | État de santé consolidé au niveau de la table. « Unhealthy » si une vérification ou un groupe est défaillant. |
| |
| structure | Vérifications de récence. | ||
| chaîne | Statut général d'actualisation. |
| |
| Résultats de la vérification de l'actualisation des commits. | |||
| structure | Résultats du contrôle d'exhaustivité. | ||
| chaîne | État de la vérification d'exhaustivité. |
| |
| Nombre total de lignes dans le tableau au fil du temps. | |||
| Nombre de lignes ajoutées chaque jour. |
structure de tableau commit_freshness
La structure commit_freshness contient les éléments suivants :
Nom de l'élément | Type de données | Description | Données d'exemple |
|---|---|---|---|
| chaîne | État de la vérification de l'actualisation des commits. |
|
| chaîne | Message d’erreur rencontré lors de la vérification. |
|
| Horodatage | Dernier commit Timestamp. |
|
| Horodatage | Heure prédite à laquelle la table aurait dû être mise à jour. |
|
structure de tableau total_row_count et daily_row_count
Les structures total_row_count et daily_row_count contiennent les éléments suivants :
Nom de l'élément | Type de données | Description | Données d'exemple |
|---|---|---|---|
| chaîne | Statut de la vérification. |
|
| chaîne | Message d’erreur rencontré lors de la vérification. |
|
| int | Nombre de lignes observées au cours des dernières 24 heures. |
|
| int | Nombre minimal de lignes attendues au cours des dernières 24 heures. |
|
| int | Nombre maximal attendu de lignes au cours des dernières 24 heures. |
|
Exemples de requêtes
Remplacez les valeurs de parameter par les vôtres avant l'exécution.
Obtenir tous les incidents actuels dans un schéma
WITH latest_rows AS (
SELECT
*,
ROW_NUMBER() OVER (
PARTITION BY table_id
ORDER BY event_time DESC
) AS rn
FROM
system.data_quality_monitoring.table_results
WHERE
catalog_name = "c"
AND schema_name = "s"
)
SELECT *
FROM latest_rows
WHERE
rn = 1
AND status = "Unhealthy"
Obtenir toutes les tables dans un schéma qui sont actuellement affectées par un problème de fraîcheur.
WITH latest_rows AS (
SELECT
*,
ROW_NUMBER() OVER (
PARTITION BY table_id
ORDER BY event_time DESC
) AS rn
FROM
system.data_quality_monitoring.table_results
WHERE
catalog_name = "c"
AND schema_name = "s"
)
SELECT *
FROM latest_rows
WHERE rn = 1
AND freshness.status = "Unhealthy"
Obtenir tous les enregistrements historiques d'une table
SELECT *
FROM system.data_quality_monitoring.table_results
WHERE
catalog_name = "c"
AND schema_name = "s"
AND table_name = "t"