Aller au contenu principal
Dernière mise à jour le

Alertes pour la détection d'anomalies

Cette page explique comment configurer et afficher des alertes pour la détection d'anomalies. Pour une introduction à la détection d'anomalies, consultez Détection d'anomalies.

Les alertes vous avertissent lorsque la détection d'anomalies identifie un problème de qualité des données, tel qu'une table obsolète ou une baisse inattendue du nombre de lignes. Vous pouvez travailler avec les alertes des manières suivantes :

Alertes dans l'interface utilisateur de monitoring de la qualité des données​

info

Bêta

Cette fonctionnalité est en version bêta et est visible par tous les utilisateurs par default. Les administrateurs du Workspace n'ont pas besoin d'activer la fonctionnalité à partir de la page Previews .

Les règles d'alerte notifient les utilisateurs du Workspace sélectionnés par e-mail lorsqu'une table défectueuse est détectée dans un catalogue ou un schéma. Vous créez et gérez ces règles directement à partir de l’interface utilisateur de Contrôle qualité des données.

Chaque règle d'alerte est étendue à un catalogue ou à un schéma spécifique. Lorsqu’une table surveillée dans le cadre de la règle devient défectueuse, chaque destinataire reçoit un e-mail par table défectueuse importante.

Autorisations requises​

Les privilèges nécessaires pour créer ou gérer une règle d'alerte dépendent de la portée de la règle :

  • Pour créer une alerte au niveau du schéma, vous devez disposer du privilège MANAGE sur le schéma.
  • Pour créer une alerte au niveau du catalogue, vous devez disposer du privilège MANAGE sur le catalogue.

Afficher et gérer les alertes de monitoring de la qualité des données​

Pour afficher vos règles d’alerte :

  1. Accédez à un schéma dans l'Explorateur de catalogue. La monitoring de la qualité des données doit être activée pour ce schéma.
  2. Cliquez sur l'onglet tab . À côté de Data Quality monitoring , cliquez sur Afficher les résultats . Cela ouvre l'interface utilisateur du monitoring de la qualité des données.
  3. Dans le coin supérieur droit de la page, cliquez sur Gérer les alertes . Une fenêtre contextuelle s'ouvre, affichant vos règles d'alerte existantes, y compris le catalogue, le schéma et le nombre de destinataires pour chaque règle.

À partir de cette fenêtre contextuelle, vous pouvez créer une nouvelle règle d'alerte, sélectionner une alerte existante pour modifier sa portée et ses destinataires, ou supprimer l'alerte.

La fenêtre contextuelle Gérer les alertes répertorie les règles d’alerte avec leur catalogue, leur schéma et le nombre de destinataires.

Créer une alerte​

Pour créer une alerte :

  1. Dans le coin supérieur droit de l’interface utilisateur de monitoring de la qualité des données, cliquez sur **Gérer les alertes** pour ouvrir la fenêtre contextuelle des alertes.

  2. Cliquez sur Créer une alerte .

  3. Configurez la règle d'alerte :

    • Catalogue : sélectionnez le catalogue à surveiller.
    • **Schéma** : sélectionnez un schéma spécifique ou sélectionnez **All Schemas** pour créer une alerte au niveau du catalogue qui couvre chaque schéma du catalogue.
    • Notifier : recherchez et sélectionnez un ou plusieurs utilisateurs du Workspace à notifier par e-mail.

  4. Cliquez sur Enregistrer .

Créer une alerte avec Databricks SQL​

important

By default, seuls les administrateurs de compte peuvent accéder à la table système system.data_quality_monitoring.table_results. Si d'autres utilisateurs doivent configurer des alertes, assurez-vous d'accorder l'accès approprié.

Pour créer une alerte sur la table des résultats de sortie de la détection d'anomalies à l'aide de Databricks SQL, procédez comme suit :

  1. Cliquez sur **Alertes** dans la barre latérale et cliquez sur **Créer une alerte**.

  2. Saisissez le texte suivant dans l’éditeur de query :

    SQL
    WITH rounded_data AS (
    SELECT
       DATE_TRUNC('HOUR', event_time) AS evaluated_at,
       CONCAT(catalog_name, '.', schema_name, '.', table_name) AS full_table_name,
       status,
       MAX(downstream_impact.num_queries_on_affected_tables) AS impacted_queries,
       MAX(freshness.commit_freshness.predicted_value) AS commit_expected,
       MAX(freshness.commit_freshness.last_value) AS commit_actual,
       MAX(completeness.daily_row_count.min_predicted_value) AS completeness_expected,
       MAX(completeness.daily_row_count.last_value) AS completeness_actual
    FROM system.data_quality_monitoring.table_results
    GROUP BY ALL
    )
    SELECT
       evaluated_at,
       full_table_name,
       status,
       commit_expected,
       commit_actual,
       completeness_expected,
       completeness_actual,
       impacted_queries
    FROM rounded_data
    WHERE
       evaluated_at >= current_timestamp() - INTERVAL 6 HOURS
       -- enter the minimum number of table violations before the alert is triggered
       AND impacted_queries > :min_tables_affected
       AND status = 'Unhealthy';
remarque

Pour les Jobs bêta hérités, la configuration d'alerte existante doit remplacer system.data_quality_monitoring.table_results par <catalog>.<schema>._quality_monitoring_summary.

  1. Exécutez la query.

  2. À l'aide de l'éditeur d'alertes situé sur le côté droit de l'écran, configurez la condition d'alerte. Pour plus de détails, consultez Créer une alerte.

    Configurez la condition de Trigger

  3. (Facultatif) Pour personnaliser le template d'e-mail, ouvrez la tab **Avancé** sur le côté droit de l'écran, et cochez **Personnaliser le template** pour ouvrir l'éditeur de templates.

    Un exemple de template d'e-mail personnalisé est présenté ci-dessous. Pour plus d'informations sur les templates personnalisés, consultez Paramètres avancés.

    Html
    <h4>The following tables are failing quality checks in the last hour</h4>

    <table>
      <tr>
        <td>
          <table>
            <tr>
              <th>Table</th>
              <th>Expected Staleness</th>
              <th>Actual Staleness</th>
              <th>Expected Row Volume</th>
              <th>Actual Row Volume</th>
              <th>Impact (queries)</th>
            </tr>
            
            {<a id='QUERY_RESULT_ROWS'/>}
            <tr>
              <td>{{full_table_name}}</td>
              <td>{{commit_expected}}</td>
              <td>{{commit_actual}}</td>
              <td>{{completeness_expected}}</td>
              <td>{{completeness_actual}}</td>
              <td>{{impacted_queries}}</td>
            </tr>
            
            {{/QUERY_RESULT_ROWS}}
          </table>
        </td>
      </tr>
    </table>

Maintenant, vous avez une alerte qui se déclenche en fonction de l'impact en aval du problème de qualité, ce qui vous aide à déboguer la table qui a déclenché l'alerte.

Sur cette page