Configurar alerta com base na detecção de anomalia

Esta página descreve como configurar um alerta com base nos resultados de uma varredura de detecção de anomalias. Para uma introdução à detecção de anomalia, consulte detecção de anomalia.

Para configurar um alerta Databricks SQL na tabela de resultados de saída de detecção de anomalia, siga estes passos. Para obter mais detalhes sobre como configurar um alerta, consulte AlertaDatabricks SQL.

important

Por default, somente os administradores account podem acessar a tabela do sistema system.data_quality_monitoring.table_results. Caso outros usuários precisem configurar alertas, certifique-se de conceder o acesso apropriado.

1. Clique em "Alerta" na barra lateral e clique em "Criar alerta" .

2. Insira o seguinte texto no editor de consultas:

   SQL

   WITH rounded_data AS (
   SELECT
      DATE_TRUNC('HOUR', event_time) AS evaluated_at,
      CONCAT(catalog_name, '.', schema_name, '.', table_name) AS full_table_name,
      status,
      MAX(downstream_impact.num_queries_on_affected_tables) AS impacted_queries,
      MAX(freshness.commit_freshness.predicted_value) AS commit_expected,
      MAX(freshness.commit_freshness.last_value) AS commit_actual,
      MAX(completeness.daily_row_count.min_predicted_value) AS completeness_expected,
      MAX(completeness.daily_row_count.last_value) AS completeness_actual
   FROM system.data_quality_monitoring.table_results
   GROUP BY ALL
   )
   SELECT
      evaluated_at,
      full_table_name,
      status,
      commit_expected,
      commit_actual,
      completeness_expected,
      completeness_actual,
      impacted_queries
   FROM rounded_data
   WHERE
      evaluated_at >= current_timestamp() - INTERVAL 6 HOURS
      -- enter the minimum number of table violations before the alert is triggered
      AND impacted_queries > :min_tables_affected
      AND status = 'Unhealthy';

nota

Para Job beta legado, a configuração de alerta existente deve substituir system.data_quality_monitoring.table_results por <catalog>.<schema>._quality_monitoring_summary.

3. execução da consulta.

4. Utilizando o editor de alertas no lado direito da tela, configure a condição do alerta. Para obter detalhes, consulte Criar um alerta.

   

5. (Opcional) Para personalizar o modelo email , abra a tab Avançado no lado direito da tela e marque a opção Personalizar modelo para abrir o editor de modelos.

   Um exemplo de email personalizado padrão é mostrado abaixo. Para obter mais informações sobre padrão personalizado, consulte Configurações avançadas.

   Html

   <h4>The following tables are failing quality checks in the last hour</h4>
   
   <table>
     <tr>
       <td>
         <table>
           <tr>
             <th>Table</th>
             <th>Expected Staleness</th>
             <th>Actual Staleness</th>
             <th>Expected Row Volume</th>
             <th>Actual Row Volume</th>
             <th>Impact (queries)</th>
           </tr>
           
           {<a id='QUERY_RESULT_ROWS'/>}
           <tr>
             <td>{{full_table_name}}</td>
             <td>{{commit_expected}}</td>
             <td>{{commit_actual}}</td>
             <td>{{completeness_expected}}</td>
             <td>{{completeness_actual}}</td>
             <td>{{impacted_queries}}</td>
           </tr>
           
           {{/QUERY_RESULT_ROWS}}
         </table>
       </td>
     </tr>
   </table>

Agora, você tem um alerta que é acionado com base no impacto subsequente do problema de qualidade, ajudando você a depurar a tabela que disparou o alerta.