alerta para detecção de anomalia

Esta página descreve como configurar e view alerta para detecção de anomalia. Para uma introdução à detecção de anomalia, consulte detecção de anomalia.

O alerta notifica você quando a detecção de anomalia identifica um problema de qualidade de dados, como uma tabela desatualizada ou uma queda inesperada na contagem de linhas. Você pode trabalhar com alertas das seguintes maneiras:

• Interface de usuário de monitoramento da qualidade de dados **(Beta)**: crie e gerencie alertas diretamente da interface de usuário de monitoramento da qualidade de dados, sem sair da página. Consulte alertas na interface do usuário de monitoramento da qualidade dos dados.
• Databricks SQL: Configure um alerta consultando a tabela do sistema de saída de detecção de anomalia. Essa abordagem oferece suporte a filtragem avançada e padrões de notificação personalizados. Consulte Criar um alerta com o Databricks SQL.

Alertas na Interface do Usuário de Monitoramento da Qualidade dos Dados

info

Beta

Este recurso está em versão Beta e é visível para todos os usuários por default. Os administradores do espaço de trabalho não precisam ativar o recurso na página de pré-visualizações .

As regras de alerta notificam usuários selecionados do workspace por email quando uma tabela com problemas é detectada em um catálogo ou esquema. Criar e gerenciar essas regras diretamente da interface do usuário de monitoramento da qualidade de dados.

Cada regra de alerta está definida para um catálogo ou para um esquema específico. Quando uma tabela monitorada dentro do escopo da regra ficar com problemas, cada destinatário recebe um alerta por email.

Permissões necessárias

Os privilégios necessários para criar ou gerenciar uma regra de alerta dependem do escopo da regra:

• Para criar um alerta de nível de esquema, é preciso ter o privilégio MANAGE no esquema.
• Para criar um alerta no nível do catálogo, o usuário deve ter o privilégio MANAGE no catálogo.

Visualizar e gerenciar alertas de Monitoramento da Qualidade dos Dados

Para visualizar as regras de alerta:

1. Navegue até um esquema no Explorador de Catálogo. O monitoramento da qualidade dos dados deve estar ativado para este esquema.
2. Clique na tab Detalhes . Ao lado de Monitoramento da Qualidade dos Dados , clique em visualizar resultados . Isso abre a interface de monitoramento da qualidade dos dados.
3. No canto superior direito da página, clique em Gerenciar alertas . É exibido um pop-over, mostrando suas regras de alerta existentes, incluindo o catálogo, o esquema e o número de destinatários para cada regra.

Neste menu flutuante, é possível criar uma nova regra de alerta, selecionar um alerta existente para editar seu escopo e destinatários, ou excluir o alerta.

Criar um alerta

Para criar um alerta:

1. No canto superior direito da UI de Monitoramento de Qualidade de Dados, clique em Gerenciar alertas para abrir o pop-over de alertas.

2. Clique em **Criar alerta**.

3. Configurar a regra de alerta:

   • Catálogo : Selecione o catálogo para monitorar.
   • Esquema: Selecione um esquema específico ou selecione Todos os esquemas para criar um alerta em nível de catálogo que abranja todos os esquemas no catálogo.
   • Notificar : Procure e selecione um ou mais usuários do workspace para notificar por email.

4. Clique em Salvar .

Crie um alerta com o Databricks SQL.

importante

Por default, somente os administradores account podem acessar a tabela do sistema system.data_quality_monitoring.table_results. Caso outros usuários precisem configurar alertas, certifique-se de conceder o acesso apropriado.

Para criar um alerta na tabela de resultados de saída de detecção de anomalia usando Databricks SQL, siga estes passos:

1. Clique em "Alerta" na barra lateral e clique em "Criar alerta" .

2. Insira o seguinte texto no editor de consultas:

   SQL

   WITH rounded_data AS (
   SELECT
      DATE_TRUNC('HOUR', event_time) AS evaluated_at,
      CONCAT(catalog_name, '.', schema_name, '.', table_name) AS full_table_name,
      status,
      MAX(downstream_impact.num_queries_on_affected_tables) AS impacted_queries,
      MAX(freshness.commit_freshness.predicted_value) AS commit_expected,
      MAX(freshness.commit_freshness.last_value) AS commit_actual,
      MAX(completeness.daily_row_count.min_predicted_value) AS completeness_expected,
      MAX(completeness.daily_row_count.last_value) AS completeness_actual
   FROM system.data_quality_monitoring.table_results
   GROUP BY ALL
   )
   SELECT
      evaluated_at,
      full_table_name,
      status,
      commit_expected,
      commit_actual,
      completeness_expected,
      completeness_actual,
      impacted_queries
   FROM rounded_data
   WHERE
      evaluated_at >= current_timestamp() - INTERVAL 6 HOURS
      -- enter the minimum number of table violations before the alert is triggered
      AND impacted_queries > :min_tables_affected
      AND status = 'Unhealthy';

nota

Para Job beta legado, a configuração de alerta existente deve substituir system.data_quality_monitoring.table_results por <catalog>.<schema>._quality_monitoring_summary.

3. execução da consulta.

4. Utilizando o editor de alertas no lado direito da tela, configure a condição do alerta. Para obter detalhes, consulte Criar um alerta.

   

5. (Opcional) Para personalizar o modelo email , abra a tab Avançado no lado direito da tela e marque a opção Personalizar modelo para abrir o editor de modelos.

   Um exemplo email personalizado padrão é mostrado abaixo. Para obter mais informações sobre padrão personalizado, consulte Configurações avançadas.

   Html

   <h4>The following tables are failing quality checks in the last hour</h4>
   
   <table>
     <tr>
       <td>
         <table>
           <tr>
             <th>Table</th>
             <th>Expected Staleness</th>
             <th>Actual Staleness</th>
             <th>Expected Row Volume</th>
             <th>Actual Row Volume</th>
             <th>Impact (queries)</th>
           </tr>
           
           {<a id='QUERY_RESULT_ROWS'/>}
           <tr>
             <td>{{full_table_name}}</td>
             <td>{{commit_expected}}</td>
             <td>{{commit_actual}}</td>
             <td>{{completeness_expected}}</td>
             <td>{{completeness_actual}}</td>
             <td>{{impacted_queries}}</td>
           </tr>
           
           {{/QUERY_RESULT_ROWS}}
         </table>
       </td>
     </tr>
   </table>

Agora, você tem um alerta que é acionado com base no impacto subsequente do problema de qualidade, ajudando você a depurar a tabela que disparou o alerta.