alerta para detecção de anomalia

Esta página descreve como configurar e view alerta para detecção de anomalia. Para uma introdução à detecção de anomalia, consulte detecção de anomalia.

O alerta notifica você quando a detecção de anomalia identifica um problema de qualidade de dados, como uma tabela desatualizada ou uma queda inesperada na contagem de linhas. Você pode trabalhar com alertas das seguintes maneiras:

• Interface de monitoramento da qualidade de dados (Beta) : Crie e view alertas diretamente da interface de monitoramento da qualidade de dados sem sair da página. Consulte Criar um alerta na interface do usuário de monitoramento da qualidade de dados.
• Databricks SQL: Configure um alerta consultando a tabela do sistema de saída de detecção de anomalia. Essa abordagem oferece suporte a filtragem avançada e padrões de notificação personalizados. Consulte Criar um alerta com o Databricks SQL.

ver alerta na UI de monitoramento de qualidade de dados

info

Beta

Este recurso está em versão Beta e é visível para todos os usuários por default. Os administradores do espaço de trabalho não precisam ativar o recurso na página de pré-visualizações .

O botão de alerta no canto superior direito da IU de monitoramento de qualidade de dados fornece um resumo da sua detecção de alerta de anomalia sem sair da página.

Para view seu alerta:

1. Navegue até um esquema no Explorador de Catálogo. O monitoramento da qualidade dos dados deve estar ativado para este esquema.

2. Clique na tab Detalhes . Ao lado de Monitoramento da Qualidade dos Dados , clique em visualizar resultados . Isso abre a interface de monitoramento da qualidade dos dados.

3. No canto superior direito da página, clique em alerta (Beta) . Isso abre um painel que exibe um resumo dos seus alertas configurados. Você também pode clicar no alerta para criar rapidamente um novo alerta.

4. Clique em qualquer alerta da lista para abrir sua view detalhada.

   

Criando alerta

Você pode criar alertas usando a interface de monitoramento de qualidade de dados ou com Databricks SQL.

Crie um alerta na UI de monitoramento de qualidade de dados

info

Beta

Este recurso está em versão Beta e é visível para todos os usuários por default. Os administradores do espaço de trabalho não precisam ativar o recurso na página de pré-visualizações .

importante

Por default, somente os administradores account podem acessar a tabela do sistema system.data_quality_monitoring.table_results. Caso outros usuários precisem configurar alertas, certifique-se de conceder o acesso apropriado.

Para criar um alerta na UI de monitoramento de qualidade de dados, siga estes passos:

1. Navegue até o esquema para o qual deseja criar um alerta no Explorador de Catálogo. O monitoramento da qualidade dos dados deve estar ativado para este esquema.

2. Clique na tab Detalhes e, em seguida, clique em visualizar resultados ao lado de Monitoramento da Qualidade dos Dados . Isso abre a interface de monitoramento da qualidade de dados para o catálogo e esquema específicos que você selecionou.

   Para criar um alerta para todos os esquemas em um catálogo, selecione "Todos os esquemas" no menu suspenso de esquemas.

3. Se você estiver criando seu primeiro alerta, clique em Criar alerta (Beta) no canto superior direito.

   

   Se já existir um alerta, este botão aparecerá como alerta (Beta) . Clique no botão para abrir um painel que mostra um resumo dos seus alertas configurados. Clique alerta para criar um novo alerta.

   

4. Configure seu alerta. O alerta é preenchido previamente com uma consulta SQL, que você pode editar usando o Botão Editar no canto superior direito. Além disso, você pode clicar no botão "Programar" para configurar um programador automatizado para avaliar o alerta ou clicar em "Executar agora" para avaliar o alerta imediatamente.

Crie um alerta com o Databricks SQL.

importante

Por default, somente os administradores account podem acessar a tabela do sistema system.data_quality_monitoring.table_results. Caso outros usuários precisem configurar alertas, certifique-se de conceder o acesso apropriado.

Para criar um alerta na tabela de resultados de saída de detecção de anomalia usando Databricks SQL, siga estes passos:

1. Clique em "Alerta" na barra lateral e clique em "Criar alerta" .

2. Insira o seguinte texto no editor de consultas:

   SQL

   WITH rounded_data AS (
   SELECT
      DATE_TRUNC('HOUR', event_time) AS evaluated_at,
      CONCAT(catalog_name, '.', schema_name, '.', table_name) AS full_table_name,
      status,
      MAX(downstream_impact.num_queries_on_affected_tables) AS impacted_queries,
      MAX(freshness.commit_freshness.predicted_value) AS commit_expected,
      MAX(freshness.commit_freshness.last_value) AS commit_actual,
      MAX(completeness.daily_row_count.min_predicted_value) AS completeness_expected,
      MAX(completeness.daily_row_count.last_value) AS completeness_actual
   FROM system.data_quality_monitoring.table_results
   GROUP BY ALL
   )
   SELECT
      evaluated_at,
      full_table_name,
      status,
      commit_expected,
      commit_actual,
      completeness_expected,
      completeness_actual,
      impacted_queries
   FROM rounded_data
   WHERE
      evaluated_at >= current_timestamp() - INTERVAL 6 HOURS
      -- enter the minimum number of table violations before the alert is triggered
      AND impacted_queries > :min_tables_affected
      AND status = 'Unhealthy';

nota

Para Job beta legado, a configuração de alerta existente deve substituir system.data_quality_monitoring.table_results por <catalog>.<schema>._quality_monitoring_summary.

3. execução da consulta.

4. Utilizando o editor de alertas no lado direito da tela, configure a condição do alerta. Para obter detalhes, consulte Criar um alerta.

   

5. (Opcional) Para personalizar o modelo email , abra a tab Avançado no lado direito da tela e marque a opção Personalizar modelo para abrir o editor de modelos.

   Um exemplo email personalizado padrão é mostrado abaixo. Para obter mais informações sobre padrão personalizado, consulte Configurações avançadas.

   Html

   <h4>The following tables are failing quality checks in the last hour</h4>
   
   <table>
     <tr>
       <td>
         <table>
           <tr>
             <th>Table</th>
             <th>Expected Staleness</th>
             <th>Actual Staleness</th>
             <th>Expected Row Volume</th>
             <th>Actual Row Volume</th>
             <th>Impact (queries)</th>
           </tr>
           
           {<a id='QUERY_RESULT_ROWS'/>}
           <tr>
             <td>{{full_table_name}}</td>
             <td>{{commit_expected}}</td>
             <td>{{commit_actual}}</td>
             <td>{{completeness_expected}}</td>
             <td>{{completeness_actual}}</td>
             <td>{{impacted_queries}}</td>
           </tr>
           
           {{/QUERY_RESULT_ROWS}}
         </table>
       </td>
     </tr>
   </table>

Agora, você tem um alerta que é acionado com base no impacto subsequente do problema de qualidade, ajudando você a depurar a tabela que disparou o alerta.