Adicionar email e notificações do sistema para eventos de trabalho

O senhor pode monitorar a execução de um trabalho e as tarefas que fazem parte desse trabalho configurando notificações quando uma execução começa, é concluída com êxito, falha ou sua duração excede um limite configurado. As notificações podem ser enviadas para um ou mais endereços email ou destinos do sistema, como Slack, Microsoft Teams, PagerDuty ou qualquer serviço baseado em webhook.

Configurar notificações do sistema

Observação

  • Para cada Job ou tarefa, o senhor pode configurar um máximo de três destinos do sistema para cada tipo de evento de notificação.

  • Um administrador deve configurar os destinos do sistema. Os destinos do sistema são configurados selecionando Criar novo destino na caixa de diálogo Editar notificações do sistema ou na página de configurações do administrador.

  • As notificações que o senhor define no nível do trabalho não são enviadas quando a tarefa com falha é repetida. Para receber uma notificação de falha após cada tarefa com falha (incluindo cada nova tentativa com falha), use as notificações de tarefa. Para adicionar notificações do sistema para a execução da tarefa, clique em + Adicionar ao lado de Notificações no painel de tarefas quando o senhor adicionar ou editar uma tarefa de trabalho.

  • Um trabalho que foi concluído em um estado Succeeded with failures é considerado bem-sucedido. Para receber alertas sobre trabalhos concluídos nesse estado, o senhor deve selecionar Success ao configurar as notificações.

As notificações do sistema se integram às ferramentas de notificação populares, incluindo:

Para adicionar uma ou mais notificações do sistema quando a execução desse trabalho tiver um evento notificável, como um início, conclusão ou falha do trabalho:

  1. No painel de detalhes doJob para seu trabalho, clique em Edit notifications (Editar notificações).

  2. Clique em Adicionar notificação e selecione um destino do sistema em Destino.

  3. Em Selecionar um destino do sistema, selecione um destino e clique na caixa de seleção de cada tipo de notificação a ser enviada para esse destino.

  4. Para adicionar outro destino, clique em Adicionar notificação novamente.

  5. Clique em Confirmar.

Importante

O conteúdo das mensagens do Slack e do Microsoft Teams pode mudar em versões futuras. Você não deve implementar clientes ou processamentos que dependam do conteúdo específico ou da formatação dessas mensagens. Se o senhor precisar de um esquema ou formatação específicos para as notificações, a Databricks recomenda a configuração de um webhook definido pelo usuário.

Configurar notificações por e-mail

Observação

  • As notificações que o senhor define no nível do trabalho não são enviadas quando a tarefa com falha é repetida. Para receber uma notificação de falha após cada tarefa com falha (incluindo cada nova tentativa com falha), use as notificações de tarefa. Para adicionar notificações do email para a execução da tarefa, clique em + Add (Adicionar ) ao lado de Notifications (Notificações ) no painel da tarefa quando o senhor adicionar ou editar uma tarefa de trabalho.

  • Um trabalho que foi concluído em um estado Succeeded with failures é considerado bem-sucedido. Para receber alertas sobre trabalhos concluídos nesse estado, o senhor deve selecionar Success ao configurar as notificações.

Para adicionar um ou mais endereços email para notificar quando a execução desse trabalho começar, for concluída ou falhar:

  1. No painel de detalhes doJob para seu trabalho, clique em Edit notifications (Editar notificações).

  2. Clique em Add Notification (Adicionar notificação ) e selecione o endereço de e-mail em Destination (Destino).

  3. Digite um endereço email e clique na caixa de seleção de cada tipo de notificação para enviar para esse endereço.

  4. Para inserir outro endereço email para notificação, clique novamente em Add notification (Adicionar notificação ).

  5. Clique em Confirmar.

O senhor pode usar as notificações por e-mail para se integrar a ferramentas como Amazon SES e SNS.

Configurar notificações quando um limite for excedido

Se o senhor tiver configurado um limite para um trabalho ou uma tarefa, como duração ou atraso na transmissão de métricas, poderá adicionar uma notificação email ou do sistema se o trabalho ou a tarefa exceder o limite configurado. Para receber uma notificação de um trabalho ou tarefa que exceda um limite de duração, clique na caixa de seleção de Aviso de duração quando o senhor adicionar ou editar uma notificação. Para receber uma notificação de um Job ou tarefa que exceda o backlog de transmissão métricas, clique na caixa de seleção do backlog de transmissão quando o senhor adicionar ou editar uma notificação.

O seguinte se aplica à transmissão backlog métricas:

  • As notificações são enviadas quando o backlog médio em um período de 10 minutos excede o limite definido.

  • Para evitar o excesso de mensagens, o Databricks aguarda 30 minutos antes de determinar se deve enviar outra mensagem. Embora a lista de pendências permaneça alta, você receberá atualizações em intervalos de 30 minutos.

Filtrar as notificações de execução pulada ou cancelada

O senhor pode reduzir o número de notificações enviadas filtrando as notificações quando uma execução é ignorada ou cancelada. Para filtrar as notificações, marque a opção Silenciar notificações para execução ignorada ou Silenciar notificações para execução cancelada quando o senhor adicionar ou modificar email as notificações do site ou as notificações do sistema.

Observação

A seleção da opção Silenciar notificações para execução ignorada ou Silenciar notificações para execução cancelada de um trabalho não filtra as notificações configuradas para a tarefa do trabalho. Para filtrar todas as notificações de execução ignorada ou cancelada, o senhor também deve filtrar as notificações de nível de tarefa que tiver configurado.

Cargas úteis de webhook HTTP

Se o senhor usar um webhook HTTP para enviar notificações, a seguir estão exemplos de cargas úteis enviadas pela Databricks para o endpoint configurado.

Notificação para um evento de execução de trabalho:

{
  "event_type": "jobs.on_start",
  "workspace_id": "your_workspace_id",
  "run": {
    "run_id": "run_id"
  },
  "job": {
    "job_id": "job_id",
    "name": "job_name"
  }
}

Notificação para um evento de execução de tarefa começar:

{
  "event_type": "jobs.on_start",
  "workspace_id": "your_workspace_id",
  "task": {
    "task_key": "task_name"
  },
  "run": {
    "run_id": "run_id_of_task"
    "parent_run_id": "run_id_of_parent_job_run"
  },
  "job": {
    "job_id": "job_id",
    "name": "job_name"
  }
}

Ao configurar destinos, os webhooks podem ser configurados para os seguintes tipos de eventos:

Código do evento

Quando é enviado?

jobs.on_start

A execução começará.

jobs.on_success

Uma execução é interrompida e concluída em um estado bem-sucedido ou bem-sucedido com falhas.

jobs.on_failure

Uma execução é interrompida em um estado malsucedido.

jobs.on_duration_warning_threshold_exceeded

Uma execução está em andamento há mais tempo do que a duração esperada configurada.