Gerenciar destinos de notificação
Esta página ensina como criar e configurar destinos de notificação para o seu workspace.
As notificações do sistema são mensagens que informam quando seu fluxo de trabalho experimenta um evento de execução (começar, sucesso e falha). Por default, as notificações são enviadas para endereços de email de usuário, mas os administradores podem configurar destinos de notificação alternativos usando webhooks ou o aplicativo Databricks Genie para Slack e Microsoft Teams (versão prévia pública). Isso permite que você crie integrações orientadas a eventos com o Databricks.
Os administradores também podem configurar destinos de notificação para receber solicitações de acesso de usuários workspace, como solicitações de privilégios em objetos Unity Catalog.
O senhor precisa ser um administrador do Databricks workspace para gerenciar destinos de notificação. Depois que um destino é configurado, ele fica disponível para todos os usuários.
Os eventos de nível de account, como alertas de orçamento, usam destinos de notificação de nível de account, que os administradores account configuram no console da account. Veja Gerenciar destinos de notificação de nível de account.
Requisitos de rede
Para destinos baseados em webhook, o endpoint receptor deve atender aos seguintes requisitos:
- A Databricks impõe o uso de HTTPS para segurança. O destino da notificação deve usar certificados Secure Sockets Layer (SSL) assinados por uma autoridade certificadora confiável.
- O destino da notificação deve adicionar os endereços IP de saída do plano de controle e do plano de dados workspace à sua lista de permissões:
-
Para endereços IP de aplicativos web do plano de controle, consulte Endereços IP e domínios para Databricks serviço e ativo.
-
Para endereços IP de saída do plano de dados, consulte o arquivo
ip-ranges.jsonque a Databricks publica. Pesquise no arquivo a região do plano de dados do seu workspace e adicione à lista de permissões os endereços IP de saída correspondentes em sua pilha de rede.A Databricks pode atualizar os endereços IP de saída até uma vez a cada 30 dias. Os endereços IP atualizados entram em vigor em até 60 dias após a publicação, portanto, revise o arquivo regularmente e atualize sua lista de permissões antes do fechamento do período de ativação.
Para rastrear as alterações entre as versões, salve as versões sucessivas do arquivo JSON e compare o valor
timestampSeconds. Filtrar entradas onde:- O campo
serviceéDatabricks - O campo
platforméaws - O campo
typeéoutbound
- O campo
-
Criar um novo destino de notificação
Para configurar um novo destino de notificação
-
Clique em seu nome de usuário na barra superior do workspace e selecione Settings (Configurações) no menu suspenso.
-
Na seção de administração do espaço de trabalho , clique em Notifications (Notificações ) tab.
-
Clique no botão gerenciar .
-
Clique em +Adicionar destino.
-
Selecione um tipo de destino. Atualmente, há suporte para os seguintes destinos:
- Slack
- Webhook, com autenticação OAuth (Beta)opcional
- Microsoft Teams
- PagerDuty
- AWS EventBridge (Beta)
- ServiceNow (Beta)
- Asana (Beta)
-
Configure o destino com base no tipo.
-
Clique em Criar .
Payloads de webhook
O serviço que envia uma notificação define o payload do webhook. Para os payloads que os jobs enviam, consulte Payloads de webhook HTTP. Para o payload que os alertas do Databricks SQL enviam após uma alteração de estado, consulte Payload de webhook de alerta SQL.
Use credenciais diferentes para cada destino
A configuração de um destino é armazenada com segurança e criptografada no seu workspace do Databricks. Para destinos que exigem o fornecimento de uma URL ou credenciais, o Databricks recomenda o uso de credenciais diferentes para cada destino configurado. Isso limita o impacto caso um endpoint de terceiros seja comprometido. Estes incluem:
- Slack usando um webhook: o URL para o qual a notificação é enviada.
- Microsoft Teams usando um webhook: a URL para a qual a notificação é enviada.
- PagerDuty: integração key usada para rotear notificações de forma exclusiva para um serviço PagerDuty.
- Webhook: um nome de usuário e senha para autenticação HTTP básica (Basic), ou uma ID de cliente e segredo de cliente para autenticação OAuth (Beta).
- Asana: personal access token.
O uso de segredos diferentes para cada destino configurado permite que o senhor revogue individualmente o acesso de destinos de notificação individuais sem afetar as operações de todos os outros destinos em seu site Databricks workspace.
Autenticação OAuth para destinos de webhook
Beta
Esse recurso está em Beta. Para usá-lo, um administrador do workspace deve ativar Destination Type Generic Webhook Oauth na página Pré-visualizações . Consulte Gerenciar prévias no nível do workspace.
Use credenciais de cliente OAuth 2.0 para enviar notificações a um Endpoint que exige um access token. O Databricks obtém o token do seu provedor de identidade e o utiliza para autenticar a solicitação de notificação.
Seu provedor de identidade deve ser compatível com a concessão de credenciais de cliente. Tanto o endpoint de recebimento quanto o endpoint de token devem usar HTTPS.
Para criar um destino de webhook OAuth:
-
Em Settings > Notifications , clique em Gerenciar e, em seguida, em +Add destination .
-
Insira um nome e selecione Webhook em Type .
-
Em Authentication mode , selecione OAuth .
-
Insira os seguintes valores:
- URL : o endpoint que recebe notificações.
- ID do cliente e segredo do cliente : as credenciais emitidas pelo seu provedor de identidade.
- Token endpoint URL : o endpoint do qual o Databricks obtém um access token.
- Escopos e Público : insira esses valores opcionais se exigido pelo seu provedor de identidade. Separe vários escopos com vírgulas.
-
Clique em Criar .
A ID do cliente, o segredo do cliente e a URL do endpoint de token são necessários juntos. O OAuth não pode ser combinado com a autenticação HTTP básica (Basic).
Para verificar a configuração, abra o menu de três pontos do destino e clique em Testar . O Databricks obtém um access token e envia uma notificação de amostra. Se o teste falhar, verifique as credenciais, os escopos, o público-alvo, as permissões do receptor e o acesso à rede em ambos os endpoints.
Disponibilidade de compliance para destinos de webhook OAuth
Para Workspace com o perfil de segurança compliance habilitado, a elegibilidade da região depende dos padrões de compliance selecionados. Para nomes de região, veja regiões compatíveis.
- Se um ou mais padrões forem selecionados, abra a página de cada padrão a partir da visão geral do perfil de segurança compliance. Encontre "Destination Type Generic Webhook Oauth" na tabela de suporte regional correspondente. Sua região de workspace deve estar listada para o recurso em todos os padrões selecionados.
- Se nenhum padrão de compliance estiver selecionado, nenhuma restrição regional específica de padrão adicional será aplicada. Verifique a página de visualizações do workspace para Tipo de Destino Webhook OAuth Genérico .
destino do AWS EventBridge
Beta
Esse recurso está em Beta. Para usá-lo, um administrador do workspace deve ativar Tipo de Destino Aws Eventbridge na página Prévias . Consulte Gerenciar prévias do nível de workspace.
Os Workspace hospedados em qualquer cloud compatível podem enviar notificações para um bus de eventos do Amazon EventBridge em sua AWS account. Uma regra do EventBridge roteia as notificações correspondentes para um destino, como uma função do AWS Lambda. Os dados de notificação deixam o Databricks quando você os envia para o EventBridge.
Requisitos do EventBridge
A configuração do EventBridge requer acesso de admin do Workspace e permissão para criar ou configurar os seguintes recursos em sua account AWS:
- Um barramento de eventos do EventBridge na região que recebe notificações.
- Uma função do AWS Identity and Access Management (IAM role) na mesma account AWS que o barramento de eventos.
- Uma regra do EventBridge e um destino que consome as notificações.
Você também precisa da AWS CLI configurada com credenciais que tenham permissão iam:GetRole nessa account AWS.
Entre em contato com sua equipe de account do Databricks para obter o padrão do CloudFormation que cria a IAM role.
O barramento de eventos e a função devem usar a partição comercial da AWS (arn:aws:). A região no ARN (Amazon Recurso Name) do barramento de eventos determina onde o Databricks envia os eventos.
Criar um destino EventBridge
-
Crie um barramento de eventos ou selecione um barramento existente e copie seu ARN.
-
No Databricks, vá para Configurações > Notificações , clique em Gerenciar e depois em +Adicionar destino .
-
Insira um nome e selecione AWS EventBridge como Tipo .
-
Copie o ARN da entidade principal do Databricks e o ID externo exibidos no formulário.
-
Na account AWS que possui o barramento de eventos, abra o AWS CloudFormation e crie uma stack a partir do padrão fornecido pela sua equipe da account. Insira os seguintes parâmetros padrão:
DatabricksPrincipalArn: o ARN principal copiado do formulário de destino.ExternalId: O ID Externo copiado do formulário de destino.EventBusArn: O ARN do barramento de eventos exato. Não use curingas.
Mantenha as políticas de confiança e permissões do padrão inalteradas. Reconheça que a pilha cria recursos IAM e, em seguida, crie a pilha. A função concede apenas
events:PutEventsno barramento especificado. -
Copie
RoleArndas saídas da pilha. Execute o seguinte comando, substituindo<role-name>pelo componente final desse ARN e envie a saída para sua equipe de account para confirmar a política de confiança e o ID externo:Bashaws iam get-role --role-name <role-name> --output json -
Depois que sua equipe account confirmar a configuração, retorne ao formulário de destino e digite o Event bus ARN e o Role ARN . Clique em Criar .
O destino aparece na lista de destinos de notificação.
Clique no nome do destino para editar suas configurações ou selecione Excluir no menu de três pontos para removê-lo. A exclusão do destino no Databricks não exclui a stack CloudFormation, IAM role ou barramento de eventos em sua account AWS. Exclua esses recursos separadamente na AWS se não precisar mais deles.
O ID externo é o ID da sua account Databricks, compartilhado pelos Workspace nessa account. Não é um segredo. Qualquer administrador de Workspace na mesma account Databricks que conheça os ARNs de função e barramento pode criar um destino que envia para esse barramento. Os filtros de regra do EventBridge controlam quais eventos atingem um destino. Eles não restringem quais Workspace podem enviar para o barramento.
O Databricks usa o serviço de token de segurança da AWS (STS) para obter credenciais temporárias para essa função. Você não fornece chaves de acesso da AWS ao Databricks.
Encaminhar notificações do EventBridge para um destino
Cada evento do EventBridge tem source definido como databricks.notifications, um detail-type que identifica o tipo de notificação e detail que contém o payload da notificação. O campo detail.workspace.id identifica o workspace de envio entre os tipos de notificação compatíveis.
-
Crie uma regra de EventBridge no barramento de eventos que você configurou.
-
Defina o padrão de evento para corresponder às notificações que você deseja receber. Por exemplo, este padrão corresponde a notificações
JOB_RUN_ERROR_V2de um workspace. Substitua<workspace-id>pelo seu ID de workspace:JSON{"source": ["databricks.notifications"],"detail-type": ["JOB_RUN_ERROR_V2"],"detail": {"workspace": {"id": ["<workspace-id>"]}}}Para rotear todos os tipos de notificação para esse workspace, omita
detail-typedo padrão. -
Selecione o destino da regra, configure suas permissões necessárias e habilite a regra.
O EventBridge usa a regra para rotear eventos correspondentes para o destino. A entrega pode produzir notificações duplicadas. A carga varia de acordo com o tipo de notificação, e o destino não fornece uma key de desduplicação compartilhada. Para JOB_RUN_ERROR_V2, um destino pode usar detail.workspace.id, detail.run.run_id, detail.run.attempt e detail-type juntos para identificar notificações repetidas.
Destino do Slack
Para configurar um destino do Slack baseado em webhook, siga as instruções em Webhooks de entrada para o Slack. Cole a URL gerada no seu destino de notificações do Databricks. Para usar o aplicativo Databricks Genie em vez disso, consulte Destinos do aplicativo Genie para Slack e Microsoft Teams.
Destinos de aplicativos do Genie para Slack e Microsoft Teams
Visualização
Esse recurso está em Prévia Pública. Para usá-lo, um administrador do workspace deve ativar o Destination Type Databricks App Slack ou Destination Type Databricks App Teams na página Previews . Consulte Gerenciar prévias no nível do workspace.
Use o aplicativo Databricks Genie para conectar seu workspace do Slack ou tenant do Microsoft Teams ao seu workspace do Databricks. Em seguida, selecione um canal disponível como destino de notificações.
Você pode usar destinos de aplicativos do Genie com os seguintes recursos:
- Alertas SQL: Slack e Microsoft Teams.
- Solicitações de acesso do Unity Catalog: Slack e Microsoft Teams.
- Notificações do endpoint do Model Serving: Slack.
Criar um destino de aplicativo do Genie
Antes de criar um destino de aplicativo Genie, você deve instalar o aplicativo Databricks Genie para Slack ou Microsoft Teams, conectá-lo ao seu workspace do Databricks e adicioná-lo ao canal que recebe notificações. Para obter detalhes sobre a instalação do aplicativo e os passos de conexão, consulte Slack ou Microsoft Teams.
Para criar um destino de aplicativo do Genie:
-
Em Settings > Notifications , clique em Gerenciar e, em seguida, em +Add destination .
-
Para Type , selecione Slack ou Microsoft Teams e, em seguida, selecione Using Databricks App .
-
Insira um nome para o destino.
-
Selecione o workspace ou o tenant e o canal:
- Para o Slack, selecione o Slack Workspace e o canal .
- Para o Microsoft Teams, selecione o tenant e o canal . O seletor de tenant identifica cada tenant pelos últimos seis caracteres de sua ID de tenant.
Se nenhum workspace do Slack ou tenant do Microsoft Teams estiver conectado, clique em Conectar um workspace do Slack ou Conectar um tenant do Teams , respectivamente, e conclua a configuração do aplicativo Genie. Retorne ao formulário de destino e clique em Refresh . Se você acabou de adicionar o aplicativo Genie a um canal, clique em Recarregar canais para atualizar a lista de canais.
-
Clique em Criar .
Destino do Asana
Beta
Este recurso está em Beta. Para usá-lo, um administrador do workspace deve ativar o Tipo de Destino Asana na página Visualizações . Consulte Gerenciar prévias no nível do workspace.
Use um destino Asana para criar uma tarefa em um projeto ou Trigger uma regra existente do Asana quando uma notificação ocorrer.
As notificações enviadas ao Asana deixam o Databricks e são processadas e armazenadas de acordo com suas configurações de acesso e retenção do Asana. Escolha recursos de recebimento com controles de acesso apropriados.
Preparar Asana
Use um usuário dedicado do Asana com acesso limitado aos projetos e recursos que recebem notificações. Crie um access token pessoal (PAT) para esse usuário no console de desenvolvedor do Asana. PATs têm longa duração e herdam o acesso do usuário ao Asana.
Prepare os recursos para o seu fluxo de trabalho escolhido:
- Criação de tarefa : um projeto Asana e seu ID numérico de projeto. Cada notificação cria uma tarefa nesse projeto com um título e notas derivados da notificação.
- Trigger de regra : Uma regra do Asana existente com um Trigger de solicitação da Web de entrada, seu ID numérico de Trigger de regra e uma tarefa existente para a qual a execução da regra será realizada. O Asana requer a tarefa mesmo se as ações da regra não a utilizarem.
A regra recebe name e notes em action_data para usar em suas ações. Alguns tipos de notificação também incluem dedup_key. As tentativas podem Trigger a regra novamente, portanto, projete suas ações para lidar com notificações repetidas.
Use IDs numéricos, não URLs completas. Para uma URL de trigger de regra que contenha /rule_triggers/<id>/run, copie apenas o valor numérico <id>. O ID da tarefa âncora identifica a tarefa existente. O usuário PAT deve ter acesso aos recursos selecionados.
Para URLs de projeto como https://app.asana.com/1/<workspace-id>/project/<project-id>/list, copie <project-id>. Para URLs de tarefa como https://app.asana.com/1/<workspace-id>/project/<project-id>/task/<task-id>, copie <task-id>. URLs /0/ mais antigas usam os IDs de projeto e tarefa iguais.
Criar um destino do Asana
-
Em Settings > Notifications , clique em Gerenciar e, em seguida, em +Add destination .
-
Insira um nome e selecione Asana para Tipo .
-
Insira o access token pessoal .
-
Para Fluxo de trabalho , selecione um dos seguintes:
- Criação de tarefa : insira o ID do projeto numérico.
- Trigger de regra : insira o ID de trigger de regra numérico e o ID da tarefa âncora .
-
Clique em Criar .
Ao alterar o fluxo de trabalho, o ID do projeto, o ID do trigger da regra ou o ID da tarefa âncora, insira o PAT novamente antes de salvar, mesmo que o token não tenha sido alterado. Alterar apenas o nome de destino não requer nova inserção de token.
Destino do PagerDuty
Para configurar um destino do PagerDuty:
- No PagerDuty, adicione uma integração ao seu serviço e selecione o tipo de integração Events API V2 .
- Copie a chave de integração que o PagerDuty gera para a integração.
- No Databricks, cole a key de integração no destino de notificações do PagerDuty.
Destino ServiceNow
Beta
Esse recurso está em Beta. Para usá-lo, um administrador de workspace deve habilitar Tipo de Destino ServiceNow na página Prévias . Consulte Gerenciar prévias do nível do workspace.
Envie notificações para uma tabela do ServiceNow usando a API de Tabela e credenciais de cliente OAuth 2.0.
Requisitos do ServiceNow
Antes de criar o destino, peça ao seu administrador do ServiceNow para preparar o seguinte:
-
Um usuário de integração dedicado com permissão para criar registros em sua tabela. Limite as funções do usuário e o acesso à tabela às permissões necessárias para a integração.
-
Um aplicativo OAuth que ofereça suporte à concessão de credenciais de cliente, com um ID de cliente, segredo do cliente e um endpoint de token HTTPS. Configure o aplicativo da seguinte forma:
- Defina o Usuário do Aplicativo OAuth como o usuário de integração dedicado. Se o campo estiver oculto, adicione-o à disposição do formulário.
- Permitir chamadas de API de Tabela sem um escopo OAuth solicitado explicitamente. O Databricks não solicita um escopo.
-
Uma tabela acessível por meio de uma URL da API de Tabela HTTPS, como
https://<instance>.service-now.com/api/now/table/<table_name>. -
Colunas da tabela que correspondem aos nomes na tabela a seguir. Use os nomes Aplicativo ou Global que correspondem ao escopo da sua tabela. A coluna payload deve acomodar o conteúdo JSON da notificação como uma string.
Coluna de escopo da aplicação | Coluna de escopo global | conteúdo |
|---|---|---|
|
| Tipo de evento de notificação. |
|
| Identificador de evento. Isso pode estar vazio para alguns eventos. |
|
| Descrição do evento. |
|
| Timestamp do evento. Isso pode estar vazio para alguns eventos. |
|
| JSON específico do evento serializado como uma string. |
Os valores de URL e URL do Endpoint de tokens não devem conter credenciais ou parâmetros de query confidenciais. Os dados de notificação saem do Databricks e são enviados para sua instância do ServiceNow, que pode estar fora da região do seu workspace. Configure o acesso e a retenção no ServiceNow para atender aos requisitos da sua organização.
Criar um destino ServiceNow
-
Em Settings > Notifications , clique em Gerenciar e, em seguida, em +Add destination .
-
Insira um nome e selecione ServiceNow para Type .
-
Insira os seguintes valores:
- URL : o endpoint da API de Tabela do ServiceNow para sua tabela.
- ID do cliente e Segredo do cliente : as credenciais emitidas pelo seu aplicativo OAuth do ServiceNow.
- Token endpoint URL : o endpoint de token HTTPS do seu aplicativo ServiceNow OAuth, como
https://<instance>.service-now.com/oauth_token.do. - Escopo da tabela : selecione Aplicativo ou Global para corresponder aos nomes das colunas em sua tabela.
-
Clique em Criar .
Depois de criar o destino, envie uma notificação por meio do seu fluxo de trabalho normal e confirme se um novo registro aparece na sua tabela do ServiceNow.
Para editar o destino ou rotacionar suas credenciais, clique no nome do destino, atualize os campos e clique em Salvar . Insira novamente o segredo do cliente ao alterar a URL ou a URL do endpoint do token . Para excluir o destino, abra o menu de três pontos dele, clique em Excluir e confirme a exclusão.
Adicionar um webhook a um trabalho
Depois de configurar os destinos, o senhor pode acessá-los nas configurações de notificações do siteJob de um trabalho. Para obter mais informações, consulte Adicionar notificações em um trabalho.
Cada Job suporta até três destinos de sistema por tipo de evento. Ao configurar as notificações de trabalho, os endereços email devem ser inseridos manualmente.
Limitações
Atualmente, os destinos de notificação têm as seguintes limitações:
- Os destinos de notificação por e-mail têm um limite de 1.300 caracteres para o comprimento do endereço do destinatário.
- Para corpos de notificação personalizados, destinos que não são de e-mail, como o Slack e o Microsoft Teams, não dão suporte à formatação HTML. Alguns destinos de notificações aceitam markdown.
- Para o trabalho, os destinos do email devem ser definidos manualmente nas configurações do trabalho.