Automatize Jobs com programações e acionadores
Configure os Jobs do Lakeflow para acionar automaticamente em qualquer das seguintes situações:
- Em uma programação baseada em tempo
- Na atualização das tabelas de origem
- Na chegada de arquivos a um local de armazenamento do Unity Catalog
- Na criação ou atualização de um modelo do Unity Catalog
- Na conclusão de jobs upstream
- Continuamente
O senhor também pode acionar a execução do Job manualmente ou por meio de ferramentas externas de orquestração.
Job programar e acionadores
Tipo de trigger | Comportamento |
|---|---|
Agendado | Aciona a execução de um trabalho com base em uma programação baseada em tempo. Ver execução Job on a programar. |
Atualização da tabela | Aciona a execução de uma tarefa quando as tabelas de origem são atualizadas. Consulte Acionar tarefa quando as tabelas de origem forem atualizadas. |
Chegada do arquivo | Aciona a execução de um trabalho quando novos arquivos chegam a um local de armazenamento Unity Catalog monitorado. Consulte Trigger Job quando novos arquivos chegarem. |
Atualização do modelo | Aciona uma execução de job quando um modelo do Unity Catalog é criado, uma versão do modelo está pronta ou um alias do modelo é definido (Beta). Consulte Jobs de trigger quando modelos são atualizados. |
Conclusão do job | Trigger uma execução de Job quando um ou mais Job upstream são concluídos com um resultado correspondente (Beta). Consulte Trigger Job quando Job upstream forem concluídos. |
Contínuo | Para manter o trabalho sempre em execução, acione outra execução de trabalho sempre que uma execução de trabalho for concluída ou falhar. Ver execução do trabalho continuamente. |
Nenhum (manual) | A execução é acionada manualmente com o botão executar agora ou programaticamente usando outras ferramentas de orquestração. Veja Trigger a execução de um único Job |
Por default, apenas uma execução de um job pode estar ativa por vez. No entanto, é possível aumentar esse limite nas configurações avançadas. As execuções da maioria dos tipos de trigger são ignoradas quando excedem a simultaneidade máxima configurada para um job. Os Trigger de conclusão de Job retêm conclusões prontas até que outra execução possa ser iniciada. Consulte Configurar número máximo de execuções concorrentes.
Configurar um acionador em um trabalho
-
Abra o trabalho no qual o senhor deseja configurar um acionador.
-
No painel de detalhes do siteJob , role para baixo até a seção Programar & Triggers e clique em Add trigger (Adicionar gatilho ).
-
Em Programações e Triggers , selecione o tipo de trigger que você deseja configurar: Agendado , Atualização de tabela , Chegada de arquivo , Atualização de modelo , Conclusão de job upstream ou Contínuo .
Com base no tipo de gatilho, outras opções também estão disponíveis para configuração.
-
Clique em Salvar . Após salvar, o Job é executado automaticamente com base no gatilho configurado.
Se uma ou mais tarefas em um trabalho com várias tarefas não forem bem-sucedidas, o senhor poderá reexecutar o subconjunto de tarefas mal-sucedidas. Veja Re-execução falhou e tarefa pulada.
Usar recomendações de trigger AI
Se um Job não tiver um Trigger, a seção programar & Trigger poderá recomendar até dois Trigger. O Databricks baseia cada recomendação no conteúdo dos jobs e das tarefas, nas tabelas upstream da linhagem e na história recente de execuções. Por exemplo, se um job lê uma tabela do Unity Catalog, o Databricks pode recomendar um trigger de atualização de tabela nessa tabela.
Uma recomendação aparece apenas se:
- Os recursos assistivos do Databricks AI estão habilitados para o workspace. Você não pode desligar as recomendações de trigger separadamente.
- Você tem a permissão CAN MANAGE (Pode gerenciar) ou IS OWNER (Proprietário) no job. Consulte Gerenciar identidades, permissões e privilégios para Lakeflow Jobs.
- O job não está implantado com Pacotes de Automação Declarativa.
- O código ou linhagem do job fornece evidências suficientes para um trigger.
Cada recomendação mostra o trigger e uma pequena explicação. Revise-a e faça um dos seguintes procedimentos:
- Clique em Aplicar para salvar o trigger no job. O trigger fica ativo imediatamente. Para alterá-lo ou removê-lo, consulte Gerenciar Trigger existentes.
- Clique em Refinar para alterar a recomendação no Genie Code.
- Clique em
para ignorar a recomendação. Uma recomendação ignorada permanece oculta apenas no navegador onde você a ignorou.
Adicionar vários Trigger a um Job
Beta
O suporte a múltiplos Trigger em Lakeflow Jobs está em Beta. Os administradores do workspace podem controlar o acesso ao recurso na página Pré-visualizações do workspace usando a configuração Múltiplos Triggers . Consulte Gerenciar prévias do Databricks.
Durante a versão Beta de múltiplos Trigger, um Job pode ter até cinco Trigger.
Você pode adicionar vários Trigger do mesmo tipo ou de tipos diferentes a um Job. Quando qualquer trigger ativo for avaliado como verdadeiro, ele começará uma execução. Por exemplo, você pode usar um trigger de atualização de tabela para começar a execução de um job quando os dados estiverem prontos e adicionar um trigger agendado adicional como backup. Você também pode usar vários Trigger de chegada de arquivos para monitorar diferentes locais de armazenamento.
Cada trigger pode ser pausado e retomado de forma independente. Um trigger contínuo não pode ser combinado com nenhum outro trigger, pois o job já tem execução contínua.
Para adicionar vários Trigger, siga os passos em Configurar um Trigger em um Job para cada Trigger. Clique em Adicionar trigger na seção Agendas e triggers para adicionar outro trigger.
Para configurar vários Trigger com a Jobs API 2.1 ou posterior, use a matriz triggers em JobSettings. Não defina triggers na mesma solicitação que os campos legados schedule, trigger ou continuous. Se você atualizar triggers, isso substituirá a matriz inteira. Consulte a Jobs API e a referência do Bundles job.triggers.
Gerenciar existing triggers
To edit, pausa, resume, or remove a trigger, use the programar & Triggers section of the Job details pane. Each trigger has independent controls. These controls appear only for jobs that have a trigger configured.
- Para modificar o acionador, clique em Editar acionador .
- To pausa an active Trigger, click Pause . Any currently active execuções continue, but the Trigger no longer começa new execuções. To resume the trigger, click Resume . The configured behavior resumes on the same programar previously configured.
- Para remover o acionador do job, clique em **Excluir**.
Ao criar ou editar um trigger, você também pode alternar entre Ativo e Pausado na caixa de diálogo Agendamentos e Triggers para controlar o Status do Trigger .
Se uma execução estiver ativa quando um acionamento contínuo for retomado, o programador do Job aguardará até que essa execução seja concluída para acionar uma nova execução.
Limitações
Aplicam-se os seguintes limites aos Trigger de Job:
- Um Workspace pode ter até 12.000 Trigger ativos em todos os Job e tipos de Trigger. Trigger pausados não contam para esse limite. Este limite se aplica independentemente de a prévia de Múltiplos Trigger estar ativada.