Automatize Jobs com programações e acionadores
Configure os Jobs do Lakeflow para acionar automaticamente em qualquer das seguintes situações:
- Em uma programação baseada em tempo
- Na atualização das tabelas de origem
- Na chegada de arquivos a um local de armazenamento do Unity Catalog
- Na criação ou atualização de um modelo do Unity Catalog
- Continuamente
O senhor também pode acionar a execução do Job manualmente ou por meio de ferramentas externas de orquestração.
Job programar e acionadores
Tipo de trigger | Comportamento |
|---|---|
Agendado | Aciona a execução de um trabalho com base em uma programação baseada em tempo. Ver execução Job on a programar. |
Atualização da tabela | Aciona a execução de uma tarefa quando as tabelas de origem são atualizadas. Consulte Acionar tarefa quando as tabelas de origem forem atualizadas. |
Chegada do arquivo | Aciona a execução de um trabalho quando novos arquivos chegam a um local de armazenamento Unity Catalog monitorado. Consulte Trigger Job quando novos arquivos chegarem. |
Atualização do modelo | Aciona uma execução de job quando um modelo do Unity Catalog é criado, uma versão do modelo está pronta ou um alias do modelo é definido (Beta). Consulte Jobs de trigger quando modelos são atualizados. |
Contínuo | Para manter o trabalho sempre em execução, acione outra execução de trabalho sempre que uma execução de trabalho for concluída ou falhar. Ver execução do trabalho continuamente. |
Nenhum (manual) | A execução é acionada manualmente com o botão executar agora ou programaticamente usando outras ferramentas de orquestração. Veja Trigger a execução de um único Job |
Em default, apenas uma única execução de um trabalho pode estar ativa por vez. No entanto, é possível aumentar esse limite nas configurações avançadas. execução são ignorados quando excedem a simultaneidade máxima configurada para um trabalho. Consulte Configurar a execução máxima da concorrente.
Configurar um acionador em um trabalho
-
Abra o trabalho no qual o senhor deseja configurar um acionador.
-
No painel de detalhes do siteJob , role para baixo até a seção Programar & Triggers e clique em Add trigger (Adicionar gatilho ).
-
Em Agendamentos e Triggers , selecione o tipo de acionador que deseja configurar: Programado , Atualização de tabela , Chegada de arquivo , Atualização de modelo ou Contínuo .
Com base no tipo de gatilho, outras opções também estão disponíveis para configuração.
-
Clique em Salvar . Após salvar, o Job é executado automaticamente com base no gatilho configurado.
Se uma ou mais tarefas em um trabalho com várias tarefas não forem bem-sucedidas, o senhor poderá reexecutar o subconjunto de tarefas mal-sucedidas. Veja Re-execução falhou e tarefa pulada.
Adicionar vários Trigger a um Job
Beta
O suporte a múltiplos Trigger em Lakeflow Jobs está em Beta. Os administradores do workspace podem controlar o acesso ao recurso na página Pré-visualizações do workspace usando a configuração Múltiplos Triggers . Consulte Gerenciar prévias do Databricks.
Durante a versão Beta de múltiplos Trigger, um Job pode ter até cinco Trigger.
Você pode adicionar vários Trigger do mesmo tipo ou de tipos diferentes a um Job. Quando qualquer trigger ativo for avaliado como verdadeiro, ele começará uma execução. Por exemplo, você pode usar um trigger de atualização de tabela para começar a execução de um job quando os dados estiverem prontos e adicionar um trigger agendado adicional como backup. Você também pode usar vários Trigger de chegada de arquivos para monitorar diferentes locais de armazenamento.
Cada trigger pode ser pausado e retomado de forma independente. Um trigger contínuo não pode ser combinado com nenhum outro trigger, pois o job já tem execução contínua.
Para adicionar vários Trigger, siga os passos em Configurar um Trigger em um Job para cada Trigger. Clique em Adicionar trigger na seção Agendas e triggers para adicionar outro trigger.
Para configurar vários Trigger com a Jobs API 2.1 ou posterior, use a matriz triggers em JobSettings. Não defina triggers na mesma solicitação que os campos legados schedule, trigger ou continuous. Se você atualizar triggers, isso substituirá a matriz inteira. Consulte a Jobs API e a referência do Bundles job.triggers.
Gerenciar existing triggers
To edit, pausa, resume, or remove a trigger, use the programar & Triggers section of the Job details pane. Each trigger has independent controls. These controls appear only for jobs that have a trigger configured.
- Para modificar o acionador, clique em Editar acionador .
- To pausa an active Trigger, click Pause . Any currently active execuções continue, but the Trigger no longer começa new execuções. To resume the trigger, click Resume . The configured behavior resumes on the same programar previously configured.
- Para remover o acionador do job, clique em **Excluir**.
Ao criar ou editar um trigger, você também pode alternar entre Ativo e Pausado na caixa de diálogo Agendamentos e Triggers para controlar o Status do Trigger .
Se uma execução estiver ativa quando um acionamento contínuo for retomado, o programador do Job aguardará até que essa execução seja concluída para acionar uma nova execução.
Limitações
Aplicam-se os seguintes limites aos Trigger de Job:
- Um Workspace pode ter até 12.000 Trigger ativos em todos os Job e tipos de Trigger. Trigger pausados não contam para esse limite. Este limite se aplica independentemente de a prévia de Múltiplos Trigger estar ativada.