execução Trabalho contínuo

Use o modo contínuo para programar cargas de trabalho para execução contínua. Databricks recomenda o uso do modo contínuo para cargas de trabalho de transmissão sempre ativa.

O modo contínuo substitui as recomendações herdadas para cargas de trabalho de transmissão estruturada para configurar o trabalho com uma política de repetição ilimitada e um máximo de uma execução concorrente.

important

sem servidor compute for Job não oferece suporte ao modo contínuo.

Configurar o trabalho para execução em modo contínuo

Para configurar um trabalho para execução em modo contínuo, faça o seguinte:

1. Na barra lateral do site Databricks workspace, clique em Jobs & pipeline .

2. Opcionalmente, selecione os filtros Empregos e de minha propriedade .

3. Clique no link Nome do seu trabalho.

4. Job Clique em Adicionar gatilho no painel de detalhes do fluxo de trabalho de notificação de erro , selecione Contínuo em Tipo de gatilho.

5. Opcionalmente, selecione um modo de repetição da tarefa . É possível selecionar Tentar novamente em caso de falha para repetir a tarefa que falhou dentro de um trabalho ou selecionar Nunca para tentar novamente apenas no nível do trabalho. O modo de repetição da tarefa é predefinido como Ativado em caso de falha para o modo contínuo.

nota

Para uma tarefa já existente, pode ser necessário clicar primeiro em Configurar modo de repetição e, em seguida, selecionar um modo de repetição da tarefa.

6. Clique em Salvar .

Para interromper um trabalho contínuo, clique no botão pausa . Clique em Resume (Continuar) para reiniciar o trabalho no modo contínuo.

nota

• Só pode haver uma instância em execução de um Job contínuo.
• Existe um atraso entre o término de uma execução e o início de uma nova execução. Esse atraso deve ser inferior a 60 segundos.
• O senhor não pode usar dependências de tarefa com um trabalho contínuo.
• Não é possível utilizar políticas de repetição em um trabalho contínuo. Em vez disso, o Job contínuo tenta automaticamente todo o Job novamente em caso de falha, utilizando um algoritmo de recuo exponencial.
• É possível configurar tentativas adicionais no nível da tarefa, definindo o modo de repetição da tarefa como Em caso de falha .
• Selecione executar agora para acionar a execução de um novo trabalho em um trabalho contínuo em pausa.
• Para que seu Job contínuo pegue uma nova configuração, cancele a execução existente. Uma nova execução começa automaticamente. O senhor também pode clicar em Reiniciar execução para reiniciar a execução do trabalho com a configuração atualizada.

Como as falhas são tratadas no trabalho contínuo?

As falhas são gerenciadas utilizando um algoritmo de backoff exponencial .

Quando o modo de repetição da tarefa está definido como Em caso de falha , as tarefas com falha são repetidas com um atraso exponencialmente crescente até que o número máximo de repetições permitidas seja atingido (três para uma única tarefa). Após atingir o número máximo de tentativas, a execução é cancelada e uma nova execução é acionada. Para tarefas com múltiplas tarefas, uma tarefa com falha aciona uma nova execução se não houver outras tarefas em execução ou se todas as outras tarefas não concluídas também estiverem em estado de falha ou tentativa de repetição.

Falhas consecutivas em um nível de trabalho também são gerenciadas usando backoff exponencial, o que permite que o trabalho contínuo seja executado sem pausas e retorne a um estado saudável quando ocorrerem falhas recuperáveis.

Quando um trabalho contínuo excede o limite permitido de falhas consecutivas, o texto a seguir descreve como a execução de trabalhos subsequentes é gerenciada:

1. O trabalho é reiniciado após um período de repetição definido pelo sistema.
2. Se a próxima execução do trabalho falhar, o período de repetição será aumentado e o trabalho será reiniciado após esse novo período de repetição.
   1. Para cada falha subsequente na execução do trabalho, o período de repetição é aumentado até um período máximo de repetição definido pelo sistema. Depois de atingir o período máximo de repetição, o trabalho continua a ser repetido usando o período máximo de repetição. Não há limite para o número de novas tentativas em um trabalho contínuo.
   2. Se a execução do trabalho for concluída com êxito e começar uma nova execução, ou se a execução exceder um limite sem falhas, o trabalho será considerado íntegro e a sequência de backoff será reiniciada.

O senhor pode reiniciar um trabalho contínuo no estado de backoff exponencial na interface do usuário de trabalhos ou passando o ID do trabalho para o comando POST /api/2.1/Job/execução-now no Jobs 2.1 API ou a solicitação POST /api/2.0/Job/execução-now na API do Jobs 2.0.