execução Trabalho contínuo

Use o modo contínuo para programar cargas de trabalho para execução contínua. Databricks recomenda o uso do modo contínuo para cargas de trabalho de transmissão sempre ativa.

O modo contínuo substitui as recomendações herdadas para cargas de trabalho de transmissão estruturada para configurar o trabalho com uma política de repetição ilimitada e um máximo de uma execução concorrente.

Importante

sem servidor compute for Job não oferece suporte ao modo contínuo.

Configurar o trabalho para execução em modo contínuo

Para configurar um trabalho para execução em modo contínuo, faça o seguinte:

  1. Na barra lateral, clique em fluxo de trabalho.

  2. Clique no nome do trabalho na coluna Name (Nome ) no site Jobs tab.

  3. Clique em Add trigger (Adicionar acionador ) no painel Job details (Detalhes do trabalho), selecione Continuous (Contínuo ) no Trigger type (Tipo de acionador) e clique em Save (Salvar).

Para interromper um trabalho contínuo, clique no botão pausa. Clique em Resume (Continuar ) para reiniciar o trabalho no modo contínuo.

Observação

  • Só pode haver uma instância em execução de um Job contínuo.

  • Existe um atraso entre o término de uma execução e o início de uma nova execução. Esse atraso deve ser inferior a 60 segundos.

  • O senhor não pode usar dependências de tarefa com um trabalho contínuo.

  • O senhor não pode usar políticas de repetição com um trabalho contínuo. Em vez disso, o trabalho contínuo usa o backoff exponencial para gerenciar as falhas de execução do trabalho.

  • Selecione executar agora para acionar a execução de um novo trabalho em um trabalho contínuo em pausa.

  • Para que seu Job contínuo pegue uma nova configuração, cancele a execução existente. Uma nova execução começa automaticamente. O senhor também pode clicar em Reiniciar execução para reiniciar a execução do trabalho com a configuração atualizada.

Como as falhas são tratadas no trabalho contínuo?

Databricks usa um esquema de backoff exponencial para gerenciar o trabalho contínuo com várias falhas consecutivas. O backoff exponencial permite a execução contínua do trabalho sem pausas e o retorno a um estado saudável quando ocorrem falhas recuperáveis.

Quando um trabalho contínuo excede o limite permitido de falhas consecutivas, o texto a seguir descreve como a execução de trabalhos subsequentes é gerenciada:

  1. O trabalho é reiniciado após um período de repetição definido pelo sistema.

  2. Se a próxima execução do trabalho falhar, o período de repetição será aumentado e o trabalho será reiniciado após esse novo período de repetição.

    1. Para cada falha subsequente na execução do trabalho, o período de repetição é aumentado até um período máximo de repetição definido pelo sistema. Depois de atingir o período máximo de repetição, o trabalho continua a ser repetido usando o período máximo de repetição. Não há limite para o número de novas tentativas em um trabalho contínuo.

    2. Se a execução do trabalho for concluída com êxito e começar uma nova execução, ou se a execução exceder um limite sem falhas, o trabalho será considerado íntegro e a sequência de backoff será reiniciada.

O senhor pode reiniciar um trabalho contínuo no estado de backoff exponencial na interface do usuário de trabalhos ou passando o ID do trabalho para o comando POST /api/2.1/Job/execução-now na página do Jobs 2.1 API ou a solicitação POST /api/2.0/Job/execução-now na API do Jobs 2.0.