execução Job on a programar ou continuamente

O senhor pode executar o trabalho Databricks periodicamente com o tipo de acionador Scheduled ou garantir que haja sempre uma execução ativa do trabalho com o tipo de acionador Continuous.

O senhor pode usar um programar para executar automaticamente seu Databricks Job em horários e períodos específicos. O senhor pode definir uma programação simples para executar o trabalho periodicamente ou uma programação avançada que usa cron para definir horários específicos para uma programação periódica. Com um programador avançado, o senhor também pode selecionar um fuso horário para o seu programador. O senhor pode pausar um trabalho agendado a qualquer momento.

Quando o senhor executa o trabalho com o acionador contínuo, o site Databricks Jobs garante que sempre haja uma execução ativa do trabalho. A execução de um novo trabalho começa depois que a execução anterior é concluída com êxito ou com um status de falha, ou se não houver nenhuma instância do trabalho em execução no momento.

Adicionar um programa de trabalho

O tipo de acionador Programado tem duas opções:

Definir um programa básico para executar um trabalho periodicamente com base em uma unidade de tempo e um intervalo especificados. Por exemplo, programar um trabalho para ser executado a cada doze horas.
Defina um programar avançado que ofereça mais controle sobre o período, a hora e o fuso horário para executar o trabalho.

Para definir um programador para o trabalho:

Na barra lateral, clique em fluxo de trabalho.
Na coluna Name (Nome ) em Jobs tab, clique no nome do Job.
No painel de detalhes do siteJob , clique em Add trigger (Adicionar acionador).
Em Trigger type (Tipo de acionador ), selecione Scheduled (Programado).
Em Tipo de programa, selecione Simples ou Avançado.
1. Simples: Especificar um intervalo e uma unidade de tempo para executar o trabalho.
2. Avançado: Especificar o período, a hora de início e o fuso horário. Opcionalmente, marque a caixa de seleção Show Cron Syntax para exibir e editar o programa no Quartz Cron Syntax.
Clique em Salvar.

O senhor também pode programar um Job do Notebook diretamente na UI do Notebook.

Observação

Databricks impõe um intervalo mínimo de 10 segundos entre as execuções subsequentes acionadas pelo programar de um trabalho, independentemente da configuração de segundos na expressão cron.
O senhor pode escolher um fuso horário que observe o horário de verão ou UTC. Se o senhor selecionar um fuso horário que observe o horário de verão, um Job por hora será ignorado ou poderá parecer atrasado em uma ou duas horas quando o horário de verão começar ou terminar. Para executar a cada hora (hora absoluta), escolha UTC.
O programador de trabalhos não se destina a trabalhos de baixa latência. Devido a problemas de rede ou do site cloud, a execução do trabalho pode ocasionalmente sofrer atrasos de até vários minutos. Nessas situações, a execução do trabalho agendado ocorre imediatamente após a disponibilidade do serviço.

pausa e retomar um programa de emprego

Para pausar um trabalho, clique em pausa no painel de detalhesJob .

Para retomar uma pausa no Job programar, clique em Resume (Retomar).

Executar um job contínuo

Na barra lateral, clique em fluxo de trabalho.
Na coluna Name (Nome ) em Jobs tab, clique no nome do Job.
Clique em Add trigger (Adicionar acionador) no painel Job details ( Detalhes do trabalho), clique em Add trigger (Adicionar acion ador) no painel Job details (Detalhes do trabalho ), selecione Continuous (Contínuo ) em Trigger type (Tipo de acionador) e clique em Save (Salvar).

Para interromper um trabalho contínuo, clique em Seta azul para baixo ao lado de executar Now e clique em Stop.

Observação

Só pode haver uma instância em execução de um Job contínuo.
Há um pequeno atraso entre o término de uma execução e o início de uma nova execução. Esse atraso deve ser inferior a 60 segundos.
O senhor não pode usar dependências de tarefa com um trabalho contínuo.
O senhor não pode usar políticas de repetição com um trabalho contínuo. Em vez disso, o trabalho contínuo usa o backoff exponencial para gerenciar as falhas de execução do trabalho.
A seleção de executar agora em um trabalho contínuo que está em pausa aciona a execução de um novo trabalho. Se o trabalho não for pausado, será lançada uma exceção.
Para que seu Job contínuo pegue uma nova configuração de Job, cancele a execução existente e, em seguida, uma nova execução começará automaticamente. O senhor também pode clicar em Reiniciar execução para reiniciar a execução do trabalho com a configuração atualizada.

Como as falhas são tratadas no trabalho contínuo?

Databricks O Jobs usa um esquema de backoff exponencial para gerenciar o Job contínuo com várias falhas consecutivas. O backoff exponencial permite a execução contínua do trabalho sem pausas e o retorno a um estado saudável quando ocorrem falhas recuperáveis.

Quando um trabalho contínuo excede o limite permitido de falhas consecutivas, o texto a seguir descreve como a execução de trabalhos subsequentes é gerenciada:

O trabalho é reiniciado após um período de repetição definido pelo sistema.
Se a próxima execução do trabalho falhar, o período de repetição será aumentado e o trabalho será reiniciado após esse novo período de repetição.
1. Para cada falha subsequente na execução do trabalho, o período de repetição é aumentado novamente, até um período máximo de repetição definido pelo sistema. Depois de atingir o período máximo de repetição, o trabalho continua a ser repetido usando o período máximo de repetição. Não há limite para o número de novas tentativas em um trabalho contínuo.
2. Se a execução do trabalho for concluída com êxito e começar uma nova execução, ou se a execução exceder um limite sem falhas, o trabalho será considerado íntegro e a sequência de backoff será reiniciada.

O senhor pode reiniciar um trabalho contínuo no estado de backoff exponencial na interface do usuário de trabalhos ou passando o ID do trabalho para o comando POST /api/2.1/Job/execução-now na página do Jobs 2.1 API ou a solicitação POST /api/2.0/Job/execução-now na API do Jobs 2.0.