Pular para o conteúdo principal

Configurar as dependências da tarefa

O campo execução se dependências permite que o senhor adicione lógica de fluxo de controle à tarefa com base no sucesso, na falha ou na conclusão de outra tarefa.

As dependências são representadas visualmente no gráfico do job como linhas entre as tarefas.

Databricks executar a tarefa upstream antes de executar a tarefa downstream, executando o maior número possível de tarefas em paralelo.

nota

Depende de só é visível se o trabalho consistir em várias tarefas.

O Databricks também tem a seguinte funcionalidade para fluxo de controle e condicionalização:

Adicionar uma condição de execução if a uma tarefa​

Se você tiver uma tarefa selecionada no gráfico ao criar uma nova tarefa, sua nova tarefa terá uma dependência configurada nessa tarefa por default.

Para editar ou adicionar condições, faça o seguinte:

  1. Selecione uma tarefa.
  2. No campo Depends on (Depende de ), clique no X para remover uma tarefa ou selecione a tarefa a ser adicionada no menu suspenso.
  3. Selecione uma das opções condicionais no campo execução se dependências .
  4. Clique em Save task (Salvar tarefa ).

Run if opções de condição​

O senhor pode adicionar as seguintes condições Run if a uma tarefa:

  • Todos foram bem-sucedidos : Todas as dependências foram executadas e bem-sucedidas. Essa é a configuração default. A tarefa é marcada como Upstream failed se a condição não for atendida.
  • Pelo menos uma teve sucesso : pelo menos uma dependência foi bem-sucedida. A tarefa é marcada como Upstream failed se a condição não for atendida.
  • Nenhuma falhou : Nenhuma das dependências falhou e pelo menos uma dependência foi executada. A tarefa é marcada como Upstream failed se a condição não for atendida.
  • Tudo pronto : A tarefa é executada após a execução de todas as suas dependências, independentemente do status da execução dependente. Essa condição permite que o senhor defina uma tarefa que seja executada sem depender do resultado de sua tarefa dependente.
  • Pelo menos uma falhou : pelo menos uma dependência falhou. A tarefa é marcada como Excluded se a condição não for atendida.
  • Tudo falhou : todas as dependências falharam. A tarefa é marcada como Excluded se a condição não for atendida.
nota
  • As tarefas upstream com o estado de resultado Excluded são consideradas bem-sucedidas ao avaliar as condições Run if. Tarefas upstream marcadas Upstream failed ou Upstream canceled são tratadas como falhas, e não como ignoradas.
  • Tarefas configuradas para lidar com falhas são marcadas como Excluded se a condição Run if delas não for atendida. Uma tarefa excluída é ignorada.
  • Se todas as dependências de uma tarefa forem excluídas, a própria tarefa também será excluída, independentemente de sua condição Run if.
  • Esta exclusão se propaga ao longo de uma cadeia de dependência linear. Por exemplo, em uma cadeia de A → B → C, se A for excluído, B é, então, excluído (todas as suas dependências são excluídas), o que, por sua vez, exclui C, portanto, nenhuma dessas tarefas é executada.
  • Se o senhor cancelar a execução de uma tarefa, o cancelamento se propagará pela tarefa downstream, e a tarefa com uma condição Run if que lida com falhas será executada, por exemplo, para verificar a execução de uma tarefa de limpeza quando a execução de uma tarefa for cancelada.
  • Se uma tarefa upstream for desativada, as tarefas downstream serão avaliadas em relação à sua condição Run if e também poderão ser desativadas para essa execução. Para obter a lista completa de resultados, consulte Comportamento da tarefa subsequente.

Exemplo de trabalho com dependências de tarefa​

A configuração das dependências da tarefa cria um gráfico acíclico direcionado (DAG) da execução da tarefa, uma forma comum de representar a ordem de execução no programador de trabalhos. Por exemplo, considere o seguinte trabalho que consiste em quatro tarefas:

diagrama de exemplo de dependências de tarefa

  • A tarefa 1 é a tarefa raiz e não depende de nenhuma outra tarefa.
  • A tarefa 2 e a tarefa 3 dependem de a tarefa 1 ser concluída primeiro.
  • Por fim, a tarefa 4 depende da conclusão bem-sucedida da tarefa 2 e da tarefa 3.

O diagrama a seguir ilustra a ordem de processamento dessas tarefas:

exemplo de fluxo das dependências da tarefa