Pular para o conteúdo principal
Última atualização em

Parametrizar o trabalho

Parâmetros permitem que você passe valores para um Job e suas tarefas e referencie valores entre tarefas. Este artigo apresenta os tipos de parâmetro disponíveis no Lakeflow Jobs e como configurá-los na interface do usuário. É preciso também atualizar os ativos de código-fonte que são configurados como tarefas para fazer referência a parâmetros. As referências de parâmetros variam por linguagem e tipo de tarefa. Veja Acessar valores de parâmetro de uma tarefa.

Os conceitos fundamentais para entender os parâmetros do Job são os seguintes:

O que você pode fazer com parâmetros?​

Adicionar parâmetros ao Job e à tarefa para casos de uso avançado, incluindo o seguinte:

  • Adicionar lógica extensível ao código ativo.
  • Condicionalizar a execução.
  • Referenciar parâmetros comuns em várias tarefas.
  • Usar as informações geradas em uma tarefa em outra tarefa.
  • Metadados de referência e informações de estado na execução do trabalho.

Parâmetros do Job vs. parâmetros da tarefa​

Job Os parâmetros são par key-value definidos no nível do trabalho. O senhor pode substituir as configurações do default para os parâmetros do Job quando executar agora com parâmetros diferentes ou acionar a execução de um Job usando o REST API. Job são transferidos para a tarefa que usa os parâmetros key-value. Outras tarefas podem fazer referência a parâmetros do Job usando referências de valores dinâmicos.

nota

Qualquer usuário com permissão CAN MANAGE RUN ou superior em um Job pode substituir os valores dos parâmetros do Job para uma execução manual usando Executar agora com parâmetros diferentes . Um valor de parâmetro default não é um controle de segurança. Para evitar alterações, restrinja as permissões do Job.

Os parâmetros da tarefa são par key-value of JSON arrays defined at the tarefa level. Cada tipo de tarefa passa os valores de tarefa para o código ativo configurado de forma diferente. Por exemplo, a tarefa do Notebook usa o submódulo dbutils.widgets, enquanto os scripts do Python passam valores como argumentos para o script, como se ele estivesse sendo chamado na linha de comando. A tarefa downstream pode fazer referência a parâmetros de tarefa da tarefa upstream usando referências de valores dinâmicos. Consulte Acessar valores de parâmetros de uma tarefa.

nota

Algumas tarefas não têm um campo Parameters (Parâmetros ) dedicado, mas permitem referências a valores de tarefas ou referências de valores dinâmicos em outros campos. Consulte Exemplos de comando parametrizado em dbt e Adicionar lógica de ramificação a um trabalho com a tarefa If/else.

Criar fluxo de trabalho usando valores dinâmicos​

Os parâmetros da tarefa definidos com valores estáticos só podem ser substituídos pela atualização da definição da tarefa. Definir um valor estático para um parâmetro de trabalho é apenas configurar um valor default, que o senhor pode substituir quando executar agora com parâmetros diferentes ou acionar a execução de um trabalho usando o REST API.

Use referências de valores dinâmicos ao definir parâmetros de tarefa para implementar padrões como os seguintes:

  • Use um parâmetro de trabalho como output_table para uma tarefa e input_table para outra.
  • Capture a saída de uma consulta do Notebook como uma lista e faça um loop sobre ela em uma tarefa For each .
  • Criação de lógica de bifurcação com base no número de registros processados usando uma tarefa de condição If/else .
  • Consulte os parâmetros de outras tarefas.

Consulte Referências de valores dinâmicos.

Nesta página