Pular para o conteúdo principal

Usar parâmetros no Lakeflow Designer

Parâmetros no Lakeflow Designer são valores nomeados definidos para toda a preparação de dados visuais. Você pode referenciar parâmetros no código dos operadores SQL e Python, nos campos de configuração compatíveis dos operadores e nas expressões que ativam ou desativam operadores. Os parâmetros permitem a execução da mesma preparação de dados visuais em diferentes ambientes, por exemplo, um catálogo de teste durante o desenvolvimento e um catálogo de produção no ambiente de produção.

Requisitos​

  • Para criar parâmetros ou alterar associações de campos, você precisa ter permissão para editar a preparação de dados visuais.
  • Para parametrizar um grupo, você precisa ter permissão para
    • editar a preparação de dados visuais
    • execução visualizações

Definir parâmetros​

Para gerenciar parâmetros, selecione Parâmetros no painel esquerdo. Cada parâmetro tem um valor que você define quando o define. Quando a preparação de dados visuais está em execução conforme o programar ou como um Job, você pode substituir esse valor. Consulte Substituir valores de parâmetro na produção.

O painel lista os operadores que usam cada parâmetro. Selecione um nome de operador para focá-lo na tela.

Referencie um parâmetro de um operador​

A forma como você referencia um parâmetro depende de onde você o utiliza:

  • Operador SQL : Use a sintaxe de marcador de parâmetro nomeado, como :environment. Consulte Usar marcadores de parâmetro nomeados.
  • Operador Python : Chame dbutils.widgets.get(), como dbutils.widgets.get("environment"). Consulte Ferramenta de widgets (dbutils.widgets).
  • Campos de configuração compatíveis dos operadores : passe o cursor sobre o campo no painel de configuração do operador e selecione Ícone de chaves. ( Usar um parâmetro ). Insira uma expressão como :source_table ou selecione um parâmetro existente. Os campos compatíveis incluem:
    • Origem : Tabela , Caminho do arquivo e Formato do arquivo .
    • Saída : Catálogo , Esquema , Tabela , View , Volume , Nome do arquivo e Modo de escrita .
    • Limite : Limite .
    • Filtro : expressões de condição individuais.
    • Preparar : Campos suportados dentro de ações individuais.
    • Combinar : Operação de conjunto , Estratégia de merge , União por nome e Permitir colunas ausentes .

Para definir um parâmetro ao configurar um campo compatível, selecione Criar parâmetro no seletor de parâmetros. Configure o novo parâmetro no painel Parâmetros e use-o no campo.

Ao abrir um operador SQL ou Python para edição, o Lakeflow Designer mostra um exemplo de como referenciar os parâmetros disponíveis acima do editor de origem.

Combinar parâmetros com texto fixo​

Em uma expressão de parâmetro para um operador de Fonte ou Saída, use :parameter_name para substituir um valor inteiro. Para combinar parâmetros com texto fixo, coloque o texto entre aspas simples e use ||. Por exemplo, a seguinte expressão de Tabela de Fonte constrói um nome de tabela totalmente qualificado:

SQL
:catalog || '.' || :schema || '.' || :table

Ativar ou desativar um operador com um parâmetro​

Para controlar se a execução de um operador configurado ocorre:

  1. Abra o painel de configuração do operador e selecione Ícone de engrenagem. ( Configurações do operador ).
  2. Ao lado de Desativado , selecione Ícone de chaves. ( Usar um parâmetro ).
  3. Insira uma expressão Boolean, como :skip_operator.

A expressão desativa o operador quando é avaliada como Verdadeira. Um operador desativado não produz linhas de saída.

Para controlar um grupo inteiro, abra Desativar grupo ou Ativar grupo na barra de ferramentas do grupo e selecione Ícone de chaves. ( Usar um parâmetro ) ao lado de Desativado . Insira uma expressão Boolean e feche o editor para aplicá-la.

Para habilitar ou desabilitar um operador manualmente, consulte Renomear, copiar, excluir e desabilitar operadores.

Substituir valores de parâmetros em produção​

Em tempo de execução, uma preparação de dados visuais lê seus parâmetros da mesma forma, seja executada interativamente ou como um job, para que o mesmo arquivo funcione em todos os seus ambientes sem alterações. Forneça valores diferentes para cada ambiente da seguinte maneira:

  • Quando você programa um Job na UI : Substitua os valores de parâmetro para cada programar. Por exemplo, programe a mesma preparação visual de dados para execução todos os dias ao meio-dia com um parâmetro environment definido como test, e novamente às 14h com environment definido como production. Consulte Programar como um job.
  • Ao implantar com um pacote : defina os valores de parâmetros através dos parameters do job e use destinos de pacote para fornecer valores diferentes por ambiente. Os destinos de desenvolvimento e produção de pacotes permitem implantar o mesmo job em ambientes separados com configurações específicas para cada ambiente. Consulte Modos de implantação de Pacotes de Automação Declarativa e Configuração de Pacotes de Automação Declarativa.

Outros recursos​