Usar parâmetros no Lakeflow Designer
Parâmetros no Lakeflow Designer são valores nomeados definidos para toda a preparação de dados visuais. Você pode referenciar parâmetros no código dos operadores SQL e Python, nos campos de configuração compatíveis dos operadores e nas expressões que ativam ou desativam operadores. Os parâmetros permitem a execução da mesma preparação de dados visuais em diferentes ambientes, por exemplo, um catálogo de teste durante o desenvolvimento e um catálogo de produção no ambiente de produção.
Requisitos
- Para criar parâmetros ou alterar associações de campos, você precisa ter permissão para editar a preparação de dados visuais.
- Para parametrizar um grupo, você precisa ter permissão para
- editar a preparação de dados visuais
- execução visualizações
Definir parâmetros
Para gerenciar parâmetros, selecione Parâmetros no painel esquerdo. Cada parâmetro tem um valor que você define quando o define. Quando a preparação de dados visuais está em execução conforme o programar ou como um Job, você pode substituir esse valor. Consulte Substituir valores de parâmetro na produção.
O painel lista os operadores que usam cada parâmetro. Selecione um nome de operador para focá-lo na tela.
Referencie um parâmetro de um operador
A forma como você referencia um parâmetro depende de onde você o utiliza:
- Operador SQL : Use a sintaxe de marcador de parâmetro nomeado, como
:environment. Consulte Usar marcadores de parâmetro nomeados. - Operador Python : Chame
dbutils.widgets.get(), comodbutils.widgets.get("environment"). Consulte Ferramenta de widgets (dbutils.widgets). - Campos de configuração compatíveis dos operadores : passe o cursor sobre o campo no painel de configuração do operador e selecione
( Usar um parâmetro ). Insira uma expressão como
:source_tableou selecione um parâmetro existente. Os campos compatíveis incluem:- Origem : Tabela , Caminho do arquivo e Formato do arquivo .
- Saída : Catálogo , Esquema , Tabela , View , Volume , Nome do arquivo e Modo de escrita .
- Limite : Limite .
- Filtro : expressões de condição individuais.
- Preparar : Campos suportados dentro de ações individuais.
- Combinar : Operação de conjunto , Estratégia de merge , União por nome e Permitir colunas ausentes .
Para definir um parâmetro ao configurar um campo compatível, selecione Criar parâmetro no seletor de parâmetros. Configure o novo parâmetro no painel Parâmetros e use-o no campo.
Ao abrir um operador SQL ou Python para edição, o Lakeflow Designer mostra um exemplo de como referenciar os parâmetros disponíveis acima do editor de origem.
Combinar parâmetros com texto fixo
Em uma expressão de parâmetro para um operador de Fonte ou Saída, use :parameter_name para substituir um valor inteiro. Para combinar parâmetros com texto fixo, coloque o texto entre aspas simples e use ||. Por exemplo, a seguinte expressão de Tabela de Fonte constrói um nome de tabela totalmente qualificado:
:catalog || '.' || :schema || '.' || :table
Ativar ou desativar um operador com um parâmetro
Para controlar se a execução de um operador configurado ocorre:
- Abra o painel de configuração do operador e selecione
( Configurações do operador ).
- Ao lado de Desativado , selecione
( Usar um parâmetro ).
- Insira uma expressão Boolean, como
:skip_operator.
A expressão desativa o operador quando é avaliada como Verdadeira. Um operador desativado não produz linhas de saída.
Para controlar um grupo inteiro, abra Desativar grupo ou Ativar grupo na barra de ferramentas do grupo e selecione ( Usar um parâmetro ) ao lado de Desativado . Insira uma expressão Boolean e feche o editor para aplicá-la.
Para habilitar ou desabilitar um operador manualmente, consulte Renomear, copiar, excluir e desabilitar operadores.
Substituir valores de parâmetros em produção
Em tempo de execução, uma preparação de dados visuais lê seus parâmetros da mesma forma, seja executada interativamente ou como um job, para que o mesmo arquivo funcione em todos os seus ambientes sem alterações. Forneça valores diferentes para cada ambiente da seguinte maneira:
- Quando você programa um Job na UI : Substitua os valores de parâmetro para cada programar. Por exemplo, programe a mesma preparação visual de dados para execução todos os dias ao meio-dia com um parâmetro
environmentdefinido comotest, e novamente às 14h comenvironmentdefinido comoproduction. Consulte Programar como um job. - Ao implantar com um pacote : defina os valores de parâmetros através dos
parametersdo job e use destinos de pacote para fornecer valores diferentes por ambiente. Os destinos de desenvolvimento e produção de pacotes permitem implantar o mesmo job em ambientes separados com configurações específicas para cada ambiente. Consulte Modos de implantação de Pacotes de Automação Declarativa e Configuração de Pacotes de Automação Declarativa.