operadores integrados no LakeFlow Designer
O Lakeflow Designer inclui operadores integrados para tarefas comuns de preparação e transformação de dados. Abra o painel Operadores à esquerda para procurar operadores por categoria ou use Pesquisar um operador... na parte superior do painel. A pesquisa de operador sugere operadores com base na sua intenção. Por exemplo, digitar average by month retorna o operador Agregado . Consulte Encontrar operadores com a pesquisa de AI. Para configurar um operador após adicioná-lo à tela, clique duas vezes nele ou passe o mouse sobre ele e clique em 
( Editar operador ) para abrir o painel de configuração.
Cada operador exibe uma descrição gerada por AI do que ele faz. A descrição também atua como um editor para o operador: editar a descrição reconfigura o operador para corresponder à sua descrição.
Quando nenhum operador integrado atende à sua tarefa, você pode criar seu próprio operador.
Entrada e saída
Fonte
Importa dados para o Designer de uma tabela do Unity Catalog ou outra origem compatível. Para selecionar uma origem, procure uma tabela ou arquivo por nome ou navegue por catálogo e esquema. Você também pode criar uma nova tabela a partir deste painel.
Após selecionar uma tabela, o painel exibe o nome da tabela, o proprietário e a hora da última atualização. Clique em Selecionar uma nova fonte de dados para alterar a fonte. A alteração da origem invalida o cache de saída para todos os operadores downstream.
Você também pode usar uma view de métricas do Unity Catalog como fonte. Ao selecionar uma view de métricas, selecione as dimensões e medidas a incluir, e o Designer gera a query agregada para você.
Para obter a gama completa de opções de ingestão de dados, incluindo o direcionamento de um volume ou pasta inteira do Unity Catalog, consulte Ingerir dados no Lakeflow Designer.
Insira Dados
Cria uma tabela digitando valores em um editor no estilo de planilha. Use este operador para adicionar pequenas quantidades de dados de referência, como valores de consulta ou dados de teste, sem criar uma tabela de origem separada.
campo | Descrição |
|---|---|
Dados da tabela | Insira seus dados como uma tabela. A primeira linha define os cabeçalhos das colunas, e as linhas restantes são os dados. O Designer infere o tipo de dados de cada coluna a partir de seus valores. |
Saída
Exporta dados do Designer. O operador de Saída pode gravar resultados em uma tabela do Unity Catalog, publicá-los como uma view materializada ou gravá-los em um arquivo em um volume do Unity Catalog, Google Drive ou SharePoint. Em Tipo de saída , selecione Tabela , View materializada ou Arquivo . Para uma saída de arquivo, selecione onde gravá-la em Destino .
Tipo de saída | Descrição |
|---|---|
Tabela | Grava os resultados em uma tabela gerenciada do Unity Catalog. Defina um nome de tabela e um local de saída (catálogo e esquema), em seguida, selecione um modo de gravação . |
Visualização materializada | Publica os resultados como uma view materializada no Unity Catalog que refresh quando a preparação visual de dados é executada. |
Arquivo | Grava os resultados como CSV, Excel ou JSON. Selecione Destination , File type e File name . |
Para saídas de Table ou saídas de File em um volume do Unity Catalog, selecione um Write mode :
Modo de escrita | Descrição |
|---|---|
Substituir | Substitui o conteúdo existente com os resultados da execução atual. Este é o default. |
Acrescentar | Adiciona os resultados da execução atual às linhas existentes. |
Merge | Realiza upsert de linhas na tabela de destino correspondendo às chaves de merge que você especifica. Disponível para saídas de tabela. |
Clique em **Executar** para executar a preparação visual de dados e gravar os resultados. Para uma saída de tabela, se a tabela não existir, o operador a cria. Execuções programadas gravam no destino usando o mesmo modo de gravação.
Após um operador Output gravar uma tabela do Unity Catalog, materialized view ou arquivo de volume, conecte sua porta de saída para continuar o fluxo de trabalho. Para tabelas, materialized views e saídas de arquivo único simples, a porta de saída lê diretamente do ativo persistente que o operador Output acabou de gravar. Para saídas divididas, gravações de intervalo do Excel e arquivos sem cabeçalhos, a porta de saída passa pelas linhas de entrada.
Para saídas de arquivo em um volume do Unity Catalog, expanda Advanced para configurar as seguintes opções:
- Split by distinct values : selecione uma coluna para gravar um arquivo para cada valor distinto. Para a saída do Excel, você pode gravar cada valor em uma planilha separada em uma única pasta de trabalho. Uma execução pode criar até 50 arquivos ou planilhas.
- Nome da planilha : para a saída do Excel, defina a planilha de destino.
- Incluir linha de cabeçalho : incluir nomes de colunas na saída CSV ou Excel.
- Intervalo de células : para a saída do Excel no modo Substituir , defina a célula inicial e uma célula final opcional. O Designer preserva a formatação fora do intervalo e causa falha na execução se os dados não couberem em um intervalo fixo. Não é possível combinar um intervalo de células com Dividir por valores distintos .
Quando o modo Overwrite divide a saída em arquivos, o Designer remove os arquivos existentes que correspondem ao padrão de nome gerado. Isso pode incluir arquivos criados manualmente com o mesmo padrão na pasta de volume.
Para gravar um arquivo no Google Drive ou SharePoint:
- Defina Tipo de saída como Arquivo e Destino como Google Drive ou Microsoft 365 para SharePoint.
- Habilite o conector do Genie Code correspondente e selecione Connect se solicitado. Entre com uma account que tenha acesso de gravação à pasta de destino.
- Em Folder URL , cole o link para a pasta do Google Drive ou SharePoint. No SharePoint, obtenha o link com Copy link .
- Insira um Nome de arquivo , escolha um Tipo de arquivo e clique em execução .
Cada execução cria o arquivo ou substitui todo o conteúdo do arquivo existente com o mesmo nome, incluindo cada planilha do Excel. A exportação deve caber em um arquivo de até 2,75 MiB. As visualizações mostram os dados de entrada sem gravar o arquivo. As execuções agendadas usam a account do usuário de execução e as credenciais do conector.
Limpar
Filtro
Divide linhas com base no atendimento a uma ou mais condições, usando um construtor de condições gráfico.
campo | Descrição |
|---|---|
Condição | Para cada condição, selecione uma coluna , um tipo de condição e um valor para correspondência condicional. Tipos de condição suportados:
Para condições em colunas de data, o seletor de data oferece suporte à navegação entre anos e meses. Quando uma condição corresponde aos valores de uma coluna (por exemplo, Is one of ), a lista de valores mostra uma amostra dos valores distintos da coluna com base na entrada. Selecione Load more para buscar valores adicionais sob demanda. |
Para combinar condições e organizar filtros complexos:
- Clique em Adicionar condição e configure a coluna, o operador e o valor.
- Selecione Todas para exigir que todas as condições correspondam ou Qualquer para exigir pelo menos uma correspondência.
- Para aninhar condições, abra a
( Opções de condição ) de uma condição e selecione Converter em grupo . Adicione condições dentro do grupo e escolha Todas ou Qualquer para esse grupo. Por exemplo, exija que uma linha corresponda a uma condição de região e a qualquer uma das várias condições de status. - Clique em Aplicar para aplicar o filtro.
Para inverter uma condição, abra suas ( Opções de condição ) e selecione Inverter condição . Para remover o agrupamento de um grupo, abra o menu do grupo e selecione Desagrupar .
Para reorganizar as condições, clique em 
( Reordenar condições ), arraste as condições para a posição desejada e clique em Concluir ordenação .
O operador de filtro tem duas saídas para que você possa Branch dados com base em se eles atendem às condições:
Saída | Descrição |
|---|---|
Incluído | Linhas que atendem às condições do filtro. |
Excluídas | Linhas que não atendem às condições de filtro, incluindo linhas em que a condição é avaliada como nula. |
Guardrails
Valida os dados de entrada em relação a uma lista ordenada de verificações e separa as linhas que passam das que falham.
campo | Descrição |
|---|---|
Verificações | Adicione verificações de Colunas obrigatórias , Contagem de linhas , Não nulo , Exclusivo , Valores aceitos , Valores não permitidos , Intervalo de valores , Correspondência de regex ou Expressão . |
Quando uma verificação falha | Escolha uma das três opções para controlar a saída e o comportamento downstream. |
-
Avisar e continuar com as linhas aprovadas :
- A execução downstream continua.
- As linhas que passam em todas as verificações ativadas são enviadas para Passed .
- As linhas que falham em pelo menos uma verificação habilitada são enviadas para Failed .
- Errors contém uma linha para cada verificação que falhou, incluindo seu tipo, severidade e mensagem.
-
Aviso e bloqueio de saída aprovada :
- Se uma verificação falhar, a execução subsequente continuará, mas Passed não conterá nenhuma linha.
- Failed ainda contém as linhas com falha, e Errors ainda contém os detalhes da falha.
- Use esta opção para impedir o processamento downstream de linhas aprovadas, permitindo o tratamento downstream de Falhas e Erros .
-
Falhar no fluxo de trabalho :
- Se uma verificação falhar, a execução será interrompida antes que os operadores downstream sejam executados.
- Eles não recebem as saídas Passed , Failed ou Errors .
- Em um Job agendado, a execução é marcada como com falha, o que pode trigger o tratamento de falhas configurado, como notificações de Job.
When you preview the Guardrails operator itself, you can still inspect all three outputs in Fail the fluxo de trabalho mode.
Para persistir linhas de uma saída em qualquer um dos modos de aviso, conecte-a a um operador de saída.
Limite
Restringe a contagem de linhas, permitindo a passagem apenas até o número máximo de linhas especificado.
campo | Descrição |
|---|---|
Máximo de linhas | Especifique o número máximo de linhas a serem passadas. |
Preparar
Limpa e deriva colunas encadeando uma ou mais ações nos dados de entrada. Clique em + Adicionar ação e selecione uma ação. Adicione quantas ações precisar. Eles são aplicados em ordem.
Ação | Descrição |
|---|---|
Fórmula | Crie uma nova coluna ou sobrescreva uma coluna existente usando linguagem natural ou uma expressão SQL. |
Fórmula de várias colunas | Aplique uma expressão SQL às colunas selecionadas usando |
Alterar tipo | Converter uma coluna para outro tipo de dados. |
Substituir valor | Encontrar e substituir valores em uma coluna. |
Preencher nulos | Substitua valores nulos por uma constante. |
Maiúsculas e minúsculas | Altere as letras para minúsculas, maiúsculas ou maiúsculas no início da palavra. |
Cortar | Remover espaços em branco de uma ou ambas as extremidades. |
Substituição Regex | Substitua o texto que corresponde a um padrão regex. |
Extrair | Extrai uma substring que corresponda a um grupo de regex. |
Analisar data | Analisar uma cadeia de caracteres em uma data ou timestamp. |
Analisar JSON | Extraia linhas ou colunas de dados JSON. |
Renomear colunas | Renomeie várias colunas com um prefixo, sufixo, alteração de maiúsculas/minúsculas ou localização e substituição. |
Todas as ações, exceto Fórmula e Analisar JSON , aceitam várias colunas.
Para remover uma ação, passe o cursor sobre sua linha e clique em 
.
Colunas personalizadas
A ação Fórmula abre o editor de expressões, onde é possível criar uma nova coluna ou sobrescrever uma coluna existente usando linguagem natural ou código SQL. O editor tem duas caixas de entrada e é bidirecional:
- Descrição : Digite uma descrição em linguagem natural do que você deseja que a coluna faça. O designer usa o Genie Code para gerar a expressão de código correspondente abaixo.
- Expressão : Se preferir escrever ou editar o código diretamente, clique no botão "Editar expressão". A edição da expressão gera automaticamente uma descrição em linguagem natural.
No editor de expressão, digite @ para abrir um menu das colunas de entrada do operador e das funções SQL integradas. Digite após @ para filtrar a lista e, em seguida, selecione uma entrada para inseri-la: uma coluna insere seu nome e uma função insere sua chamada com o cursor posicionado dentro dos parênteses. O mesmo menu @ está disponível nos editores de expressão de outros operadores, como condições personalizadas de Filtro e join.
As ações de preparação trabalham em uma linha de cada vez. Para compute uma coluna a partir dos valores em outras linhas, como um total acumulado ou o valor da linha anterior, use Fórmula de Várias Linhas.
Selecionar
Seleciona, renomeia e reordena colunas dos dados de entrada.
campo | Descrição |
|---|---|
Incluir ou excluir colunas | Selecione **Começar com todas as colunas** ou **Começar sem colunas**, em seguida, use as caixas de seleção para incluir ou excluir colunas individuais. Arraste as colunas para reordená-las. |
Renomear uma coluna | Digite um novo nome no campo Renomear ao lado de qualquer coluna. |
Selecionar colunas dinamicamente | Em vez de escolher colunas individualmente, selecione colunas por uma regra para que a saída se adapte conforme o esquema de entrada muda. Escolha entre Manter colunas correspondentes ou Remover colunas correspondentes e, em seguida, faça a correspondência das colunas por:
|
Organizar
Ordena linhas em uma ou mais colunas.
campo | Descrição |
|---|---|
Ordem de classificação | Selecione ASC (crescente) ou DESC (decrescente) para cada coluna. Clique em + Adicionar expressão de classificação para classificar por colunas adicionais. A classificação segue a ordem lexical padrão. |
Exclusivo
Remove linhas duplicadas dos dados de entrada. Por default, o operador deduplica em todas as colunas. Em vez disso, você pode escolher um subconjunto de colunas como key e ordenar as linhas para controlar qual duplicata será mantida.
campo | Descrição |
|---|---|
Exclusivo por | Selecione "Todas as colunas" para remover as linhas idênticas em todas as colunas ou selecione "Colunas selecionadas" para remover as linhas duplicadas apenas nas colunas escolhidas como chave. |
Ordenar por | Opcional: selecione uma ou mais colunas e uma direção de classificação para controlar qual linha é mantida para cada conjunto de duplicatas. Se você não definir uma ordem, o operador manterá a primeira linha que encontrar. |
Combinar
Combinar
Combina dados de várias tabelas em uma única saída usando uma operação de conjunto.
campo | Descrição |
|---|---|
Definir operação | Selecione **Union**, **Intersecção** ou **Exceto**. |
Estratégia de merge | Selecione **Distinto** para excluir linhas duplicadas da saída, ou **Todos** para manter todas as linhas, incluindo as duplicadas. |
União por nome | Para Union , selecione Union by name em Advanced para corresponder colunas por nome em vez de posição. |
Permitir colunas ausentes | Para Union , primeiro selecione Union by name e, em seguida, selecione Allow missing columns para preencher as colunas ausentes de uma entrada com valores null. Se essa opção estiver desativada, cada entrada deverá conter o mesmo conjunto de colunas. |
join
Links tabelas combinando datasets de entrada com base em valores de coluna correspondentes.
campo | Descrição |
|---|---|
Tabela de entrada | Select the two input tables to join. Para unir três ou mais tabelas, expanda Advanced options , selecione Join more than two tables e clique em Add input para cada tabela adicional. |
Condição de join | Especifique pelo menos uma condição de join selecionando colunas correspondentes de duas tabelas. Clique em + Adicionar expressão de join para adicionar mais condições. Opcional: clique na seta entre duas tabelas para adicionar uma condição de join personalizada e, em seguida, edite a descrição gerada por AI ou escreva SQL. Com três ou mais entradas, cada tabela adicionada deve definir uma relação com outra entrada. |
Corresponder maiúsculas/minúsculas | Quando desativado (o default), as chaves de junção de string correspondem sem distinção entre maiúsculas e minúsculas (e ignoram espaços em branco à esquerda e à direita). Ative **Corresponder maiúsculas/minúsculas** para corresponder as chaves de string exatamente. Esta opção aplica-se às chaves de junção, não às condições de junção personalizadas. |
Tipo de join | Para duas tabelas de entrada, selecione o tipo de join. Por default, o operador Join divide seus resultados em três saídas (consulte a seção a seguir). Selecione Full join , Inner join , Left join ou Right join para produzir uma única saída unida em vez disso. Com três ou mais entradas, o operador segue as relações de tabela configuradas, usa inner joins e produz uma única saída unida. |
Colunas de saída | Opcional: selecione quais colunas incluir. Por default, as colunas de cada tabela de entrada são incluídas. Com duas entradas, nomes duplicados da tabela à direita recebem um prefixo |
Colunas de expressão personalizadas | Opcional: adicione colunas de expressão personalizadas com base no resultado da junção. |
Com duas entradas, o operador Join tem três saídas por default para que você possa criar um branch em um fluxo de trabalho com base nos resultados do join:
Saída | Descrição |
|---|---|
Deixado sem correspondência | Linhas da entrada esquerda que não têm correspondência na entrada direita. |
Correspondido | Linhas que correspondem em ambas as entradas. |
Direita não correspondente | Linhas da entrada direita que não têm correspondência na entrada esquerda. |
Com duas entradas, selecionar um Tipo de join específico (full, inner, left ou right) produz uma única saída unida em vez das três saídas divididas.
Transformar
FunçãoAI
Executa uma operação de AI integrada em seus dados. No painel de configuração, abra Selecione uma função e selecione uma das funções na tabela a seguir. Cada função expõe opções no painel para entradas (por exemplo, colunas, prompts, rótulos ou idiomas) e saídas.
Função | Descrição |
|---|---|
| Realiza análise de sentimento no texto de entrada. |
| Classifica textos ou documentos analisados usando o rótulo fornecido. |
| Responde a perguntas sobre uma coluna de texto ou VARIANT, como saída de documento analisada, com probabilidades, escolhas ou pontuações. |
| Extrai dados estruturados de textos ou documentos analisados usando campos definidos por você. |
| Corrige erros gramaticais no texto. |
| Prevê dados de série temporal até um horizonte e uma frequência especificados por você. |
| Responde a uma pergunta fornecida pelo usuário com base na entrada de dados. |
| Mascara entidades específicas no texto (por exemplo, para desidentificação). |
| Extrai texto, tabelas e disposição de documentos não estruturados. |
| Transforma a saída do documento analisado em segmentos prontos para pesquisa para pesquisa vetorial e pipelines de geração aumentada de recuperação (RAG). |
| Responde a um prompt usando qualquer modelo de fundação compatível, para flexibilidade de tarefa e modelo de uso geral. |
| Compara duas strings e retorna uma pontuação de similaridade semântica. |
| Gera um resumo do texto. |
| Traduz o texto para um idioma de destino especificado. |
Selecione Limpar saídas para usar os valores de resposta de ai_classify, ai_extract, ai_decide ou ai_query em operadores downstream. Para ai_query, a limpeza é aplicada quando a função usa failOnError => false. A opção não está disponível para funções com valor de tabela, como ai_forecast. Outras saídas de função permanecem inalteradas.
Para cada saída limpa chamada answer, o operador retorna:
answer: A resposta limpa. Paraai_extractcom um campo ouai_decidecom uma pergunta, este é o valor digitado. Múltiplos campos ou perguntas produzem uma estrutura.answer_ai_error: A mensagem de erro quando a função falha, ou nulo quando ela é bem-sucedida. Uma linha que falhou tem uma resposta nula.answer_raw: A resposta completa, incluindo metadados, para inspeção ou solução de problemas.
Para obter detalhes sobre cada função, consulte Transform unstructured data using AI Functions.
Agregar
Resume as linhas agrupando os dados e calculando os valores agregados.
campo | Descrição |
|---|---|
Agregar por | Clique em + Adicionar agregação , selecione uma ou mais colunas e selecione uma função de agregação. A seleção de várias colunas cria uma linha de agregação separada para cada coluna. Edite cada linha para ajustar sua função ou nome de saída. Funções com suporte: |
Agrupar por | Selecione as colunas para agrupar. Clique em **+ Adicionar agrupamento** para adicionar mais. As colunas usadas em **Agrupar por** são incluídas automaticamente na saída. |
Fórmula de Várias Linhas
Compute novas colunas a partir dos valores em outras linhas, como totais acumulados, números de linha e IDs de registro, classificações, valores anteriores e próximos, diferenças linha por linha e médias móveis. Use Fórmula de Múltiplas Linhas quando um cálculo depender de linhas vizinhas. Para cálculos que usam apenas os valores na linha atual, use Preparar. Você também pode encontrar o operador pesquisando o menu do operador por Record ID.
O operador mantém uma lista ordenada de fórmulas. As fórmulas são executadas de cima para baixo, e cada fórmula adiciona uma coluna à saída. Se o nome da coluna de uma fórmula corresponder a uma coluna existente, a fórmula substituirá essa coluna. Se a lista estiver vazia ou se todas as fórmulas estiverem desativadas, o operador passará sua entrada sem alterações.
Cada tipo de fórmula tem um campo Nome da nova coluna . Todos os tipos, exceto Expressão personalizada , também têm Ordenar por e Agrupar por , que definem a janela de linhas que a fórmula analisa:
campo | Descrição |
|---|---|
Novo nome da coluna | Obrigatório. O nome da coluna que a fórmula cria ou substitui. |
Ordenar por | Obrigatório. Uma ou mais colunas, cada uma com uma direção de classificação Crescente ou Decrescente , que definem a ordem das linhas. A ordem define quais linhas vêm antes e depois da linha atual. Clique em Adicionar coluna de classificação para adicionar mais colunas. |
Agrupar por | Opcional. Colunas que reiniciam o cálculo para cada valor distinto, por exemplo, um total acumulado para cada cliente. Se você não adicionar uma coluna de agrupamento, o cálculo terá execução em toda a tabela. Clique em Adicionar coluna de agrupamento para adicionar mais colunas. |
Se duas ou mais linhas compartilham os mesmos valores de Order by , sua ordem relativa não é fixa, por isso as fórmulas podem retornar resultados diferentes para essas linhas de uma execução para a próxima. Para obter o mesmo resultado em cada execução, adicione uma segunda coluna Order by que torna única a posição de cada linha, como uma coluna de ID.
Tipos de fórmula
A tabela a seguir descreve cada tipo de fórmula e seus campos, além dos campos compartilhados:
Tipo de fórmula | Campos | Descrição |
|---|---|---|
Agregado em execução | Agregado : Soma (default), Média , Mínimo , Máximo ou Contagem . Da coluna : A coluna a agregar. | Compute um valor cumulativo da primeira linha do grupo até a linha atual. As linhas que compartilham os mesmos valores de Order by (Ordenar por) continuam acumulando uma linha por vez. Count (Contar) conta os valores não nulos da coluna. |
Número da linha / rank | Mode :
Começar em : O número atribuído à primeira linha de cada grupo. As linhas posteriores contam a partir dela. O default é 1, e 0 e números negativos são permitidos. Um valor de -2.147.483.648 a 2.147.483.647 produz uma coluna inteira, e qualquer outro valor produz uma coluna inteira de 64 bits. Tipo de saída : Número (default) grava os números como um inteiro ou uma coluna de número inteiro de 64 bits, dependendo de começar . Texto grava os mesmos números como texto. | Numera ou classifica as linhas dentro de cada grupo, com base em Order by . Use Row number para adicionar um ID de registro, por exemplo, IDs que começam em 1001. No modo Número da linha , as colunas Ordenar por decidem qual linha recebe qual número. Para obter os mesmos números em cada execução, ordene por uma coluna que seja única para cada linha, como um ID ou um timestamp. Se nenhuma coluna única estiver disponível, ordene por várias colunas, por exemplo, todas elas, para que apenas linhas duplicadas exatas possam empatar. Nos modos de rank, as linhas que empatam compartilham um rank por design. |
Valor de outra linha | Direção : Lag (linha anterior) (default) ou Lead (linha posterior) . Da coluna : a coluna a ser lida. Linhas de distância : Quantas linhas antes ou depois da linha atual devem ser lidas. O default é 1. Se não houver tal linha : Null (default), Zero ou Valor da linha atual . | Retorna o valor de uma coluna de outra linha no mesmo grupo. Se nenhuma linha desse tipo definir o valor para as linhas próximas ao começar ou ao fim de um grupo, onde a outra linha não existe. Se a outra linha existir, mas seu valor for nulo, o resultado será nulo. |
Diferença da linha anterior | Da coluna : Uma coluna numérica. Linhas anteriores : Quantas linhas anteriores subtrair. O default é 1. | Retorna o valor da linha atual menos o valor de linhas de Linhas atrás anteriormente no mesmo grupo. As primeiras linhas de cada grupo não têm linha anterior, portanto seu resultado é nulo. |
Média móvel | Da coluna : Uma coluna numérica. Janela (linhas) : o número de linhas para calcular a média, incluindo a linha atual. O default é 3. | Calcula a média da linha atual e as linhas anteriores no mesmo grupo. Perto do início de um grupo, onde menos linhas estão disponíveis, a fórmula calcula a média das linhas existentes. Por exemplo, com uma janela de 3, a primeira linha retorna seu próprio valor e a segunda linha retorna a média das duas primeiras linhas. |
Suavização exponencial | Da coluna : Uma coluna numérica. Fator de suavização (α) : Um valor maior que 0 e no máximo 1. O default é 0.3. Um valor mais alto segue as linhas recentes mais de perto, e um valor mais baixo suaviza mais intensamente. | compute uma média móvel exponencialmente ponderada. A primeira linha de cada grupo retorna seu próprio valor. Cada linha posterior retorna α × (valor da linha) + (1 − α) × (resultado da linha anterior). As linhas com um valor nulo são puladas, portanto, elas retornam o resultado das linhas anteriores. Um fator de suavização de 1 retorna os valores da coluna sem alterações. |
Expressão personalizada | Expressão : uma expressão Spark SQL. Este tipo de fórmula não tem campos Order by (Ordenar por) nem Group by (Agrupar por). | Avalia uma expressão que você escreve, tipicamente uma função de janela com sua própria cláusula |
Para Diferença da linha anterior , Média móvel e Suavização exponencial , Da coluna lista apenas colunas numéricas. Linhas à frente , Linhas atrás e Janela (linhas) aceitam números inteiros de 1 ou mais. Uma fração é arredondada para baixo, e um número menor que 1, um campo vazio ou um valor que não é um número usa 1. Um Fator de suavização (α) fora do intervalo permitido usa 0,3. Começar em aceita qualquer número inteiro, e um campo vazio usa 1. Se você inserir uma fração em Começar em , o campo mostra O valor está fora do intervalo e Aplicar não está disponível.
As condições a seguir fazem com que o operador retorne um erro quando ele está em execução:
- Um Of column (Da coluna) que não está nos dados de entrada, por exemplo, após um operador upstream renomeá-lo ou removê-lo.
- Suavização exponencial em uma coluna decimal. Para suavizar valores decimais, primeiro converta a coluna para double, por exemplo, com a ação Prepare Change type .
- Suavização exponencial com um fator de suavização muito pequeno, abaixo de cerca de 0,002. Use um valor maior.
- A numeração do Número da linha / rank que ultrapassa 2.147.483.647, o maior valor que uma coluna inteira pode conter, quando o começar é 2.147.483.647 ou menos. Use um valor menor de começar .
Configurar fórmulas
Para configurar a lista de fórmulas no painel de configuração, use os seguintes controles:
- Adicionar uma fórmula : Clique em Adicionar fórmula e selecione um tipo de fórmula. A nova fórmula aparece no final da lista com um nome de coluna default, como
running_total, e seu editor é aberto. - Editar uma fórmula : Clique em uma fórmula na lista para abrir seu editor. Cada fórmula mostra seu tipo e um resumo de uma linha, como
customer_running_total = sum(amount) (by customer_id; ordered by order_date). Para Número da linha / classificação , o resumo também mostra um começar em diferente de 1 e um tipo de saída Texto , comorecord_id = row_number() from 1001 as text (ordered by order_id). O editor permanece aberto enquanto você trabalha na tela. Para fechá-lo, clique no ícone de fechar
. - Reordenar fórmulas : Arraste uma fórmula para cima ou para baixo. Como as fórmulas são em execução em ordem, mova uma fórmula para abaixo de qualquer fórmula cuja coluna ela usa.
- Desativar ou ativar uma fórmula : Passe o mouse sobre uma fórmula e clique em seu interruptor. Uma fórmula que está desativada permanece na lista, mas não é executada.
- Duplicar ou excluir uma fórmula : Passe o mouse sobre uma fórmula, clique no menu kebab e selecione Duplicar ou Excluir .
Para salvar suas alterações, clique em Aplicar . Se uma fórmula que está ativada não tiver um campo obrigatório, Aplicar não estará disponível e uma mensagem ao lado identificará os campos ou fórmulas a serem concluídos.
Se você não tem permissão para editar a preparação de dados visuais, você pode ver a lista de fórmulas e seus resumos, mas não pode abrir, adicionar, reordenar ou alterá-las.
Exemplo: totais acumulados e alterações para cada cliente
Este exemplo usa uma tabela orders com uma linha para cada pedido:
id_pedido | id_cliente | data_do_pedido | quantidade |
|---|---|---|---|
1 | 101 | 01/01/2026 | 100.0 |
2 | 101 | 03/01/2026 | 50,0 |
3 | 102 | 02/01/2026 | 200,0 |
4 | 101 | 05/01/2026 | 75,0 |
5 | 102 | 04/01/2026 | 125,0 |
6 | 103 | 03/01/2026 | 300,0 |
Para compute o total acumulado de cada cliente, o valor do pedido anterior e a alteração em relação ao pedido anterior, adicione um operador de Fórmula de Várias Linhas após a fonte orders e configure as fórmulas a seguir. Cada fórmula usa Ordenar por order_date ( Ascendente ) e Agrupar por customer_id:
- Adicione uma fórmula Agregado em execução . Defina Novo nome de coluna como
customer_running_total, Agregado como Soma e Da coluna comoamount. - Adicione uma fórmula Valor de outra linha . Defina Nome da nova coluna como
previous_amount, Direção como Atraso (linha anterior) , Da coluna comoamounte Linhas de distância como 1. Deixe Se não houver essa linha definido como Nulo . - Adicione uma fórmula Diferença da linha anterior . Defina Novo nome da coluna como
amount_change, Da coluna comoamounte Linhas atrás como 1. - Clique em Aplicar .
A tabela a seguir mostra o resultado com as três novas colunas, classificadas por cliente e data, com order_date omitido:
id_pedido | id_cliente | quantidade | total_acumulado_cliente | quantidade_anterior | amount_change |
|---|---|---|---|---|---|
1 | 101 | 100.0 | 100.0 | null | null |
2 | 101 | 50,0 | 150,0 | 100.0 | -50.0 |
4 | 101 | 75,0 | 225,0 | 50,0 | 25,0 |
3 | 102 | 200,0 | 200,0 | null | null |
5 | 102 | 125,0 | 325,0 | 200,0 | -75,0 |
6 | 103 | 300,0 | 300,0 | null | null |
O primeiro pedido de cada cliente não tem nenhum pedido anterior, portanto previous_amount e amount_change são nulos. Para preencher previous_amount com 0 em vez disso, defina Se nenhuma linha desse tipo para Zero .
Pivô
Reforma dados tabulares em duas direções. Use as tabs na parte superior do painel de configuração para selecionar o modo.
Linhas → Colunas (dinamizar)
Transforma valores distintos em uma coluna em novos cabeçalhos de coluna, preenchidos com valores agregados de outra coluna.
campo | Descrição |
|---|---|
Coluna dinâmica | Selecione a coluna cujos valores distintos se tornam os novos cabeçalhos. |
Valor e agregação | Selecione a coluna cujos valores preenchem as células dinamizadas e selecione uma função de agregação. As funções disponíveis dependem do tipo de dados da coluna selecionada:
Configure como os valores ausentes são tratados (por exemplo, null ou zero), se disponível no painel. |
Colunas → Linhas (desdinamizar)
Transforma uma ou mais colunas em linhas.
campo | Descrição |
|---|---|
Colunas de desdinamização | Selecione as colunas para anular a dinamização. |
Colunas de key e valor | Defina nomes para as colunas de key e valor de saída. |
Incluir colunas
Para qualquer modo, selecione quais colunas permanecem na saída juntamente com os valores dinamizados ou não dinamizados, e descarte as colunas que você não precisa antes da transformação. O Designer infere colunas fixas (de agrupamento) a partir das colunas que você não atribui a funções de dinamização, valor ou não dinamização.
Código
Python
Executa Python (PySpark) personalizado nos dados de entrada.
campo | Descrição |
|---|---|
| Atribua um único DataFrame a |
| Uma lista de DataFrames de entrada, em ordem upstream. O painel de detalhes do operador mostra o nome de cada entrada, em ordem. Por exemplo, |
Parâmetros | Chame |
Um padrão mínimo é usar a primeira entrada quando presente, ou um DataFrame vazio caso contrário:
# inputs["data"] is a list of input DataFrames
result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")
A partir daí, você pode encadear operações DataFrame (por exemplo, select, filter, withColumn ou join) em result antes que a atribuição termine, ou substituir result por um novo DataFrame construído a partir de inputs["data"].
Durante uma pré-visualização, a saída do operador é transmitida para o painel de saída à medida que é produzida, incluindo tudo o que você renderizar com display() e o texto que imprimir, para que você possa ver os resultados antes que a execução termine.
Modo de pré-visualização do Python
À medida que você cria uma preparação de dados visuais, o Designer visualiza continuamente a saída de cada operador em uma amostra dos seus dados. Essas visualizações executam seu código Python da mesma maneira que uma execução completa. Isso é um problema quando seu código tem efeitos colaterais, como chamar uma API externa, enviar uma notificação ou gravar em um sistema fora do Unity Catalog. Geralmente, você não deseja que esses efeitos colaterais sejam disparados em cada visualização.
Para permitir que seu código diferencie as duas opções, leia config["is_preview"], um valor Boolean definido pelo Designer para você:
Truedurante uma execução de visualização, para que você possa ignorar efeitos colaterais.Falsedurante uma execução completa, como quando você clica em Executar ou em uma execução agendada.
Por exemplo, proteja efeitos colaterais para que eles sejam executados apenas fora das pré-visualizações:
result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")
# Side effects run only on a full run or scheduled job, not during previews.
if not config["is_preview"]:
write_results_to_external_system(result)
Um operador personalizado deve declarar uma propriedade de configuração is_preview para receber esse valor. Veja Ignorar efeitos colaterais durante as visualizações.
SQL
Escreve código SQL personalizado para quaisquer transformações não abrangidas pelos outros operadores.
campo | Descrição |
|---|---|
Editor de SQL | Digite uma instrução SQL SQL Clique no botão |
Parâmetros | Para fazer referência a um parâmetro de preparação de dados visual, use a sintaxe do marcador de parâmetro nomeado, como |
para abrir o painel de código SQL completo e veja como sua instrução se encaixa no fluxo de trabalho completo.Relatório
HTML
Renderiza uma página HTML personalizada, incluindo CSS e JavaScript incorporados, no painel de saída. Conecte um ou mais operadores ao operador HTML para exibir seus dados como gráficos, tabelas ou outras views. O operador HTML não tem porta de saída, portanto, você não pode conectar outros operadores depois dele.
campo | Descrição |
|---|---|
HTML | O documento HTML ou fragmento a renderizar. Você pode incluir tags |
| Uma lista dos dados dos operadores conectados, na ordem em que você os conecta. Cada entrada tem um |
| Um objeto que mapeia o nome de cada parâmetro de preparação de dados visual para seu valor como uma strings. Consulte Usar parâmetros no Lakeflow Designer. |
Por exemplo, a página seguinte mostra quantas linhas o primeiro operador conectado passa para a página:
<h2>Summary</h2>
<p id="summary">Connect an operator to bind data.</p>
<script>
const input = window.inputs[0];
if (input) {
document.getElementById('summary').textContent = input.rows.length + ' rows available.';
}
</script>
Durante uma prévia, cada entrada é limitada pela configuração Linhas digitalizadas do operador. A página recebe no máximo 10.000 linhas no total, divididas uniformemente entre as entradas conectadas. Consulte Controlar quanto processamento de prévias de dados.
Visualização
Cria uma visualização a partir dos dados de entrada e a renderiza diretamente na tela. Conecte um operador de visualização a qualquer operador que produza dados tabulares para plotar os resultados sem sair do Designer.
Para configurar a visualização, abra o operador e selecione um tipo de Visualização , em seguida, mapeie suas colunas para o gráfico.
campo | Descrição |
|---|---|
Visualização | O tipo de gráfico para renderizar, como **Barra**, **Área** ou **Contador**. |
Ferramentas de tela
Grupo
Agrupa visualmente operadores na tela sem alterar o fluxo de dados entre eles, o que é útil quando uma preparação visual de dados se torna grande ou quando você deseja refletir estágios lógicos.
campo | Descrição |
|---|---|
Adicionar ao grupo | Arraste um ou mais operadores para um grupo para adicioná-los a ele. |
Criar a partir da seleção | Selecione um ou vários operadores, abra o menu de atalho (clique com o botão direito) e selecione Criar novo grupo para agrupar a seleção em um novo grupo. |
Nome | Dê ao grupo um nome descritivo. |
Grupo de disposição automática | Na barra de ferramentas do grupo, clique em Disposição automática do grupo para organizar apenas os operadores dentro do grupo. Os operadores fora do grupo não se movem. |
Minimizar / expandir | Clique em minimizar ou expandir para mostrar ou ocultar o conteúdo do grupo na tela. |
Ativar / desativar | Clique com o botão direito no cabeçalho do grupo e selecione Desabilitar para excluir todos os operadores do grupo de execuções, ou Habilitar para incluí-los novamente. Os operadores desabilitados não produzem linhas de saída, portanto, os operadores downstream recebem um resultado vazio até que você os habilite. Você também pode ativar ou desativar um operador individual. Consulte Renomear, copiar, excluir e desabilitar operadores. |
Observação
Adiciona uma nota na tela para que você possa documentar o próprio fluxo de trabalho: seu propósito, premissas, ressalvas ou contexto de entrega para qualquer pessoa que abra a preparação de dados visuais mais tarde.
campo | Descrição |
|---|---|
conteúdo | Edite o conteúdo da nota diretamente na tela com um editor de texto formatado. É possível adicionar títulos, estilo de texto, links, imagens e tabelas onde o texto simples não é suficiente. As notas não afetam como os dados fluem pelos operadores. |
Crie seu próprio operador
Quando nenhum operador integrado cobrir sua lógica, crie um operador personalizado. Um operador personalizado pode ser local ou compartilhado:
- Local : o operador pertence à preparação de dados visual atual. Descreva a transformação e o Genie Code gera o operador. Você não escreve código. Veja Criar um operador personalizado local com o Genie Code.
- Compartilhado : o operador é registrado para que outros usuários e preparações de dados visuais possam usá-lo. Sua lógica é Python ou uma função do Unity Catalog, descrita em YAML. Consulte Criar um operador compartilhado.