Criar uma preparação de dados visuais no Lakeflow Designer

Lakeflow Designer permite criar transformações de fluxo de trabalho de dados em uma tela visual de arrastar e soltar. Esta página explica como criar uma preparação visual de dados — desde adicionar uma fonte de dados e encadear operadores até visualizar os resultados e gravar no Unity Catalog.

Requisitos

Para usar LakeFlow Designer, você precisa ter:

• Um workspace Databricks com Unity Catalog ativado.
• CAN USE Permissão em pelo menos um recurso compute de uso geral (serverless ou de uso geral).

Selecione qual compute usar no seletor de compute no canto superior direito do Designer, ao lado do botão Programar .

Criar uma nova preparação de dados visuais

Para criar uma nova preparação de dados visuais, clique Novo na barra lateral e selecione Preparação visual de dados .

O Designer abre com uma tela de boas-vindas onde você pode adicionar uma fonte de dados ou explorar um exemplo de preparação visual de dados.

Para encontrar seus arquivos de preparação visual de dados existentes, abra a página **Preparação visual de dados** na barra lateral. Esta página lista todos os seus arquivos de preparação visual de dados e inclui um vídeo de primeiros passos para ajudar você a começar a usar o Lakeflow Designer.

Adicionar uma fonte de dados

Toda preparação de dados visuais começa com uma ou mais fontes de dados. O operador Source representa uma fonte de dados na tela.

Para adicionar uma fonte de dados:

1. Adicione um operador de origem. Na tela de boas-vindas, clique em Selecionar operador de origem . Na tela, abra o menu do operador e selecione Fonte .

2. No painel de configuração Fonte, escolha como importar seus dados:

   • Selecione uma tabela existente.
   • upload um arquivo CSV ou Excel local.
   • Crie uma tabela a partir de um arquivo.
   • Importar do Google Drive ou SharePoint.

3. Selecione ou configure sua fonte de dados. O operador Fonte aparece na tela.

Você também pode arrastar e soltar um arquivo CSV ou Excel diretamente na tela para criar rapidamente um operador de origem.

Para alterar a fonte posteriormente, abra o operador Fonte e clique em Selecionar uma nova fonte de dados . Alterar a origem invalida o cache de saída para todos os operadores subsequentes.

Para obter detalhes completos sobre cada opção de ingestão, consulte Ingerir dados no LakeFlow Designer.

Adicionar e configurar operadores

Para adicionar um operador, abra o menu do operador no painel lateral no lado esquerdo da tela. Clique em um operador para adicioná-lo à tela, ou arraste um operador do menu para a tela. Também é possível clicar no botão + ao lado de qualquer operador existente para adicionar um novo operador com uma conexão automática.

Para configurar um operador, clique duas vezes nele ou passe o mouse sobre ele e clique em ( Editar operador ), para abrir o painel de configuração. Defina as opções para esse tipo de operador e, em seguida, clique em Aplicar .

Para obter detalhes sobre cada operador disponível, consulte Operadores integrados no Lakeflow Designer. Para obter detalhes sobre como criar seus próprios operadores definidos pelo usuário, consulte Operadores definidos pelo usuário no Lakeflow Designer.

Operadores de conexão

Para conectar dois operadores, clique e arraste da alça de saída (o pequeno círculo na borda direita de um operador) até a alça de entrada (o pequeno círculo na borda esquerda do próximo operador). Isso especifica que os dados fluem do primeiro operador para o segundo. Os dados fluem da esquerda para a direita durante a preparação visual dos dados.

Alguns operadores, como join e Combine , aceitam múltiplas entradas.

Para remover uma conexão, passe o mouse sobre ela e clique em na barra de ferramentas que aparece sobre a conexão.

Use Genie Code

A qualquer momento, enquanto estiver editando no Lakeflow Designer, você pode criar prompts para o Genie Code para ajudar. See Genie Code.

Ao usar o Genie Code, os seguintes botões oferecem funcionalidades adicionais:

• : Anexa um arquivo para usar como parte do prompt.
• : Use para mencionar objetos, como tabelas ou arquivos, que serão usados como parte do prompt.
• : iniciar uma nova conversa com um novo contexto de agente.
• : Abre o painel lateral para o histórico de conversas e uma visualização mais detalhada do que o agente está fazendo.

Genie Code exibe um resumo de uma linha de sua edição mais recente acima da caixa de entrada.

Pré-visualização dos resultados

Selecione um operador para ver os resultados no painel de saída na parte inferior da tela. Para a maioria dos tipos de operador, os dados de entrada estão à esquerda e os dados de saída estão à direita. Operadores que produzem resultados não tabulares, como gráficos, HTML ou imagens, renderizam essas saídas diretamente no painel de saída.

Use o controle de view no painel de saída para alternar entre entrada e saída (o default), somente entrada ou somente saída. Na visualização combinada, arraste o divisor para redimensionar os painéis de entrada e saída.

Se a execução do operador selecionado tiver dados de desempenho, clique em Performance no painel de saída para abrir o perfil completo da query.

Por default, os operadores processam uma amostra limitada de dados para visualizações. Use o menu Preview na barra de ferramentas para definir o número default de linhas de entrada a ser processado para visualizações. Selecione Primeiras N linhas e insira um limite de linhas, ou selecione Todas as linhas .

O menu Linhas escaneadas no painel de saída pode ser usado para substituir a contagem de linhas da visualização de um operador individual.

• Linhas examinadas: Herdar : Usa o default do menu Preview .
• Linhas escaneadas: Limite : Processa as primeiras N linhas de entrada. Insira o limite de linhas no campo ao lado do menu.
• Linhas verificadas: Todas as linhas : Processa todas as linhas de entrada.

Quando você gera uma pré-visualização para todas as linhas, o Designer mostra a contagem exata de linhas de saída abaixo do operador na tela. Para um operador com várias saídas, passe o cursor sobre o selo de contagem de linhas para ver a contagem de cada saída.

atenção

A geração de uma pré-visualização com Rows scanned: All rows executa novamente o operador e seus operadores upstream com o dataset completo e ilimitado, o que pode demorar muito.

A configuração Linhas escaneadas controla apenas o processamento da pré-visualização. Execuções agendadas e execuções de job processam o dataset completo.

Executar a preparação visual de dados completa

Clique em Executar tudo para executar cada operador na tela em relação ao dataset completo em uma única ação, sem visualizar cada operador individualmente. O Designer executa todo o arquivo de preparação visual de dados e atualiza os resultados para cada operador, em seguida, mostra a contagem exata de linhas de saída de cada operador abaixo dele na tela.

Transforme dados diretamente na tabela de resultados

Além de adicionar operadores para transformar seus dados, você pode preparar seus dados agindo diretamente na tabela de resultados. As edições na pré-visualização alteram apenas a amostra de pré-visualização e são coletadas como Alterações pendentes ; elas não alteram seus dados ou seu fluxo de trabalho até que você as aplique.

As seguintes ações são compatíveis na pré-visualização de dados:

• Inserir uma coluna : selecione Inserir coluna e, em seguida, digite um nome e uma expressão.
• Alterar o tipo de uma coluna : Selecione Alterar tipo e escolha o tipo de destino.
• Remover linhas nulas : Selecione Remover nulos para descartar linhas onde a coluna é nula.
• Filtrar linhas : Adicione uma ou mais condições de filtro na coluna.
• Renomear uma coluna : clique duas vezes no cabeçalho da coluna e digite um novo nome.
• Ocultar, reordenar ou remover colunas : oculte ou remova uma coluna, ou arraste os cabeçalhos das colunas para reordená-los.
• Classificar linhas : adicione uma direção de classificação na coluna. A classificação em mais colunas é adicionada à ordem de classificação.
• Remover linhas duplicadas : selecione Remover duplicadas e, em seguida, escolha as colunas a serem comparadas.

Revisar e aplicar alterações pendentes

As edições em estágio são coletadas no painel Alterações pendentes . Abra-o para revisar ou remover uma edição antes de aplicá-la. Para alterar uma nova coluna em estágio, clique duas vezes nela na visualização e atualize seu nome ou expressão.

Para adicionar as edições preparadas ao seu fluxo de trabalho, selecione Aplicar ao canvas . O Lakeflow Designer adiciona um operador para cada tipo de edição, na ordem em que você as preparou. Cada tipo de edição mapeia para um operador:

Edição de visualização	Operador adicionado à tela
Inserir uma coluna	Preparar
Alterar o tipo de uma coluna	Preparar
Remover linhas nulas	Filtrar
Filtrar linhas	Filtrar
Remova, renomeie, reordene ou oculte colunas	Selecionar
Ordenar linhas	Ordenar
Remover linhas duplicadas	Exclusivo

Edição de visualização	Operador adicionado à tela
Inserir uma coluna	Preparar
Alterar o tipo de uma coluna	Preparar
Remover linhas nulas	Filtrar
Filtrar linhas	Filtrar
Remova, renomeie, reordene ou oculte colunas	Selecionar
Ordenar linhas	Ordenar
Remover linhas duplicadas	Exclusivo

nota

Se você alternar a visualização para processar o dataset completo enquanto tiver alterações pendentes, o Lakeflow Designer solicitará que você as aplique primeiro para que suas edições em estágio não sejam perdidas.

Download dos resultados

Use o controle de download no painel de saída para exportar os resultados da pré-visualização para um arquivo:

• Linhas exibidas : faça o download das linhas exibidas atualmente na visualização, como CSV ou Excel.
• Todas as linhas : faça o download do dataset completo. Disponível quando você tem permissão para executar o fluxo de trabalho. A exportação de todas as linhas para Excel exige compute serverless.

O administrador do seu workspace pode desativar os downloads.

Escrever resultados

Adicione um operador de **Saída** para gravar seus resultados. O operador de saída pode gravar em uma tabela do Unity Catalog, publicar resultados como uma view materializada ou gravar um arquivo CSV, Excel ou JSON em um volume do Unity Catalog.

1. Abra o menu do operador e selecione Saída , ou clique em + ao lado do seu último operador e selecione Saída .
2. Conecte o identificador de saída das suas últimas transformações ao identificador de entrada do operador de saída , caso ainda não esteja conectado.
3. Clique duas vezes no operador de saída para abrir o painel de configuração.
4. Selecione um tipo de saída e configure o destino. Para uma tabela, insira um Nome da tabela , selecione o Local de saída (catálogo e esquema) e selecione um Modo de gravação .
5. Clique em Executar .

Para o conjunto completo de tipos de saída e modos de escrita, consulte Saída.

programar ou execução em produção

É possível automatizar seus fluxos de trabalho programando-os como Jobs. Clique no botão Programar no menu superior para criar um Job programado para sua preparação de dados visuais, ou adicione a preparação de dados visuais a um Job do Databricks maior como uma tarefa.

Para mover uma preparação visual de dados para produção, incluindo armazená-la no Git, implantá-la com Declarative Automation Bundles e parametrizá-la em vários ambientes, consulte Mover um arquivo de preparação visual de dados para produção.

Exportar e importar um arquivo de preparação de dados visuais

Os arquivos de preparação de dados visuais são armazenados nativamente no workspace. Você pode exportá-los e importá-los para movê-los entre workspaces ou compartilhá-los.

Para exportar um arquivo de preparação de dados visuais:

1. Clique em no canto superior direito.
2. Selecione Arquivo > Exportar .
3. O arquivo é exportado como <file_name>.designer.ipynb.

Para importar da página Preparação de dados visuais :

1. Clique na seta suspensa ao lado de New e, em seguida, selecione Import file .
2. Para importar um arquivo .designer.ipynb, selecione Como preparação de dados visuais e, em seguida, selecione o arquivo. O Designer abre a preparação de dados visuais importada no editor.
3. Para criar uma preparação de dados visual com operadores de origem para arquivos enviados, selecione As source e, em seguida, faça upload de um ou mais arquivos CSV, JSON, Excel ou PDF.

Para importar do sistema de arquivos do workspace:

1. No sistema de arquivos do workspace, clique em .
2. Selecione **Importar**.
3. Selecione o arquivo de preparação de dados visuais para importar.

Para versionar um arquivo de preparação de dados visuais com o Git e levá-lo à produção, consulte Mover um arquivo de preparação de dados visuais para a produção.

Renomear um arquivo de preparação de dados visuais

Para renomear um arquivo de preparação de dados visuais, clique na tab mostrando seu nome na parte superior do editor e insira um novo nome.

Excluir um arquivo de preparação visual de dados

Para excluir um arquivo de preparação de dados visual, abra o menu kebab para o arquivo e selecione **Mover para a lixeira**.

Para excluir vários arquivos de preparação visual de dados de uma vez, abra **Workspace** na navegação à esquerda, selecione os arquivos que deseja remover e selecione **Mover para a lixeira** no topo da lista.

Dicas adicionais ao trabalhar na tela

As seguintes ações estão disponíveis na tela para ajudá-lo a editar a preparação dos seus dados visuais.

• Renomear um operador : Clique na caixa na parte superior de qualquer painel de configuração para renomear o operador. Nomes descritivos tornam a preparação de dados visuais mais fácil de entender rapidamente. Alguns operadores, como o operador SQL, podem referenciar a saída de outros operadores por nome.
• Copiar um operador : Passe o mouse sobre um operador e clique em , ou selecione um operador e pressione Cmd/Ctrl+C , depois Cmd/Ctrl+V .
• Excluir um operador : Passe o mouse sobre um operador e clique em na barra de ferramentas que aparece acima dele, ou selecione o operador e pressione Excluir .
• Ativar ou desativar um operador : clique com o botão direito em um operador, ou em um grupo, e selecione Desativar para excluí-lo de execuções, ou Ativar para incluí-lo novamente. Um operador desativado não produz linhas de saída, portanto, os operadores downstream recebem um resultado vazio até que você o ative.
• Disposição automática : Clique na barra de ferramentas do cabeçalho para organizar automaticamente todos os operadores em uma disposição compacta.
• Ajustar view : Clique Na barra de ferramentas do cabeçalho, você pode ver todos os operadores na área de visualização atual.
• Desfazer e refazer : Pressione Cmd/Ctrl+Z e Cmd/Ctrl+Shift+Z , ou use os botões desfazer e refazer na barra de ferramentas do cabeçalho.
• Abrir a paleta de comandos : Pressione Cmd+Shift+P no macOS ou Ctrl+Shift+P no Windows para acessar rapidamente as ações do editor.
• View gerada : selecione Table of contents no painel esquerdo, selecione um operador e expanda a seção Generated code para ver o código gerado pelo Designer. Para mais informações, consulte The table of contents.
• view version history : clique em no painel direito para abrir o histórico de versões da preparação visual de dados, que lista suas alterações. Selecione uma versão para ver uma diferença visual na tela que a compara com a versão seguinte, com operadores adicionados, removidos e alterados destacados. Passar o mouse sobre um operador no sumário destaca o operador correspondente em ambas as versões da diferença.

Outros recursos

• Ingerir dados no LakeFlow Designer
• operadores integrados no LakeFlow Designer