Criar uma preparação de dados visuais no Lakeflow Designer

Lakeflow Designer permite criar transformações de fluxo de trabalho de dados em uma tela visual de arrastar e soltar. Esta página explica como criar uma preparação visual de dados — desde adicionar uma fonte de dados e encadear operadores até visualizar os resultados e gravar no Unity Catalog.

Requisitos

Para usar LakeFlow Designer, você precisa ter:

• Um workspace Databricks com Unity Catalog ativado.
• CAN USE Permissão em pelo menos um recurso compute de uso geral (serverless ou de uso geral).

Selecione qual compute usar no seletor de compute no canto superior direito do Designer, ao lado do botão Programar .

Criar uma nova preparação de dados visuais

Para criar uma nova preparação de dados visuais, clique Novo na barra lateral e selecione Preparação visual de dados .

O Designer abre com uma tela de boas-vindas onde você pode adicionar uma fonte de dados ou explorar um exemplo de preparação visual de dados.

Para encontrar seus arquivos de preparação visual de dados existentes, abra a página **Preparação visual de dados** na barra lateral. Esta página lista todos os seus arquivos de preparação visual de dados e inclui um vídeo de primeiros passos para ajudar você a começar a usar o Lakeflow Designer.

Adicionar uma fonte de dados

Toda preparação de dados visuais começa com uma ou mais fontes de dados. O operador Source representa uma fonte de dados na tela.

Para adicionar uma fonte de dados:

1. Adicione um operador de origem. Na tela de boas-vindas, clique em Selecionar operador de origem . Na tela, abra o menu do operador e selecione Fonte .

2. No painel de configuração Fonte, escolha como importar seus dados:

   • Selecione uma tabela existente.
   • upload um arquivo CSV ou Excel local.
   • Crie uma tabela a partir de um arquivo.
   • Importar do Google Drive ou SharePoint.

3. Selecione ou configure sua fonte de dados. O operador Fonte aparece na tela.

Você também pode arrastar e soltar um arquivo CSV ou Excel diretamente na tela para criar rapidamente um operador de origem.

Para alterar a fonte posteriormente, abra o operador Fonte e clique em Selecionar uma nova fonte de dados . Alterar a origem invalida o cache de saída para todos os operadores subsequentes.

Para obter detalhes completos sobre cada opção de ingestão, consulte Ingerir dados no LakeFlow Designer.

Adicionar e configurar operadores

Para adicionar um operador, abra o menu do operador no painel lateral no lado esquerdo da tela. Clique em um operador para adicioná-lo à tela, ou arraste um operador do menu para a tela. Também é possível clicar no botão + ao lado de qualquer operador existente para adicionar um novo operador com uma conexão automática.

Para configurar um operador, clique duas vezes nele ou passe o mouse sobre ele e clique em ( Editar operador ), para abrir o painel de configuração. Defina as opções para esse tipo de operador e, em seguida, clique em Aplicar .

Para obter detalhes sobre cada operador disponível, consulte Operadores integrados no Lakeflow Designer. Para obter detalhes sobre como criar seus próprios operadores definidos pelo usuário, consulte Operadores definidos pelo usuário no Lakeflow Designer.

Operadores de conexão

Para conectar dois operadores, clique e arraste da alça de saída (o pequeno círculo na borda direita de um operador) até a alça de entrada (o pequeno círculo na borda esquerda do próximo operador). Isso especifica que os dados fluem do primeiro operador para o segundo. Os dados fluem da esquerda para a direita durante a preparação visual dos dados.

Alguns operadores, como join e Combine , aceitam múltiplas entradas.

Para remover uma conexão, passe o mouse sobre ela e clique em na barra de ferramentas que aparece sobre a conexão.

Use Genie Code

A qualquer momento, enquanto estiver editando no Lakeflow Designer, você pode criar prompts para o Genie Code para ajudar. See Genie Code.

Ao usar o Genie Code, os seguintes botões oferecem funcionalidades adicionais:

• : Anexa um arquivo para usar como parte do prompt.
• : Use para mencionar objetos, como tabelas ou arquivos, que serão usados como parte do prompt.
• : iniciar uma nova conversa com um novo contexto de agente.
• : Abre o painel lateral para o histórico de conversas e uma visualização mais detalhada do que o agente está fazendo.

Genie Code exibe um resumo de uma linha de sua edição mais recente acima da caixa de entrada.

Pré-visualização dos resultados

Selecione um operador para ver os resultados no painel de saída na parte inferior da tela. Para a maioria dos tipos de operador, os dados de entrada estão à esquerda e os dados de saída estão à direita. Operadores que produzem resultados não tabulares, como gráficos, HTML ou imagens, renderizam essas saídas diretamente no painel de saída.

Use o controle de view no painel de saída para alternar entre entrada e saída (o default), somente entrada ou somente saída. Na visualização combinada, arraste o divisor para redimensionar os painéis de entrada e saída.

Por default, os operadores processam uma amostra limitada de dados para pré-visualizações. Use o menu suspenso **Linhas escaneadas** no painel de saída para controlar quantas linhas processar:

• **Linhas escaneadas: Limite**: Processa as primeiras N linhas de entrada. Especifique o número de linhas no campo ao lado do menu suspenso.
• Linhas verificadas: Máx .: Processa todas as linhas de entrada.

atenção

Executando com linhas analisadas: o Max executa novamente todos os operadores anteriores com o dataset completo e ilimitado, o que pode levar muito tempo.

A configuração Linhas escaneadas controla apenas o processamento de visualização. Execuções agendadas e execuções de Job sempre processam o dataset completo.

Escrever resultados

Adicione um operador de **Saída** para gravar seus resultados. O operador de saída pode gravar em uma tabela do Unity Catalog, publicar resultados como uma view materializada ou gravar um arquivo CSV, Excel ou JSON em um volume do Unity Catalog.

1. Abra o menu do operador e selecione Saída , ou clique em + ao lado do seu último operador e selecione Saída .
2. Conecte o identificador de saída das suas últimas transformações ao identificador de entrada do operador de saída , caso ainda não esteja conectado.
3. Clique duas vezes no operador de saída para abrir o painel de configuração.
4. Selecione um tipo de saída e configure o destino. Para uma tabela, insira um Nome da tabela , selecione o Local de saída (catálogo e esquema) e selecione um Modo de gravação .
5. Clique em Executar .

Para o conjunto completo de tipos de saída e modos de escrita, consulte Saída.

programar ou execução em produção

É possível automatizar seus fluxos de trabalho programando-os como Jobs. Clique no botão Programar no menu superior para criar um Job programado para sua preparação de dados visuais, ou adicione a preparação de dados visuais a um Job do Databricks maior como uma tarefa.

Para mover uma preparação visual de dados para produção, incluindo armazená-la no Git, implantá-la com Declarative Automation Bundles e parametrizá-la em vários ambientes, consulte Mover um arquivo de preparação visual de dados para produção.

Exportar e importar um arquivo de preparação de dados visuais

Os arquivos de preparação de dados visuais são armazenados nativamente no workspace. Você pode exportá-los e importá-los para movê-los entre workspaces ou compartilhá-los.

Para exportar um arquivo de preparação de dados visuais:

1. Clique em no canto superior direito.
2. Selecione Arquivo > Exportar .
3. O arquivo é exportado como <file_name>.designer.ipynb.

Para importar um arquivo de preparação de dados visuais:

1. No sistema de arquivos do workspace, clique em .
2. Selecione **Importar**.
3. Selecione o arquivo de preparação de dados visuais para importar.

Para versionar um arquivo de preparação de dados visuais com o Git e levá-lo à produção, consulte Mover um arquivo de preparação de dados visuais para a produção.

Renomear um arquivo de preparação de dados visuais

Para renomear um arquivo de preparação de dados visuais, clique na tab mostrando seu nome na parte superior do editor e insira um novo nome.

Excluir um arquivo de preparação visual de dados

Para excluir um arquivo de preparação de dados visual, abra o menu kebab para o arquivo e selecione **Mover para a lixeira**.

Para excluir vários arquivos de preparação visual de dados de uma vez, abra **Workspace** na navegação à esquerda, selecione os arquivos que deseja remover e selecione **Mover para a lixeira** no topo da lista.

Dicas adicionais ao trabalhar na tela

As seguintes ações estão disponíveis na tela para ajudá-lo a editar a preparação dos seus dados visuais.

• Renomear um operador : Clique na caixa na parte superior de qualquer painel de configuração para renomear o operador. Nomes descritivos tornam a preparação de dados visuais mais fácil de entender rapidamente. Alguns operadores, como o operador SQL, podem referenciar a saída de outros operadores por nome.
• Copiar um operador : Passe o mouse sobre um operador e clique em , ou selecione um operador e pressione Cmd/Ctrl+C , depois Cmd/Ctrl+V .
• Excluir um operador : Passe o mouse sobre um operador e clique em na barra de ferramentas que aparece acima dele, ou selecione o operador e pressione Excluir .
• Disposição automática : Clique na barra de ferramentas do cabeçalho para organizar automaticamente todos os operadores em uma disposição compacta.
• Ajustar view : Clique Na barra de ferramentas do cabeçalho, você pode ver todos os operadores na área de visualização atual.
• Desfazer e refazer : Pressione Cmd/Ctrl+Z e Cmd/Ctrl+Shift+Z , ou use os botões desfazer e refazer na barra de ferramentas do cabeçalho.
• Abrir a paleta de comandos : Pressione Cmd+Shift+P no macOS ou Ctrl+Shift+P no Windows para acessar rapidamente as ações do editor.
• **View código gerado**: Abra a tab **Índice** no menu esquerdo, selecione um operador e, em seguida, expanda a seção **Código gerado** para ver o código que o Designer gera para ele. Para mais, consulte O índice.
• Exibir histórico de versões : Clique em no painel direito para abrir o histórico de versões da preparação de dados visuais, que lista suas alterações. Selecione uma versão para compará-la com a versão a seguir.

Outros recursos

• Ingerir dados no LakeFlow Designer
• operadores integrados no LakeFlow Designer