Como criar uma preparação visual de dados no LakeFlow Designer

info

Visualização

Este recurso está em Pré-visualização Pública.

LakeFlow Designer permite criar transformações de fluxo de trabalho de dados em uma tela visual de arrastar e soltar. Esta página explica como criar uma preparação de dados visual — desde adicionar uma fonte de dados e encadear operadores até visualizar os resultados e gravar no Unity Catalog.

Para criar uma preparação de dados visuais:

1. Verificar requisitos
2. Criar uma preparação de dados visuais
3. Adicionar uma fonte de dados
4. Adicionar e configurar operadores
5. Operadores de conexão
6. Pré-visualização dos resultados
7. Gravar resultados no Unity Catalog
8. programar ou execução em produção

Requisitos

Para usar LakeFlow Designer, você precisa ter:

• Um workspace Databricks com Unity Catalog ativado.
• CAN USE Permissão em pelo menos um recurso compute (seja serverless ou de uso geral).
• Recurso assistivo Databricks AI habilitado. Se um modelo não estiver disponível na sua região, você também poderá precisar ativar o processamento entre regiões geográficas.

Criar uma nova preparação de dados visuais

Para criar uma nova preparação de dados visuais, clique Novo na barra lateral e selecione Preparação visual de dados .

O Designer abre com uma tela de boas-vindas onde você pode adicionar uma fonte de dados ou explorar um exemplo de preparação visual de dados.

Adicionar uma fonte de dados

Todo fluxo de trabalho do Designer começa com uma ou mais fontes de dados. O operador Source representa uma fonte de dados na tela.

Para adicionar uma fonte de dados:

1. Adicione um operador de origem. Na tela de boas-vindas, clique em Selecionar operador de origem . Na tela, abra o menu do operador e selecione Fonte .
2. No painel de configuração da fonte, escolha como importar seus dados. Você pode procurar uma tabela existente, upload um arquivo CSV ou Excel local, criar uma tabela a partir de um arquivo ou importar do Google Drive ou SharePoint.
3. Selecione ou configure sua fonte de dados. O operador Fonte aparece na tela.

Você também pode arrastar e soltar um arquivo CSV ou Excel diretamente na tela para criar rapidamente um operador de origem.

Para alterar a fonte posteriormente, abra o operador Fonte e clique em Selecionar uma nova fonte de dados . Alterar a origem invalida o cache de saída para todos os operadores subsequentes.

Para obter detalhes completos sobre cada opção de ingestão, consulte Ingerir dados no LakeFlow Designer.

Adicionar e configurar operadores

Para adicionar um operador, abra o menu de operadores no painel lateral à esquerda da tela. Clique em um operador para adicioná-lo à tela ou arraste um operador do menu para a tela. Você também pode clicar no botão + ao lado de qualquer operadora existente para adicionar uma nova operadora com conexão automática.

Para configurar um operador, clique duas vezes nele ou mantenha o cursor sobre ele e clique. ( Operador de edição ), para abrir o painel de configuração. Defina as opções para esse tipo de operador e clique em Aplicar .

Para obter detalhes sobre cada operador disponível, consulte Operadores integrados no LakeFlow Designer.

Operadores de conexão

Para conectar dois operadores, clique e arraste da alça de saída (o pequeno círculo na borda direita de um operador) até a alça de entrada (o pequeno círculo na borda esquerda do próximo operador). Isso especifica que os dados fluem do primeiro operador para o segundo. Os dados fluem da esquerda para a direita na preparação visual de dados.

Alguns operadores, como join e Combine , aceitam múltiplas entradas.

Use Genie Code

A qualquer momento durante a edição no LakeFlow Designer, você pode criar prompts para Genie Code para obter ajuda.

Ao usar o Genie Code, os seguintes botões oferecem funcionalidades adicionais:

• Faça o upload de uma imagem para usar como parte da descrição.
• : Use para mencionar objetos, como tabelas ou arquivos, que serão usados como parte do prompt.
• : iniciar uma nova conversa com um novo contexto de agente.
• Abre o painel lateral para o histórico da conversa e uma view mais detalhada do que o agente está fazendo.

Pré-visualização dos resultados

Selecione qualquer operador para visualizar os resultados no painel de saída na parte inferior da tela. Para a maioria dos tipos de operadores, os dados de entrada ficam à esquerda e os dados de saída à direita.

Por default, os operadores executam em uma amostra de dados de até 1.000 linhas. Para executar com o dataset completo, clique em datasetde amostra no painel de saída e alterne para datasetcompleto .

atenção

Executar o processo com o dataset completo executa novamente todos os operadores anteriores com o dataset completo e ilimitado, o que pode levar muito tempo.

perfil de dados

No painel de saída, você pode optar por exibir detalhes dos dados em sua saída. No canto superior direito do painel de saída, escolha o Botão na barra lateral para abrir os detalhes da seleção. Selecione um subconjunto dos seus dados para ver detalhes sobre a sua seleção.

Gravar resultados no Unity Catalog

Adicione um operador de saída para gravar seus resultados em uma tabela no Unity Catalog:

1. Abra o menu do operador e selecione Saída , ou clique em + ao lado do seu último operador e selecione Saída .
2. Conecte o identificador de saída das suas últimas transformações ao identificador de entrada do operador de saída , caso ainda não esteja conectado.
3. Clique duas vezes no operador de saída para abrir o painel de configuração.
4. Digite o nome da tabela e selecione o local de saída (catálogo e esquema).
5. Clique em Executar .

programar ou execução em produção

Você pode automatizar seu fluxo de trabalho programando-os como Job.

• Programar diretamente : Clique no botão "Programar" no menu superior para criar uma tarefa agendada para a preparação dos seus dados visuais.
• Adicionar a uma tarefa : Crie uma tarefa Databricks e escolha a preparação de dados do seu visualizador de design como uma tarefa. Isso permite combinar a preparação visual de dados com outras tarefas em um pipeline maior.

Dicas adicionais ao trabalhar na tela

As seguintes ações estão disponíveis na tela para ajudá-lo a editar sua preparação de dados visuais.

• Renomear um operador : Clique no campo de texto na parte superior de qualquer painel de configuração para renomear o operador. Nomes descritivos facilitam a compreensão da preparação dos seus dados visuais num relance. Alguns operadores, como o operador SQL, podem referenciar a saída de outros operadores pelo nome.
• Copiar um operador : Posicione o cursor sobre um operador e clique. ou selecione um operador e pressione Cmd/Ctrl+C e depois Cmd/Ctrl+V .
• Disposição automática : Clique na barra de ferramentas inferior esquerda para organizar automaticamente todos os operadores em uma disposição compacta.
• Ajustar view : Clique Na barra de ferramentas inferior esquerda, você pode ver todos os operadores na área de visualização atual.
• Desfazer e refazer : Pressione Cmd/Ctrl+Z e Cmd/Ctrl+Shift+Z , ou use os botões na barra de ferramentas superior.

Próximos passos

• Ingerir dados no LakeFlow Designer
• operadores integrados no LakeFlow Designer