Criar uma preparação de dados visuais no Lakeflow Designer
Lakeflow Designer permite criar transformações de fluxo de trabalho de dados em uma tela visual de arrastar e soltar. Esta página explica como criar uma preparação visual de dados — desde adicionar uma fonte de dados e encadear operadores até visualizar os resultados e gravar no Unity Catalog.
Requisitos
Para usar LakeFlow Designer, você precisa ter:
- Um workspace Databricks com Unity Catalog ativado.
CAN USEPermissão em pelo menos um recurso compute de uso geral (serverless ou de uso geral).
Selecione qual compute usar no seletor de compute no canto superior direito do Designer, ao lado do botão Programar .
Criar uma nova preparação de dados visuais
Para criar uma nova preparação de dados visuais, clique 
Novo na barra lateral e selecione Preparação visual de dados .
O Designer abre com uma tela de boas-vindas onde você pode adicionar uma fonte de dados ou explorar um exemplo de preparação visual de dados.
Adicionar uma fonte de dados
Toda preparação de dados visuais começa com uma ou mais fontes de dados. O operador Source representa uma fonte de dados na tela.
Para adicionar uma fonte de dados:
- Adicione um operador de origem. Na tela de boas-vindas, clique em Selecionar operador de origem . Na tela, abra o menu do operador e selecione Fonte .
- No painel de configuração da fonte, escolha como importar seus dados. Você pode procurar uma tabela existente, upload um arquivo CSV ou Excel local, criar uma tabela a partir de um arquivo ou importar do Google Drive ou SharePoint.
- Selecione ou configure sua fonte de dados. O operador Fonte aparece na tela.
Você também pode arrastar e soltar um arquivo CSV ou Excel diretamente na tela para criar rapidamente um operador de origem.
Para alterar a fonte posteriormente, abra o operador Fonte e clique em Selecionar uma nova fonte de dados . Alterar a origem invalida o cache de saída para todos os operadores subsequentes.
Para obter detalhes completos sobre cada opção de ingestão, consulte Ingerir dados no LakeFlow Designer.
Adicionar e configurar operadores
Para adicionar um operador, abra o menu do operador no painel lateral no lado esquerdo da tela. Clique em um operador para adicioná-lo à tela, ou arraste um operador do menu para a tela. Também é possível clicar no botão + ao lado de qualquer operador existente para adicionar um novo operador com uma conexão automática.
Para configurar um operador, clique duas vezes nele ou mantenha o cursor sobre ele e clique.
( Operador de edição ), para abrir o painel de configuração. Defina as opções para esse tipo de operador e clique em Aplicar .
Para obter detalhes sobre cada operador disponível, consulte Operadores integrados no Lakeflow Designer. Para obter detalhes sobre como criar seus próprios operadores definidos pelo usuário, consulte Operadores definidos pelo usuário no Lakeflow Designer.
Operadores de conexão
Para conectar dois operadores, clique e arraste da alça de saída (o pequeno círculo na borda direita de um operador) até a alça de entrada (o pequeno círculo na borda esquerda do próximo operador). Isso especifica que os dados fluem do primeiro operador para o segundo. Os dados fluem da esquerda para a direita durante a preparação visual dos dados.
Alguns operadores, como join e Combine , aceitam múltiplas entradas.
Para remover uma conexão, mantenha o ponteiro sobre ela e clique em 
na barra de ferramentas exibida sobre a conexão.
Use Genie Code
A qualquer momento, enquanto estiver editando no Lakeflow Designer, você pode criar prompts para o Genie Code para ajudar. See Genie Code.
Ao usar o Genie Code, os seguintes botões oferecem funcionalidades adicionais:
Faça o upload de uma imagem para usar como parte da descrição.
: Use para mencionar objetos, como tabelas ou arquivos, que serão usados como parte do prompt.
: iniciar uma nova conversa com um novo contexto de agente.
: Abre o painel lateral para o histórico de conversas e uma visualização mais detalhada do que o agente está fazendo.
Genie Code exibe um resumo de uma linha de sua edição mais recente acima da caixa de entrada.
Pré-visualização dos resultados
Selecione um operador para ver os resultados no painel de saída na parte inferior da tela. Para a maioria dos tipos de operador, os dados de entrada estão à esquerda e os dados de saída estão à direita. Operadores que produzem resultados não tabulares, como gráficos, HTML ou imagens, renderizam essas saídas diretamente no painel de saída.
Use o controle de view no painel de saída para alternar entre entrada e saída (o default), somente entrada ou somente saída. Na visualização combinada, arraste o divisor para redimensionar os painéis de entrada e saída.
Por padrão, os operadores processam uma amostra limitada de dados para visualizações. Use o dropdown Linhas verificadas no painel de saída para controlar quantas linhas processar:
- Linhas verificadas: Limite : Processa as primeiras N linhas de entrada. Especifique o número de linhas no campo ao lado da dropdown.
- Linhas verificadas: Máx .: Processa todas as linhas de entrada.
Executando com linhas analisadas: o Max executa novamente todos os operadores anteriores com o dataset completo e ilimitado, o que pode levar muito tempo.
A configuração Linhas escaneadas controla apenas o processamento de visualização. Execuções agendadas e execuções de Job sempre processam o dataset completo.
Gravar resultados no Unity Catalog
Adicione um operador de saída para gravar seus resultados em uma tabela no Unity Catalog:
- Abra o menu do operador e selecione Saída , ou clique em + ao lado do seu último operador e selecione Saída .
- Conecte o identificador de saída das suas últimas transformações ao identificador de entrada do operador de saída , caso ainda não esteja conectado.
- Clique duas vezes no operador de saída para abrir o painel de configuração.
- Digite o nome da tabela e selecione o local de saída (catálogo e esquema).
- Clique em Executar .
Cada execução cria ou substitui a tabela de saída gerenciada, portanto, as execuções agendadas a sobrescrevem em vez de acrescentar. Consulte Saída.
programar ou execução em produção
Você pode automatizar seu fluxo de trabalho programando-os como Job.
- Programar diretamente : Clique no botão "Programar" no menu superior para criar uma tarefa agendada para a preparação visual dos seus dados.
- Adicionar a uma tarefa : Crie uma tarefa Databricks e escolha a preparação visual dos seus dados como uma tarefa. Isso permite combinar a preparação visual de dados com outras tarefas em um pipeline maior.
Para visualizar e gerenciar os agendamentos existentes, clique em Programar novamente para abrir a lista. Clique em Adicionar programação para criar outra, ou abra o menu kebab 
de uma programação para Editar , Executar agora , Pausar , Clonar , View em Jobs ou Excluir .
Quando se programa uma preparação de dados visual, é possível, opcionalmente, substituir os valores de seus parâmetros para essa programação. Por exemplo, você pode criar uma programação que seja executada com um parâmetro environment definido como test e outra que seja executada com ele definido como production. Consulte Parâmetros.
Armazenar e gerenciar arquivos de preparação visual de dados
Arquivos de preparação de dados visuais são armazenados nativamente no workspace. É possível exportá-los, importá-los e rastreá-los com o Git quando são colocados dentro de uma pasta Git.
Exportar um arquivo de preparação de dados visuais
- Clique em no canto superior direito.
- Selecione Arquivo > Exportar .
- O arquivo é exportado como
<file_name>.designer.ipynb.
Importar um arquivo de preparação visual de dados
- No sistema de arquivos do workspace, clique em .
- Selecione **Importar**.
- Escolha o arquivo de preparação visual de dados para importar.
Use arquivos de preparação de dados visuais com o Git
- Crie uma pasta Git em seu workspace.
- Mover o arquivo de preparação de dados visuais para essa pasta Git.
- Rastreie, faça commit e crie versões do arquivo como qualquer outro Notebook no Git.
- No Git, o arquivo aparece como
<file_name>.designer.ipynb.
Renomear uma preparação de dados visuais
Para renomear uma preparação visual de dados, clique na tab que exibe seu nome na parte superior do editor e digite um novo nome.
Excluir uma preparação de dados visuais
Para excluir uma preparação visual de dados, abra o menu kebab do arquivo e selecione Mover para a lixeira .
Para excluir vários arquivos de preparação de dados visuais de uma só vez, abra o **Workspace** na navegação à esquerda, selecione os arquivos que deseja remover e escolha **Mover para o Lixo** na parte superior da lista.
Dicas adicionais ao trabalhar na tela
As seguintes ações estão disponíveis na tela para ajudá-lo a editar a preparação dos seus dados visuais.
- Renomear um operador : Clique no campo de texto na parte superior de qualquer painel de configuração para renomear o operador. Nomes descritivos facilitam a compreensão da preparação visual dos seus dados num relance. Alguns operadores, como o operador SQL, podem referenciar a saída de outros operadores pelo nome.
- Copiar um operador : Posicione o cursor sobre um operador e clique.
ou selecione um operador e pressione Cmd/Ctrl+C e depois Cmd/Ctrl+V . - Excluir um operador : Mantenha o ponteiro sobre um operador e clique em na barra de ferramentas que aparece acima dele, ou selecione o operador e pressione Excluir .
- Disposição automática : Clique
na barra de ferramentas do cabeçalho para organizar automaticamente todos os operadores em uma disposição compacta. - Ajustar view : Clique
Na barra de ferramentas do cabeçalho, você pode ver todos os operadores na área de visualização atual. - Desfazer e refazer : Pressione Cmd/Ctrl+Z e Cmd/Ctrl+Shift+Z , ou use os botões desfazer e refazer na barra de ferramentas do cabeçalho.
- Ver código gerado: Para ver o código PySpark gerado pelo Designer, abra o Histórico de Versões no painel direito, envie o arquivo para uma pasta Git e visualize-o lá, ou visualize o código nos detalhes da execução do Job.
- Exibir histórico de versões : Clique em
no painel direito para abrir o histórico de versões da preparação de dados visuais, que lista suas alterações. Selecione uma versão para compará-la com a versão a seguir.