Pré-visualizar e refinar resultados no Lakeflow Designer
Ao criar uma preparação de dados visual, o Lakeflow Designer pré-visualiza os resultados de cada operador para que você possa verificar o seu trabalho sem executar todo o fluxo de trabalho. Esta página descreve como ler e controlar pré-visualizações, fazer a execução de parte ou de toda a preparação de dados visual, salvar resultados de operadores com checkpoints e refinar dados diretamente na tabela de resultados.
Usar o painel de saída
Selecione qualquer operador para ver os resultados no painel de saída na parte inferior da tela. Para a maioria dos tipos de operador, os dados de entrada ficam à esquerda e os dados de saída à direita. Operadores que produzem resultados que não sejam tabelas, como gráficos, HTML ou imagens, renderizam esses resultados diretamente no painel de saída.
Use o controle de view no painel de saída para alternar entre entrada e saída (o default), somente entrada ou somente saída. Na view combinada, arraste o divisor para redimensionar os painéis de entrada e saída.
Se a execução do operador selecionado tiver dados de desempenho, clique em Desempenho no painel de saída para abrir o perfil completo da query.
Controle quanto os previews de dados processam
O Designer pré-visualiza operadores automaticamente. Por default, os operadores processam as primeiras 1.000 linhas de entrada para pré-visualizações. Para alterar o default, use o menu Pré-visualização na barra de ferramentas da tela e selecione Primeiras N linhas para inserir um novo limite ou selecione Todas as linhas . Selecione Aplicar a todos os operadores para limpar a substituição de Linhas digitalizadas de cada operador para que ele use o default atual.
Use o menu Linhas digitalizadas no painel de saída para substituir o default para um operador individual:
- Linhas examinadas: Herdado : Usa o default do menu Pré-visualização .
- Linhas escaneadas: Limite : Processa as primeiras N linhas de entrada. Insira o limite de linhas no campo ao lado do menu.
- Linhas examinadas: todas as linhas : processa todas as linhas de entrada.
Quando uma pré-visualização processa todas as linhas, a tela mostra a contagem exata de linhas de saída do operador. Para operadores com múltiplas saídas, passe o mouse sobre o emblema de contagem de linhas para ver as contagens por saída.
Gerar uma pré-visualização com Linhas examinadas: todas as linhas executa novamente o operador e seus operadores upstream em todo o dataset e pode levar muito tempo.
Os limites de pré-visualização não se aplicam a Job programados ou a execução tudo .
Execução da preparação visual completa de dados
Clique em execução tudo para execução cada operador no canvas em relação ao dataset completo em uma única ação, sem visualizar cada operador individualmente. O designer faz a execução de todo o arquivo de preparação visual de dados e atualiza os resultados para cada operador, mostrando então a contagem exata de linhas de saída de cada operador abaixo dele no canvas.
O menu execução contém mais ações para a execução de toda a preparação de dados visuais:
- Clique em
no cabeçalho do arquivo e selecione execução . - Escolha uma ação:
- Execução de tudo : execução de toda a preparação visual de dados.
- Interromper execução : pare uma preparação de dados visuais em execução.
- Ir para o operador da última execução : Focar no operador executado mais recentemente.
- Limpar > Limpar todas as saídas do operador : remova os resultados exibidos.
- Limpar > Limpar estado e execução de todos : Limpa o estado do compute e faz a execução novamente da preparação visual de dados.
A limpeza requer permissão para editar o arquivo de preparação de dados visuais.
Execução até um operador
Clique com o botão direito em um operador e selecione Execução até este operador para a execução dele e de seus operadores upstream em relação ao dataset completo, sem limites de linha de visualização. Os operadores downstream e as Branch desconectadas não são execução.
Configurar pontos de verificação do operador
Os pontos de verificação salvam os resultados de um operador para que as pré-visualizações possam reutilizá-los sem reexecutar os operadores upstream. No painel de configuração do operador, abra Configurações do operador e selecione Ponto de verificação :
- Automático : O designer escolhe quais resultados salvar. Este é o default para novos operadores.
- Ligado : salve os resultados desse operador.
- Desativado : Não salve os resultados deste operador.
Alterar essa configuração requer permissão para editar o arquivo de preparação visual de dados, execução e gerar pré-visualizações. As pré-visualizações podem reutilizar resultados salvos dentro da mesma sessão de compute. execução tudo , execução até este operador e Job agendados recalculam os resultados.
Se a criação de pontos de verificação não estiver disponível ou falhar, Auto continuará sem ela. Com Ligado , a pré-visualização ou a execução falham.
transformação de dados diretamente na tabela de resultados
Além de adicionar operadores para transformar seus dados, você pode prepará-los agindo diretamente na tabela de resultados. As edições na pré-visualização alteram apenas a amostra de pré-visualização e são coletadas como Alterações pendentes . Elas não alteram seus dados ou seu fluxo de trabalho até que você as aplique.
As seguintes ações são compatíveis com a pré-visualização de dados:
- Inserir uma coluna : Selecione Inserir coluna e digite um nome e uma expressão.
- Alterar o tipo de uma coluna : Selecione Alterar tipo e escolha o tipo de destino.
- Remover linhas nulas : Selecione Remover nulos para descartar linhas onde a coluna é nula.
- Filtrar linhas : Adicione uma ou mais condições de filtro na coluna.
- Renomear uma coluna : clique duas vezes no cabeçalho da coluna e digite um novo nome.
- Ocultar, reordenar ou remover colunas : Oculte ou remova uma coluna ou arraste os cabeçalhos das colunas para reordená-las.
- Ordenar linhas : adicione uma direção de ordenação à coluna. A classificação em mais colunas é adicionada à ordem de classificação.
- Remover linhas duplicadas : selecione Remover duplicadas e escolha as colunas que você deseja comparar.
Revisar e aplicar alterações pendentes
As edições em estágio são coletadas no painel Alterações pendentes . Abra-o para revisar ou remover uma edição antes de aplicá-la. Para alterar uma nova coluna em estágio, clique duas vezes nela na pré-visualização e atualize seu nome ou expressão.
Para adicionar as edições em estágio ao seu fluxo de trabalho, selecione Aplicar à tela . O Lakeflow Designer adiciona operadores para as edições em estágio, na ordem em que você as preparou. Cada tipo de edição mapeia para o seguinte tipo de operador:
Se você alternar a pré-visualização para processar o dataset completo enquanto tiver alterações pendentes, o Lakeflow Designer solicitará que você as aplique primeiro para que suas edições em estágio não sejam perdidas.
Inspecionar o perfil de dados
Para ver detalhes sobre parte da saída, selecione os dados que deseja inspecionar e clique no botão da barra lateral 
no canto superior direito do painel de saída para abrir o painel de detalhes.
Download dos resultados
Use o controle de download no painel de saída para exportar os resultados da pré-visualização para um arquivo:
- Linhas exibidas : faça download das linhas mostradas na visualização, como CSV ou Excel.
- Todas as linhas : download o dataset completo. Disponível quando você tem permissão para execução o fluxo de trabalho. A exportação de Excel de todas as linhas exige compute serverless.
O administrador do seu workspace pode desativar os downloads.