Pular para o conteúdo principal
Última atualização em

Use Genie Code para o desenvolvimento pipeline

O Genie Code é o parceiro de engenharia de dados de AI para desenvolvedores no Editor do LakeFlow Pipelines. Ele explora dados, gera e execução código de pipeline e corrige erros a partir de um único prompt.

nota

Use o Genie Code para desenvolver e migrar pipelines. Para converter SQL legado de outros dialetos, como T-SQL, Snowflake ou Oracle, para ANSI SQL, use o conversor de código agentic. Veja Converter SQL com Genie Migrate.

O que é Genie Code para desenvolvimento pipeline ?​

O Genie Code é um parceiro autônomo que pode automatizar fluxos de trabalho de engenharia de dados de várias etapas no Editor de LakeFlow Pipelines.

Use o Agente de engenharia de dados.

O Genie Code pode planejar e gerar pipelines inteiros de ponta a ponta do zero ou acelerar o trabalho em um pipeline existente. O agente trabalha com você para aprovar seus planos e confirmar seus próximos passos antes de prosseguir. Com sua aprovação, o Genie Code pode usar ferramentas para realizar tarefas como pesquisar tabelas, editar um arquivo de origem SQL ou Python, executar atualizações de pipeline e ler dataset de pipeline.

O acesso e as ações do Genie Code são regidos pelas permissões do usuário. Ele só pode acessar dados aos quais você tem acesso e executar operações para as quais você possui permissões.

nota

O Genie Code adapta suas capacidades com base no recurso que você está usando no Databricks. Por exemplo, no Editor de LakeFlow Pipelines, o Genie Code concentra-se na edição de pipelines e tarefas de engenharia de dados. Nos notebooks e no Editor de SQL, o Genie Code suporta a exploração e análise de dados. Consulte Usar o Genie Code para ciência de dados para obter mais informações.

Requisitos​

Para usar Genie Code em engenharia de dados, seu workspace precisa do seguinte:

Use Genie Code para o desenvolvimento pipeline​

Para utilizar os recursos de agentes do Genie Code no desenvolvimento pipeline :

  1. No Editor do Lakeflow Pipelines, abra o painel lateral do Genie Code clicando em Ícone do código do gênio brilhante. Genie Code no canto superior direito do seu workspace.

  2. Digite o código Genie solicitado. Por exemplo, você pode fazer perguntas sobre seu pipeline, como "descreva este pipeline". Você também pode solicitar a adição de um novo conjunto de dados, por exemplo, "crie silver_sales_data em um novo arquivo que leia os dados de bronze_sales_data, limpe os dados e adicione expectativas de qualidade úteis".

nota

Genie Code respeita as permissões Unity Catalog do usuário, portanto, só pode acessar os dados e o código-fonte pipeline aos quais você tem acesso.

  1. À medida que o Genie Code gera sua resposta, ele frequentemente faz uma pausa para obter sua entrada:

    • Para tarefas mais complexas, Genie Code pode criar um plano passo a passo e fazer perguntas para esclarecimento. Responda às suas perguntas esclarecedoras para ajudá-lo a aprimorar seu plano.

    • Quando o Genie Code precisar executar código ou atualizar um pipeline, ele solicita a sua aprovação antes de prosseguir. Permitir ou Recusar a solicitação. Você também pode selecionar Permitir neste tópico (referindo-se ao tópico de conversa do Genie Code) ou Sempre permitir .

importante

O Genie Code pode gerar e execução código em seu pipeline. Embora tenha guardrails para evitar ações perigosas, ainda há risco. Você só deve usá-lo com dados em que confia e deve revisar o código antes de executá-lo.

  • À medida que o Genie Code continua a processar o código, você poderá ser solicitado a selecionar Continuar ou Rejeitar. Analise o trabalho existente e selecione Continuar para permitir que ele prossiga para os próximos passos ou Rejeitar para que ele tente algo diferente.

  • Para interromper o Genie Code enquanto ele estiver em execução, clique no botão vermelho.Ícone de parar..

Genie Code pode criar novos arquivos, gerar texto, consultas e código, executar os arquivos ou o pipeline e acessar o conjunto de dados de saída para interpretar os resultados.

nota

Para que Genie Code continue funcionando e execute as próximas etapas, você precisa permanecer na tab atual em que ele está sendo executado.

dica

É possível adicionar instruções para o Genie Code utilizar na maioria das respostas. Por exemplo, se você tiver convenções de código que deseja usar, ou bibliotecas preferenciais para usar, você pode adicionar essas diretrizes às instruções para o Genie Code. Você também pode criar habilidades para estender o Genie Code com recursos especializados para suas tarefas específicas de domínio. Para obter mais detalhes e outras dicas, consulte Dicas para melhorar as respostas do Genie Code.

Capacidades​

O Genie Code pode ajudar com a maioria das tarefas de desenvolvimento de pipeline. Os recursos key incluem:

  • Descoberta de dados : Genie Code pode pesquisar tabelas no workspace para ajudar você a encontrar os dados necessários para uma tarefa.
  • Edição de código em pipeline : O Genie Code pode criar e editar vários arquivos simultaneamente. Ele mantém você informado sobre quais arquivos estão sendo alterados e mostra a diferença de código em cada arquivo, para que você possa revisar as alterações individualmente ou todas juntas ao final.
  • execução do pipeline : Genie Code pode executar arquivos individuais, executar a seco/execução do pipeline ou fazer uma refresh completa. Quando o Genie Code quiser prosseguir, ele solicitará sua confirmação antes de fazê-lo.
  • Entendendo e aprimorando o comportamento pipeline : Genie Code pode inspecionar conjuntos de dados e saídas pipeline para ajudar você a entender o que um pipeline está fazendo de ponta a ponta e por quê. Por exemplo, pode resumir transformações, rastrear como os dados fluem para as tabelas subsequentes e destacar alterações inesperadas na contagem de linhas ou nos esquemas. Ao identificar possíveis problemas de qualidade de dados, Genie Code pode ajudar você a entender a causa e sugerir onde e como resolvê-los no pipeline.

Essas funcionalidades dão suporte a casos de uso comuns, como:

  • Criação de um novo pipeline : Genie Code pode ajudar em todas as etapas de criação de um novo pipeline com arquitetura Medallion, desde a ingestão de dados, passando pela padronização e limpeza dos dados, até a transformação e análise dos mesmos.
  • Explicar um pipeline : A Genie Code pode analisar e explicar um pipeline existente para ajudar você a implementá-lo rapidamente.
  • Correção de problemas : Quando você tiver erros, o Genie Code pode ajudar a diagnosticar e corrigir os problemas, percorrendo vários arquivos até que o problema seja resolvido.
  • Corrigir refresh incremental : quando views materializadas em seu pipeline são atualizadas usando a estratégia de recomputação completa, o Genie Code pode diagnosticar a causa a partir das percepções de incrementalização do pipeline, sugerir e aplicar melhorias de query que as tornem mais adequadas para o refresh incremental e sinalizar bloqueadores críticos.

Migrar de outras estruturas ETL para LakeFlow Pipelines​

info

Beta

Este recurso está em Beta.

O Genie Code pode migrar um projeto de transformação de dados existente para um LakeFlow pipeline. Você o aponta para seu projeto upload, e ele planeja e executa a migração de ponta a ponta. Essa capacidade de migração faz parte do Lakebridge e também está disponível por meio do transpilador Switch do Lakebridge.

nota

A migração atualmente é compatível apenas com projetos dbt e Informatica. O suporte para fontes adicionais está planejado.

Migrar um Projeto​

  1. Faça upload do projeto para o Databricks. Use uma das seguintes opções:

    • Catálogo : abra um Volume, então Fazer upload para este Volume .
    • Workspace : abra um diretório e, em seguida, clique em Ícone do menu Kebab. > Importar .

  2. Crie um Lakeflow pipeline vazio. Vá para **Jobs e Pipelines** e crie um **pipeline de ETL**.

  3. Peça ao Genie Code para migrá-lo. Abra o Genie Code e use o prompt com o caminho para o projeto upload, por exemplo:

prompt

Migre o projeto em /Volumes/my_catalog/my_schema/my_volume/my_project

Como a migração funciona​

Depois de começar a migração, o Genie Code gera um plano e, em seguida, o executa:

  1. Leia a fonte. Ele lê o projeto de origem para entender seus modelos, transformações e dependências.
  2. Coletar entradas. Ele pausa para solicitar quaisquer entradas necessárias, como se deve gerar a fonte do pipeline SQL ou Python.
  3. Pesquisar e gerar uma representação intermediária (IR). Ele analisa o projeto e constrói uma representação intermediária que captura a lógica do pipeline independente da ferramenta de origem.
  4. Converta, valide e repare. Ele converte o IR em fonte de pipeline, valida o resultado e itera em um loop de reparo até que o pipeline esteja correto.
nota

Revise a fonte do pipeline migrado e realize a execução do pipeline para confirmar se os resultados correspondem ao projeto original antes de depender dele em produção.

Exemplos​

Experimente as seguintes sugestões para começar:

  • "Construir e executar um pipeline de arquitetura Medallion para detecção de fraudes usando as tabelas de transações e clientes em my_catalog.my_schema."
  • "Explique cada passo deste pipeline."
  • "Corrija a falha neste pipeline."

Recursos adicionais​

Nesta página