Pular para o conteúdo principal
Última atualização em

Use Genie Code para o desenvolvimento pipeline

info

Visualização

Este recurso está em Pré-visualização Pública.

Esta página apresenta Genie Code para desenvolvimento pipeline , um agente de dados AI disponível ao selecionar o modo Agente no Genie Code. Projetado especificamente para o pipeline declarativo Spark (SDP) LakeFlow e o editor LakeFlow Pipelines , ele explora dados, gera e executa código pipeline e corrige erros, tudo a partir de um único prompt.

O que é Genie Code para desenvolvimento pipeline ?​

Genie Code no modo Agente é um parceiro autônomo que pode automatizar todo o fluxo de trabalho de engenharia de dados em várias etapas no SDP e no LakeFlow Pipelines Editor.

Use o Agente de engenharia de dados.

Em comparação com o modo de bate-papo Genie Code, o modo Agente possui recursos expandidos: planejamento de soluções, recuperação de atividades relevantes, execução de código, uso de saídas pipeline para melhorar os resultados, correção automática de erros e muito mais.

No modo Agente, Genie Code pode planejar e gerar um pipeline completo de ponta a ponta do zero, ou acelerar o trabalho em um pipeline existente. O agente trabalha com você para aprovar seus planos e confirmar os próximos passos antes de prosseguir. Com sua aprovação, Genie Code pode usar ferramentas para executar tarefas como pesquisar tabelas, editar um arquivo de origem SQL ou Python , executar atualizações pipeline e ler o conjunto de dados pipeline .

O acesso e as ações do Genie Code são regidos pelas permissões do usuário. Ele só pode acessar dados aos quais você tem acesso e executar operações para as quais você possui permissões.

nota

Ao ativar o modo Agente no Genie Code, Genie Code adapta suas funcionalidades com base no recurso que você está usando no Databricks. Por exemplo, no Editor LakeFlow Pipelines , Genie Code se concentra na edição pipeline e em tarefas de engenharia de dados. No Notebook e no Editor SQL , Genie Code oferece suporte à exploração e análise de dados. Consulte Usar código Genie para ciência de dados para obter mais informações.

Requisitos​

Para usar Genie Code em engenharia de dados, seu workspace precisa do seguinte:

Use Genie Code para o desenvolvimento pipeline​

Para utilizar os recursos de agentes do Genie Code no desenvolvimento pipeline :

  1. No editor LakeFlow Pipelines , abra o painel lateral Genie Code clicando em Ícone do assistente de avatar. O códigoGenie está localizado no canto superior direito da sua workspace.

  2. No canto inferior direito, selecione Agente . Esta opção ativa o modo Agente do Genie Code, permitindo que você utilize os recursos de engenharia de dados baseados em agentes do Genie Code.

  3. Digite o código Genie solicitado. Por exemplo, você pode fazer perguntas sobre seu pipeline, como "descreva este pipeline". Você também pode solicitar a adição de um novo conjunto de dados, por exemplo, "crie silver_sales_data em um novo arquivo que leia os dados de bronze_sales_data, limpe os dados e adicione expectativas de qualidade úteis".

nota

Genie Code respeita as permissões Unity Catalog do usuário, portanto, só pode acessar os dados e o código-fonte pipeline aos quais você tem acesso.

  1. À medida que o Genie Code gera sua resposta, ele frequentemente faz uma pausa para obter sua entrada:

    • Para tarefas mais complexas, Genie Code pode criar um plano passo a passo e fazer perguntas para esclarecimento. Responda às suas perguntas esclarecedoras para ajudá-lo a aprimorar seu plano.

    • Quando Genie Code precisa executar código ou atualizar um pipeline, ele solicita sua aprovação antes de prosseguir. Permitir ou recusar a solicitação. Você também pode selecionar "Permitir nesta conversa" (referindo-se à conversa sobre o código Genie) ou "Sempre permitir" .

importante

O Genie Code no modo Agente pode gerar e executar código em seu pipeline. Embora possua guarda-corpos para evitar ações perigosas, ainda existe risco. Você só deve usá-lo com dados confiáveis e deve revisar o código antes de executá-lo.

  • À medida que o Genie Code continua a processar o código, você poderá ser solicitado a selecionar Continuar ou Rejeitar. Analise o trabalho existente e selecione Continuar para permitir que ele prossiga para os próximos passos ou Rejeitar para que ele tente algo diferente.

  • Para interromper o Genie Code enquanto ele estiver em execução, clique no botão vermelho.Ícone de parar..

Genie Code pode criar novos arquivos, gerar texto, consultas e código, executar os arquivos ou o pipeline e acessar o conjunto de dados de saída para interpretar os resultados.

nota

Para que Genie Code continue funcionando e execute as próximas etapas, você precisa permanecer na tab atual em que ele está sendo executado.

dica

Você pode adicionar instruções para o código Genie a ser usado na maioria das respostas. Por exemplo, se você tiver convenções de código que deseja usar ou uma biblioteca preferida, poderá adicionar essas diretrizes às instruções do Genie Code. Você também pode criar habilidades para estender Genie Code com recursos especializados para sua tarefa específica de domínio. Para obter mais detalhes e outras dicas, consulte Dicas para melhorar as respostas do Genie Code.

Capacidades​

No modo Agente, Genie Code pode ajudar na maioria das tarefas de desenvolvimento pipeline . As principais capacidades incluem:

  • Descoberta de dados : Genie Code pode pesquisar tabelas no workspace para ajudar você a encontrar os dados necessários para uma tarefa.
  • Edição de código em pipeline : O Genie Code pode criar e editar vários arquivos simultaneamente. Ele mantém você informado sobre quais arquivos estão sendo alterados e mostra a diferença de código em cada arquivo, para que você possa revisar as alterações individualmente ou todas juntas ao final.
  • execução do pipeline : Genie Code pode executar arquivos individuais, executar a seco/execução do pipeline ou fazer uma refresh completa. Quando o Genie Code quiser prosseguir, ele solicitará sua confirmação antes de fazê-lo.
  • Entendendo e aprimorando o comportamento pipeline : Genie Code pode inspecionar conjuntos de dados e saídas pipeline para ajudar você a entender o que um pipeline está fazendo de ponta a ponta e por quê. Por exemplo, pode resumir transformações, rastrear como os dados fluem para as tabelas subsequentes e destacar alterações inesperadas na contagem de linhas ou nos esquemas. Ao identificar possíveis problemas de qualidade de dados, Genie Code pode ajudar você a entender a causa e sugerir onde e como resolvê-los no pipeline.

Essas funcionalidades dão suporte a casos de uso comuns, como:

  • Criação de um novo pipeline : Genie Code pode ajudar em todas as etapas de criação de um novo pipeline com arquitetura Medallion, desde a ingestão de dados, passando pela padronização e limpeza dos dados, até a transformação e análise dos mesmos.
  • Explicar um pipeline : A Genie Code pode analisar e explicar um pipeline existente para ajudar você a implementá-lo rapidamente.
  • Correção de problemas : Quando você tiver erros, o Genie Code pode ajudar a diagnosticar e corrigir os problemas, percorrendo vários arquivos até que o problema seja resolvido.

Exemplos​

Experimente as seguintes sugestões para começar:

  • "Construir e executar um pipeline de arquitetura Medallion para detecção de fraudes usando as tabelas de transações e clientes em my_catalog.my_schema."
  • "Explique cada passo deste pipeline."
  • "Corrija a falha neste pipeline."

Próximos passos​