Pular para o conteúdo principal
Última atualização em

Utilize o Agente de Engenharia de Dados

info

Visualização

Este recurso está em Pré-visualização Pública.

Esta página apresenta o Agente de Engenharia de Dados, que adiciona funcionalidades ao Databricks Assistant. Para usar o Agente de Engenharia de Dados, selecione o modo Agente no Assistente.

O agente de engenharia de dados foi projetado especificamente para o pipeline declarativo Spark (SDP) LakeFlow e o editor LakeFlow Pipelines . Ele explora dados, gera e executa código pipeline e corrige erros, tudo a partir de um único prompt.

O que é o Agente de Engenharia de Dados?​

O Agente de Engenharia de Dados é um recurso poderoso no Mode Agente Databricks Assistant que transforma o Assistant em um parceiro autônomo capaz de automatizar todo o fluxo de trabalho de engenharia de dados em várias etapas no SDP e no Editor LakeFlow Pipelines .

Use o Agente de engenharia de dados.

Em comparação com o modo de bate-papo do Assistente, o modo agente possui recursos expandidos: planejamento de soluções, recuperação de atividades relevantes, execução de código, uso de saídas pipeline para melhorar os resultados, correção automática de erros e muito mais.

O Agente de Engenharia de Dados pode planejar e gerar um pipeline completo de ponta a ponta do zero, ou acelerar o trabalho em um pipeline existente. O agente trabalha com você para aprovar seus planos e confirmar os próximos passos antes de prosseguir. Com sua aprovação, o Agente de Engenharia de Dados pode usar ferramentas para executar tarefas como pesquisar tabelas, editar um arquivo de origem SQL ou Python , executar atualizações pipeline e ler o conjunto de dados pipeline .

O acesso e as ações do Agente de Engenharia de Dados são regidos pelas permissões do usuário. Ele só pode acessar dados aos quais você tem acesso e executar operações para as quais você possui permissões.

nota

Ao ativar o modo agente no Assistente, o Assistente adapta suas funcionalidades com base no recurso que você está usando no momento no Databricks. Por exemplo, no Editor LakeFlow Pipelines , o Assistente se concentra na edição pipeline e em tarefas de engenharia de dados. No Notebook e no Editor SQL , o assistente oferece suporte à exploração e análise de dados. Consulte Agente ciência de dados para obter mais informações.

Requisitos​

Para utilizar o Agente de Engenharia de Dados, seu workspace precisa do seguinte:

Utilize o Agente de Engenharia de Dados​

Para utilizar o Agente de Engenharia de Dados:

  1. No Editor LakeFlow Pipelines , abra o painel lateral do Assistente clicando em Ícone do assistente de avatar. Assistente no canto superior direito da sua workspace.

  2. No canto inferior direito, selecione Agente . Isso ativa o modo agente do Assistente, permitindo que você interaja com o Agente de Engenharia de Dados.

  3. Insira uma mensagem para o agente. Por exemplo, você pode fazer perguntas sobre seu pipeline, como "descreva este pipeline". Você também pode solicitar a adição de um novo conjunto de dados, por exemplo, "crie silver_sales_data em um novo arquivo que leia os dados de bronze_sales_data, limpe os dados e adicione expectativas de qualidade úteis".

nota

O agente respeita as permissões do Unity Catalog do usuário, portanto, ele só pode acessar os dados e a fonte do pipeline aos quais você tem acesso.

  1. À medida que o agente gera sua resposta, ele frequentemente faz uma pausa para obter sua entrada:

    • Para tarefas mais complexas, o agente pode criar um plano passo a passo e fazer perguntas para esclarecer dúvidas. Responda às perguntas de esclarecimento do agente para ajudá-lo a aprimorar seu plano.

    • Quando o agente precisa executar código ou atualizar um pipeline, ele solicita sua aprovação antes de prosseguir. Permitir ou recusar a solicitação. Você também pode selecionar Permitir nesta conversa (referindo-se à conversa do Assistente) ou Permitir sempre .

importante

O Agente de Engenharia de Dados pode gerar e executar código em seu pipeline. Embora possua guarda-corpos para evitar ações perigosas, ainda existe risco. Você só deve usá-lo com dados confiáveis e deve revisar o código antes de executá-lo.

  • À medida que o agente continua seu trabalho, você poderá ser solicitado a selecionar Continuar ou Rejeitar. Analise o trabalho existente do agente e selecione Continuar para permitir que o agente prossiga para as próximas etapas ou Rejeitar para instruí-lo a tentar outra coisa.

  • Para interromper o agente enquanto ele estiver em execução, clique no botão vermelho.Ícone de parar..

O agente pode criar novos arquivos, gerar texto, consultas e código, executar os arquivos ou o pipeline e acessar o conjunto de dados de saída para interpretar os resultados.

nota

Para que o Agente de Engenharia de Dados continue seu trabalho e execute as próximas etapas, você precisa permanecer na tab atual em que o agente está trabalhando.

dica

Você pode adicionar instruções para o agente usar na maioria das respostas. Por exemplo, se você tiver convenções de código que deseja usar ou uma biblioteca preferida, poderá adicionar essas diretrizes às instruções do agente. Você também pode criar habilidades para ampliar o agente com capacidades especializadas para sua tarefa específica de domínio. Para obter mais detalhes e outras dicas, consulte Personalizar e melhorar as respostas do Databricks Assistant.

Capacidades​

O Agente de Engenharia de Dados pode auxiliar na maioria das tarefas de desenvolvimento pipeline . As principais capacidades incluem:

  • descoberta de dados : O agente pode pesquisar tabelas no workspace para ajudá-lo a encontrar os dados necessários para uma tarefa.
  • Edições de código de pipeline : O agente pode criar e editar vários arquivos simultaneamente. Ele mantém você informado sobre quais arquivos estão sendo alterados e mostra a diferença de código em cada arquivo, para que você possa revisar as alterações individualmente ou todas juntas ao final.
  • execução do pipeline : O agente pode executar arquivos individuais, executar a seco/execução do pipeline ou fazer uma refresh completa. Quando o agente quiser prosseguir, ele solicitará sua confirmação antes de fazê-lo.
  • Compreendendo e aprimorando o comportamento pipeline : o agente pode inspecionar os conjuntos de dados e as saídas pipeline para ajudar você a entender o que um pipeline está fazendo de ponta a ponta e por quê. Por exemplo, pode resumir transformações, rastrear como os dados fluem para as tabelas subsequentes e destacar alterações inesperadas na contagem de linhas ou nos esquemas. Ao identificar possíveis problemas de qualidade de dados, o agente pode ajudar a compreender a causa e sugerir onde e como resolvê-los no pipeline.

Essas funcionalidades dão suporte a casos de uso comuns, como:

  • Criação de um novo pipeline : O Agente de Engenharia de Dados pode auxiliar em todas as etapas de criação de um novo pipeline com arquitetura Medallion, desde a ingestão de dados, passando pela padronização e limpeza dos dados, até a transformação e análise dos mesmos.
  • Explicar um pipeline : O agente pode analisar e explicar um pipeline existente para ajudá-lo a começar rapidamente.
  • Correção de problemas : Quando ocorrem erros, o agente pode ajudar a diagnosticar e corrigir os problemas, percorrendo vários arquivos até que o problema seja resolvido.

Exemplos​

Experimente as seguintes sugestões para começar:

  • "Construir e executar um pipeline de arquitetura Medallion para detecção de fraudes usando as tabelas de transações e clientes em my_catalog.my_schema."
  • "Explique cada passo deste pipeline."
  • "Corrija a falha neste pipeline."

Próximos passos​