Curar um Genie Agent eficaz

Faça a curadoria de um Genie Agent para que os usuários de negócios obtenham respostas precisas e consistentes quando fizerem perguntas em linguagem natural sobre seus dados. O Job do curador é preencher a lacuna entre o conhecimento geral de mundo do Genie e a linguagem especializada usada em um domínio ou empresa específica. Forneça datasets bem documentados, expressões SQL para semântica de negócios, queries SQL de exemplo e instruções de texto claras para que o Genie possa interpretar as perguntas e gerar resultados corretos.

nota

Genie Agents eram anteriormente conhecidos como Genie Spaces.

nota

Se você Link um Genie Agent existente a um painel, os filtros do painel não serão transferidos para o contexto do chat. Os filtros do painel funcionam como esperado com os Genie Agents que o Databricks cria automaticamente quando você publica um painel. Consulte Genie Agents com painéis.

Melhores práticas para definir um novo agente

Considere o Genie como um novo analista de dados que se une à sua empresa. Como qualquer novo membro da equipe, o Genie precisa de contexto claro para ser eficaz. Baseia-se em descrições de qualidade de tabelas e colunas para entender o que os dados representam, consultas SQL de exemplo para aprender a resolver problemas comuns, expressões SQL para definir terminologia de negócios e instruções de texto somente quando outros métodos não se aplicam. Quanto mais contexto estruturado você fornecer por meio de metadados e exemplos, mais precisamente o Genie poderá interpretar as perguntas e gerar resultados corretos.

Tenha estes princípios orientadores em mente ao construir seu Genie Agent:

• **Forneça datasets concisos e bem documentados**: As descrições de tabelas e colunas de qualidade no Unity Catalog são cruciais para a precisão do Genie. Resolva ambiguidades de coluna e faça o pre-join ou a desnormalização de tabelas usando views ou views de métricas. Datasets bem documentados e simplificados melhoram a capacidade do Genie de responder a perguntas de dados com precisão.
• Priorize expressões SQL e exemplos de SQL em detrimento de instruções de texto : Use expressões SQL para definir semânticas de negócios, como métricas e filtros. Use o exemplo de SQL para ensinar ao Genie como lidar com prompts ambíguos comuns. Use instruções de texto apenas como último recurso quando as expressões SQL e os exemplos não puderem atender à necessidade. Definições estruturadas via SQL são mais confiáveis e fáceis de manter do que orientações em texto simples.
• **Escreva instruções de texto claras e específicas**: Evite instruções vagas. Por exemplo, em vez de "Faça perguntas de esclarecimento quando questionado sobre ventas", escreva "Quando os usuários perguntarem sobre métricas de ventas sem especificar o nome do produto ou canal de ventas, pergunte: Para prosseguir com a análise de ventas, especifique o nome do seu produto e o canal de ventas."
• Evite instruções conflitantes : Garanta a consistência em todos os tipos de instruções. Por exemplo, se as instruções de texto especificam o arredondamento de decimais para duas casas, então as queries SQL de exemplo também devem arredondar para duas casas.

As seções a seguir fornecem recomendações detalhadas para a criação de agentes e a resolução de desafios de precisão.

Comece pequeno

Curar um Genie Agent é um processo iterativo. Ao criar um novo agente, comece com o mínimo possível de instruções e um conjunto limitado de perguntas a serem respondidas. Então, pode adicionar à medida que itera com base no feedback e monitoramento. Essa abordagem ajuda a otimizar a criação e manutenção do seu agente e permite que o cure eficazmente em resposta às necessidades reais do usuário.

Use as seguintes diretrizes para ajudar a criar um pequeno Genie Agent:

• Mantenha o foco : Inclua apenas as tabelas necessárias para responder às perguntas que você deseja que o agente lide. Procure ter cinco ou menos tabelas. Quanto mais focada for sua seleção, melhor. Manter o agente estritamente focado em uma pequena quantidade de dados é ideal, portanto, limite o número de colunas nas tabelas incluídas.
• Trabalhe dentro do limite de 30 tabelas : Os Agentes Genie suportam até 30 tabelas ou views. Se seu tópico de dados exigir mais de 30 tabelas, preuna as tabelas relacionadas em views ou views de métricas antes de adicioná-las ao seu agente. As views de métricas são particularmente eficazes para os Agentes Genie porque elas predefinem métricas, dimensões e agregações. Essa abordagem ajuda a permanecer dentro do limite, simplifica seu modelo de dados e pode melhorar a precisão da resposta do Genie. Consulte Gerenciar objetos de dados para obter detalhes sobre como adicionar objetos de dados ao seu agente.
• Planeje iterar : comece com uma configuração mínima para seu agente, focando em tabelas essenciais e instruções básicas. Adicione orientações e exemplos mais detalhados à medida que você refina o agente ao longo do tempo, em vez de buscar a perfeição inicialmente.
• Crie em tabelas bem-anotadas : o Genie usa nomes e descrições de colunas do Unity Catalog para gerar respostas. Nomes e descrições de colunas claras ajudam a produzir respostas de alta qualidade. As descrições de colunas devem oferecer informações contextuais precisas. Evite detalhes ambíguos ou desnecessários. Inspecione as descrições geradas por AI para garantir precisão e clareza, e use-as somente se estiverem alinhadas com o que você forneceria manualmente.

Tenha um especialista de domínio definindo o agente

Um criador de agente eficaz precisa entender os dados e as percepções que podem ser obtidas deles. Analistas de dados proficientes em SQL geralmente têm o conhecimento e as habilidades para fazer a curadoria do agente.

Defina o propósito do seu agente

Identificar a audiência e o propósito específicos do seu agente ajuda a decidir quais dados, instruções e perguntas de teste usar. Um agente deve responder a perguntas para um tópico e uma audiência específicos, não a perguntas gerais em vários domínios. É possível simplificar seus datasets pré-unindo tabelas e removendo colunas desnecessárias antes de adicionar dados a um agente. Ao adicionar dados ao seu agente, mantenha-o estritamente focado no propósito definido do agente. Oculte as colunas que possam ser confusas ou sem importância. Consulte Ocultar ou mostrar colunas relevantes.

Adicionar metadados e sinônimos

Você pode adicionar sinônimos de coluna e descrições personalizadas aos dados em um Genie Agent. Estes metadados têm escopo limitado ao seu Genie Agent e não sobrescrevem os metadados armazenados no Unity Catalog. Descrições e sinônimos de coluna de qualidade ajudam o Genie a entender melhor a coluna, escolhê-la para perguntas relevantes e escrever SQL mais preciso. Consulte Editar metadados da coluna.

Usar correspondência de prompt do Genie

A correspondência de prompts permite que o Genie associe os valores mais relevantes para a pergunta do usuário e corrija problemas de ortografia nos prompts do usuário. Isso melhora a precisão do Genie, ajudando-o a combinar melhor os prompts do usuário com as colunas e os valores corretos. O Genie fornece correspondência de prompts automaticamente à medida que você adiciona tabelas ao agente. É possível gerenciar quais colunas têm a correspondência de prompts habilitada. Consulte Gerenciar data objects e Genie Agent quality.

Fornecer exemplos e instruções focados

Os Genie Agents têm o melhor desempenho com um conjunto de instruções limitado e focado. A Databricks recomenda aproveitar as queries SQL de exemplo para fornecer instruções em seu agente. As queries SQL de exemplo permitem que o Genie corresponda os prompts do usuário a queries SQL verificadas e aprenda com exemplos para responder a perguntas relacionadas. Consulte Adicionar exemplos de query SQL e funções.

Para contextos que devem ser aplicados globalmente no Genie Agent, um conjunto pequeno e bem organizado de instruções em texto simples também pode ajudar a manter a relevância e melhorar a qualidade da resposta. Muitas instruções podem reduzir a eficácia, especialmente em conversas mais longas, porque o Genie pode ter dificuldade em priorizar as orientações mais importantes. Para detalhes, consulte Fornecer instruções.

Escolha o tipo de instrução correto

Use as seguintes diretrizes para decidir entre expressões SQL, queries SQL de exemplo e instruções de texto:

• Use expressões SQL para termos de negócios comuns: Ao definir métricas, filtros ou dimensões frequentemente usados que representam conceitos de negócios padrão, use expressões SQL no knowledge store. Expressões SQL são definições eficientes e reutilizáveis que ajudam o Genie a entender sua lógica de negócios. Por exemplo, use expressões SQL para definir revenue, active_customers, gross_margin ou recent_sales. Consulte Definir expressões SQL.
• Use queries SQL de exemplo para perguntas complexas : Ao lidar com perguntas difíceis de interpretar, multipartes ou complexas, forneça queries SQL de exemplo completas. Estes exemplos mostram ao Genie como lidar com padrões de query intrincados e lógica em várias etapas. Por exemplo, você pode criar queries SQL para prompts como "dividir o desempenho da minha equipe" ou "Para clientes que se juntaram recentemente, quais produtos estão tendo o melhor desempenho?". Consulte Adicionar queries SQL e funções de exemplo.
• Use instruções de texto apenas como último recurso : as instruções de texto devem ser usadas com moderação, somente quando as expressões SQL e os exemplos não puderem atender à necessidade. Use instruções de texto para orientação que exige explicação em linguagem natural, como "Quando os usuários perguntarem sobre o desempenho do cliente sem especificar um intervalo de tempo, solicite-lhes que esclareçam o período de tempo." ou "Sempre arredonde as porcentagens para duas casas decimais em resumos." Evite usar instruções de texto para definir métricas, filtros ou padrões de query que podem ser expressos por meio de SQL.

Instrua o Genie a fazer perguntas de esclarecimento

Para levar o Genie a fazer perguntas de esclarecimento em certos cenários, seja explícito sobre quando pedir esclarecimentos e como fazer o acompanhamento. Use instruções claras e específicas que definam tanto as condições de Trigger quanto o comportamento de esclarecimento esperado.

Por exemplo, adicione o seguinte tipo de instrução ao seu agente:

Quando os usuários perguntam sobre a análise de desempenho de vendas, mas não incluem período, canal de vendas ou quais KPIs em seu prompt, você deve fazer uma pergunta de esclarecimento primeiro para coletar as informações necessárias. Por exemplo: "Por favor, especifique o período e o canal de vendas que você está procurando."

Estruture suas instruções de esclarecimento com estes componentes:

• Condição do Trigger : Defina quais tópicos ou cenários exigem esclarecimento (por exemplo, "Quando os usuários perguntam sobre o tópico X...")
• Detalhes ausentes : Especifique qual informação deve estar presente (por exemplo, "...mas não inclua detalhes Y...")
• Ação necessária : Declare que o Genie deve pedir esclarecimentos (por exemplo, "...você deve fazer uma pergunta de esclarecimento primeiro...")
• Esclarecimento do exemplo: Forneça a pergunta específica que o Genie deve fazer (por exemplo, "Por favor, especifique...")

Adicione instruções sobre perguntas de esclarecimento ao final das instruções gerais para auxiliar o Genie a priorizar este comportamento ao responder a perguntas ambíguas.

Personalizar resumos

O Genie fornece resumos em linguagem natural juntamente com os resultados da query para ajudar os usuários a entender os dados. Você pode personalizar como o Genie gera esses resumos adicionando instruções específicas às instruções de texto do seu agente. As instruções de personalização do resumo se aplicam a todas as respostas no agente.

Para personalizar o comportamento do resumo, adicione uma seção dedicada no final das suas instruções de texto com o título "Instruções que você deve seguir ao fornecer resumos".

Instruções de personalização do resumo do exemplo:

Instruções que devem ser seguidas ao fornecer resumos

• Sempre responda em francês ao fornecer resumos
• Mencione os nomes da tabela e da coluna usados em sua análise
• Use marcadores para estruturar resumos em várias partes.
• Inclua o intervalo de datas abrangido nos resultados

nota

• Apenas as instruções de texto afetam a geração do resumo. Exemplos e expressões SQL não influenciam a forma como o Genie cria resumos.
• Algumas personalizações não estão disponíveis, como o controle do comprimento do resumo e do nível de detalhe.

Teste e ajuste

Você deve ser o primeiro usuário do seu agente. Depois de criar um novo agente, comece a fazer perguntas. Examine cuidadosamente o SQL gerado em resposta às suas perguntas. Se o Genie interpretar incorretamente os dados, as perguntas ou o jargão comercial, você poderá intervir editando o SQL gerado ou fornecendo outras instruções específicas. Continue testando e editando até obter respostas confiáveis.

Depois de revisar uma pergunta, você pode adicioná-la como uma pergunta de benchmark que pode usar para testar e pontuar seu agente sistematicamente para obter precisão geral. Você pode usar variações e diferentes formulações de perguntas para testar as respostas do Genie. Consulte benchmarks.

Para ideias sobre como corrigir respostas errôneas, consulte Solucionar problemas de Genie Agents.

Implante e controle a versão do seu agente com Declarative Automation Bundles

Use os Pacotes de Automação Declarativa para definir, implantar e controlar a versão dos seus Agentes Genie como código. Armazenar a configuração do seu agente em um repository de pacote oferece implantações reproduzíveis, histórico de alterações e a capacidade de promover agentes entre ambientes (desenvolvimento, staging, produção). Consulte recursos dos Pacotes de Automação Declarativa.

Realizar testes de usuário

Após verificar a qualidade da resposta por meio de testes, recrute um usuário de negócios para experimentar o Genie Agent. Use as seguintes diretrizes para proporcionar uma jornada do usuário tranquila e coletar feedback para melhoria contínua:

• Defina as expectativas de que o Job deles é ajudar a refinar o agente.
• Solicite que concentrem seus testes no tópico e nas perguntas específicas que o agente foi projetado para responder.
• Se receberem uma resposta incorreta, incentive os usuários a adicionar instruções e esclarecimentos adicionais no chat para refinar a resposta. Quando uma resposta correta é fornecida, eles devem votar positivamente na final query para minimizar erros semelhantes em interações futuras.
• Oriente os usuários a votar favoravelmente ou desfavoravelmente nas respostas usando o mecanismo de feedback integrado.
• Convide os usuários a compartilhar feedback adicional e perguntas não resolvidas diretamente com os autores do agente. Autores e editores podem usar o feedback para refinar instruções, exemplos e ativos confiáveis.

Considere fornecer materiais de treinamento ou um documento escrito com diretrizes para testar o agente e fornecer feedback. Direcione os usuários de negócios para Usar um Genie Agent para explorar dados de negócios para ajudá-los a começar a trabalhar com um novo Genie Agent.

À medida que os usuários de negócios testam o agente, usuários com pelo menos permissões CAN MANAGE podem ver as perguntas que fizeram na guia **Monitoramento**. Continue adicionando contexto para ajudar o Genie a interpretar corretamente as perguntas e os dados para fornecer respostas precisas. Consulte Monitore o agente para saber mais sobre o monitoramento dos Genie Agents. Você também pode usar logs de auditoria para monitorar o feedback e as solicitações de revisão do Genie Agent. Consulte Monitore o uso do Genie Agents com logs de auditoria e alertas.

nota

Os usuários corporativos devem ser membros do Workspace de origem para acessar seu agente. Consulte Permissões necessárias para saber como fornecer as permissões apropriadas para interagir com o agente.

Para solucionar problemas comuns com os Genie Agents, consulte Solucionar problemas dos Genie Agents.