Faça a curadoria de um Genie Agent eficaz

Crie um Genie Agent para que os usuários de negócios obtenham respostas precisas e consistentes quando eles fazem perguntas em linguagem natural sobre seus dados. A função do curador é preencher a lacuna entre o conhecimento mundial geral do Genie e a linguagem especializada usada em um domínio ou empresa específica. Forneça datasets bem documentados, expressões SQL para semântica de negócios, queries SQL de exemplo e instruções de texto claras para que o Genie possa interpretar as perguntas e gerar resultados corretos.

nota

Os Genie Agents eram anteriormente conhecidos como Genie Spaces.

nota

Se você vincular um Genie Agent existente a um dashboard, os filtros do dashboard não serão transferidos para o contexto do chat. Os filtros do dashboard funcionam como esperado com os Genie Agents que o Databricks cria automaticamente quando você publica um dashboard. Consulte Genie Agents com dashboards.

Melhores práticas para definir um novo agente

Considere Genie como um novo analista de dados que se junta à sua empresa. Assim como qualquer novo membro da equipe, Genie precisa de um contexto claro para ser eficaz. Ele se baseia em descrições de tabelas e colunas de alta qualidade para entender o que os dados representam, em exemplos de consultas SQL para aprender a resolver problemas comuns, em expressões SQL para definir a terminologia de negócios e em instruções textuais somente quando outros métodos não se aplicam. Quanto mais contexto estruturado você fornecer por meio de metadados e exemplos, mais precisamente o Genie poderá interpretar as perguntas e gerar resultados corretos.

Tenha estes princípios orientadores em mente ao criar seu Genie Agent:

• Forneça um conjunto de dados conciso e bem documentado : Descrições de tabelas e colunas de qualidade no Unity Catalog são essenciais para a precisão Genie . Resolva ambiguidades de coluna e pré-join ou desnormalize tabelas usando view ou métricas view. Um conjunto de dados bem documentado e simplificado melhora a capacidade do Genie de responder a perguntas sobre dados com precisão.
• Priorize expressões SQL e exemplos de SQL em vez de instruções em texto : Use expressões SQL para definir a semântica de negócios, como métricas e filtros. Use exemplos de SQL para ensinar o Genie a lidar com prompts ambíguos comuns. Utilize instruções em texto apenas como último recurso, quando expressões e exemplos SQL não forem suficientes para atender à necessidade. Definições estruturadas por meio de SQL são mais confiáveis e fáceis de manter do que orientações em texto simples.
• Escreva instruções claras e específicas por escrito : Evite instruções vagas. Por exemplo, em vez de "Faça perguntas para esclarecimento quando questionado sobre vendas", escreva "Quando os usuários perguntarem sobre vendas métricas sem especificar o nome do produto ou o canal de vendas, pergunte: Para prosseguir com a análise de vendas, especifique o nome do seu produto e o canal de vendas."
• Evite instruções conflitantes : Garanta a consistência em todos os tipos de instruções. Por exemplo, se as instruções de texto especificarem o arredondamento de decimais para duas casas decimais, as consultas SQL de exemplo também deverão arredondar para duas casas decimais.

As seções a seguir fornecem recomendações detalhadas para a criação de agentes e para resolver desafios de precisão.

começar small

A curadoria de um Genie Agent é um processo iterativo. Ao criar um novo agente, comece o menor possível, com instruções mínimas e um conjunto limitado de perguntas para responder. Então, você pode adicionar conforme itera com base no feedback e no monitoramento. Essa abordagem ajuda a simplificar a criação e a manutenção do seu agente e permite que você o organize de forma eficaz em resposta às necessidades reais do usuário.

Use as seguintes diretrizes para ajudar a criar um pequeno Genie Agent:

• Mantenha o foco : Inclua apenas as tabelas necessárias para responder às perguntas que você deseja que o agente lide. Busque cinco tabelas ou menos. Quanto mais focada for sua seleção, melhor. Manter seu agente estritamente focado em uma pequena quantidade de dados é o ideal, portanto, limite o número de colunas nas tabelas incluídas.
• Trabalhe dentro do limite de 30 tabelas : Os Genie Agents suportam até 30 tabelas ou views. Se o seu tópico de dados exigir mais de 30 tabelas, pré-una tabelas relacionadas em views ou views de métricas antes de adicioná-las ao seu agente. Views de métricas são particularmente eficazes para Genie Agents porque elas predefinem métricas, dimensões e agregações. Esta abordagem o ajuda a permanecer dentro do limite, simplifica seu modelo de dados e pode melhorar a precisão da resposta do Genie. Consulte Gerenciar objetos de dados para obter detalhes sobre como adicionar objetos de dados ao seu agente.
• Planeje iterar : comece com uma configuração mínima para seu agente, focando em tabelas essenciais e instruções básicas. Adicione orientações e exemplos mais detalhados à medida que refina o agente ao longo do tempo, em vez de buscar a perfeição inicialmente.
• Construir com base em tabelas bem anotadas : o site Genie usa nomes e descrições de colunas Unity Catalog para gerar respostas. Nomes e descrições claras das colunas ajudam a produzir respostas de alta qualidade. As descrições das colunas devem oferecer informações contextuais precisas. Evite detalhes ambíguos ou desnecessários. Inspecione todas as descrições geradas pelo AIquanto à precisão e clareza e use-as somente se estiverem alinhadas com o que o senhor forneceria manualmente.

Um especialista no domínio deve definir o agente

Um criador de agente eficaz precisa entender os dados e as percepções que podem ser obtidas a partir deles. Analistas de dados proficientes em SQL geralmente têm o conhecimento e as habilidades para fazer a curadoria do agente.

Defina a finalidade do seu agente

Identificar o público e o propósito específicos do seu agente ajuda você a decidir quais dados, instruções e perguntas de teste usar. Um agente deve responder a perguntas para um tópico e público específicos, não a perguntas gerais em vários domínios. Você pode simplificar seus datasets pré-unindo tabelas e removendo colunas desnecessárias antes de adicionar dados a um agente. Ao adicionar dados ao seu agente, mantenha-o estritamente focado no propósito definido do agente. Oculte quaisquer colunas que possam ser confusas ou sem importância. Consulte Ocultar ou mostrar colunas relevantes.

Adicionar metadados e sinônimos

Você pode adicionar sinônimos de coluna e descrições personalizadas aos dados em um Genie Agent. Estes metadados são limitados ao seu Genie Agent e não sobrescrevem os metadados armazenados no Unity Catalog. Descrições e sinônimos de coluna de qualidade ajudam o Genie a entender melhor a coluna, a escolhê-la para perguntas relevantes e a escrever SQL mais preciso. Consulte Editar metadados da coluna.

Use a função de correspondência Genie

A correspondência de prompts permite que o Genie associe os valores mais relevantes para a pergunta do usuário e corrija problemas de ortografia nos prompts do usuário. Isso melhora a precisão do Genie, ajudando-o a corresponder melhor os prompts do usuário às colunas e valores corretos. O Genie fornece automaticamente correspondência de prompts à medida que você adiciona tabelas ao agente. Você pode gerenciar quais colunas têm a correspondência de prompts ativada. Consulte Gerenciar objetos de dados e Ajustar a qualidade do Genie Agent.

Forneça exemplos e instruções focados

Os Genie Agents apresentam melhor desempenho com um conjunto limitado e focado de instruções. A Databricks recomenda aproveitar queries SQL de exemplo para fornecer instruções em seu agente. Queries SQL de exemplo permitem que o Genie corresponda solicitações do usuário a queries SQL verificadas e aprenda com exemplos para responder a perguntas relacionadas. Consulte Adicionar queries SQL de exemplo e funções.

Para contextos que devem ser aplicados globalmente no Genie Agent, um conjunto pequeno e bem-organizado de instruções em texto simples também pode ajudar a manter a relevância e melhorar a qualidade da resposta. Muitas instruções podem reduzir a eficácia, especialmente em conversas mais longas, porque o Genie pode ter dificuldade em priorizar a orientação mais importante. Para obter detalhes, consulte Fornecer instruções.

Escolha o tipo de instrução correto

Utilize as seguintes diretrizes para decidir entre expressões SQL, exemplos de consultas SQL e instruções em texto:

• Use expressões SQL para termos comerciais comuns : Ao definir métricas, filtros ou dimensões frequentemente usados que representam conceitos comerciais padrão, use expressões SQL no repositório de conhecimento. As expressões SQL são definições eficientes e reutilizáveis que ajudam o Genie a entender a sua lógica de negócios. Por exemplo, use expressões SQL para definir revenue, active_customers, gross_margin ou recent_sales. Consulte Definir expressões SQL.
• Use exemplos de consultas SQL para perguntas complexas : ao abordar perguntas complexas, multipartes ou difíceis de interpretar, forneça exemplos completos de consultas SQL. Esses exemplos mostram ao Genie como lidar com padrões de consulta complexos e lógica de várias etapas. Por exemplo, você pode criar consultas SQL para prompts como "detalhar o desempenho da minha equipe" ou "Para clientes que entraram recentemente, quais produtos estão tendo o melhor desempenho?". Veja Adicionar exemplos de consultas e funções SQL.
• Utilize instruções de texto apenas como último recurso : As instruções de texto devem ser usadas com moderação, somente quando as expressões e exemplos SQL não forem suficientes para atender à necessidade. Use instruções em texto para orientações que exigem explicação em linguagem natural, como "Quando os usuários perguntarem sobre o desempenho do cliente sem especificar um período, peça que esclareçam o período" ou "Sempre arredonde as porcentagens para duas casas decimais nos resumos". Evite usar instruções de texto para definir métricas, filtros ou padrões de consulta que podem ser expressos por meio de SQL.

Genie da Instrução pode fazer perguntas para esclarecimento.

Para incentivar o Genie a fazer perguntas de esclarecimento em determinados cenários, seja explícito sobre quando pedir esclarecimentos e como proceder após o pedido. Utilize instruções claras e específicas que definam tanto as condições de ativação quanto o comportamento de esclarecimento esperado.

Por exemplo, adicione o seguinte tipo de instrução ao seu agent:

Quando os usuários perguntam sobre a análise do desempenho de vendas, mas não incluem o período, o canal de vendas ou quais KPIs em sua solicitação, você deve primeiro fazer uma pergunta de esclarecimento para coletar as informações necessárias. Por exemplo: "Por favor, especifique o intervalo de tempo e o canal de ventilação que você está procurando."

Estruture suas instruções de esclarecimento com estes componentes:

• Condição de ativação : Defina quais tópicos ou cenários exigem esclarecimento (por exemplo, "Quando os usuários perguntam sobre o tópico X...")
• Informações em falta : Especifique quais informações devem estar presentes (por exemplo, "...mas não inclua detalhes Y...")
• Ação necessária : Indique que o Genie deve pedir esclarecimentos (por exemplo, "...você deve fazer uma pergunta para esclarecer a dúvida primeiro...")
• Exemplo de esclarecimento : Forneça a pergunta específica que o Genie deve fazer (por exemplo, "Por favor, especifique...")

Adicione instruções para perguntas de esclarecimento ao final das suas instruções gerais para ajudar o Genie a priorizar esse comportamento ao responder a perguntas ambíguas.

Personalizar resumos

O Genie fornece resumos em linguagem natural junto com os resultados das queries para ajudar os usuários a entender os dados. É possível personalizar como o Genie gera esses resumos adicionando instruções específicas às instruções de texto do seu Agent. Instruções de personalização de resumo se aplicam a todas as respostas no Agent.

Para personalizar o comportamento do resumo, adicione uma seção específica ao final das suas instruções de texto com o título "Instruções que você deve seguir ao fornecer resumos".

Exemplo de instruções de personalização resumidas:

Instruções que você deve seguir ao fornecer resumos

• Ao fornecer resumos, responda sempre em francês.
• Cite os nomes das tabelas e colunas usados em sua análise.
• Use marcadores para estruturar resumos em várias partes.
• Inclua o intervalo de datas abrangido pelos resultados.

nota

• Somente as instruções de texto afetam a geração do resumo. Os exemplos e expressões SQL não influenciam a forma como Genie SQL resumos.
• Algumas opções de personalização não estão disponíveis, como controlar o tamanho do resumo e o nível de detalhes.

Teste e ajuste

Você deve ser o primeiro usuário do seu agent. Depois de criar um novo agent, comece a fazer perguntas. Examine cuidadosamente o SQL gerado em resposta às suas perguntas. Se o Genie interpretar mal os dados, as perguntas ou o jargão de negócios, você pode intervir editando o SQL gerado ou fornecendo outras instruções específicas. Continue testando e editando até obter respostas confiáveis.

Depois de revisar uma pergunta, você pode adicioná-la como uma pergunta de benchmark que pode usar para testar e pontuar seu agente para precisão geral sistematicamente. É possível usar variações e diferentes formulações de perguntas para testar as respostas do Genie. Consulte Benchmarks.

Para ideias sobre como corrigir respostas errôneas, consulte Solucionar problemas do Genie Agents.

Implante e crie versões do seu agent com os Pacotes de Automação Declarativa

Use os Pacotes de Automação Declarativa para definir, implantar e controlar a versão dos seus Genie Agents como código. Armazenar a configuração do seu agente em um repositório de pacotes oferece implantações reproduzíveis, histórico de alterações e a capacidade de promover agentes entre ambientes (desenvolvimento, preparo, produção). Consulte recursos dos Pacotes de Automação Declarativa.

Realizar testes com usuários

Após verificar a qualidade da resposta por meio de testes, recrute um usuário de negócios para experimentar o Genie Agent. Use as seguintes diretrizes para proporcionar uma jornada do usuário fluida e coletar feedback para melhoria contínua:

• Defina as expectativas de que a Job deles é ajudar a refinar o agente.
• Peça que concentrem os testes no tópico específico e nas perguntas que o agente foi projetado para responder.
• Se receberem uma resposta incorreta, incentive os usuários a adicionarem instruções e esclarecimentos adicionais no chat para refinar a resposta. Quando uma resposta correta é fornecida, eles devem votar positivamente na consulta final para minimizar erros semelhantes em interações futuras.
• Diga aos usuários para votarem a favor ou contra as respostas usando o mecanismo de feedback integrado.
• Convide os usuários a compartilhar feedback adicional e perguntas não resolvidas diretamente com os autores do agente. Autores e editores podem usar feedback para refinar instruções, exemplos e ativos confiáveis.

Considere fornecer materiais de treinamento ou um documento escrito com diretrizes para testar o agente e fornecer feedback. Direcione os usuários de negócios para Usar um Genie Agent para explorar dados de negócios para ajudá-los a começar a trabalhar com um novo Genie Agent.

À medida que os usuários de negócios testam o agent, usuários com pelo menos permissões CAN MANAGE podem ver as perguntas que fizeram na tab Monitoramento . Continue adicionando contexto para ajudar o Genie a interpretar corretamente as perguntas e os dados para fornecer respostas precisas. Consulte Monitorar o agent para saber mais sobre o monitoramento de Genie Agents. É possível também usar logs de auditoria para monitorar o feedback e as solicitações de revisão do Genie Agent. Consulte Monitorar o uso de Genie Agents com logs de auditoria e alertas.

nota

Os usuários de negócios devem ser membros do workspace de origem para acessar seu agente. Consulte Permissões necessárias para saber como fornecer as permissões apropriadas para interagir com o agente.

Para solucionar problemas comuns com o Genie Agents, consulte Solucionar problemas do Genie Agents.