Testar e monitorar um Genie Agent

Teste um Genie Agent com perguntas do mundo real, analise o SQL e as visualizações geradas, edite as respostas quando o Genie cometer um erro e monitore o uso do agente e o feedback do usuário para que possa manter o agente preciso à medida que os dados e as perguntas evoluem. Use benchmarks para pontuar a precisão da resposta em escala.

nota

Os Genie Agents eram anteriormente conhecidos como Genie Spaces.

Testar seu Genie Agent

A maioria das interações do usuário ocorre na janela de bate-papo. A melhor forma de saber se o seu agente está funcionando como desejado é testá-lo com perguntas realistas que se espera que seus usuários de negócios façam.

As perguntas de exemplo configuradas nas configurações do agente aparecem na janela de chat. O Genie também pode gerar perguntas de exemplo com base no contexto do agente para ajudar os usuários a começar a explorar os dados. Os usuários podem clicar em uma pergunta de exemplo ou inserir suas próprias perguntas no campo de texto na parte inferior da tela.

As respostas aparecem acima do campo de texto. Após um usuário inserir uma pergunta, ela é salva no histórico do chat.

Para começar uma nova conversa:

1. Clique em Novo chat para iniciar um novo chat. Clique Para retomar uma conversa anterior.
2. Digite sua pergunta no campo de texto "Faça sua pergunta…" .

Respostas de revisão

As respostas são geralmente fornecidas em linguagem natural, respondendo às perguntas e acompanhadas de uma tabela com os resultados relevantes. Quando o Genie detecta que uma visualização pode melhorar a clareza da resposta, ele também retorna uma visualização. A estrutura exata da resposta varia de acordo com a pergunta. Se uma consulta SQL foi gerada para responder à pergunta, ela será incluída na resposta.

nota

Assim como outros grandes modelos de linguagem (LLMs), o Genie pode apresentar comportamentos não determinísticos. Isso significa que, ocasionalmente, você poderá receber resultados diferentes ao enviar a mesma solicitação várias vezes. Fornecer exemplos de consultas SQL que Genie possa usar para aprender pode ajudar a torná Genie mais consistente. Consulte Adicionar exemplos de consultas e funções SQL.

Feedback da resposta

Cada resposta solicita ao usuário que responda : "Isso está correto?" . Os usuários podem responder de uma das seguintes maneiras:

• Sim: Confirma que a resposta parece correta.

• Corrigir: Sinaliza a resposta como incorreta. Os usuários podem selecionar entre os problemas comuns ou inserir sua própria explicação. Eles podem então:

  • Clique em Enviar e tente novamente para gerar a resposta usando o feedback fornecido.
  • Clique em Enviar para enviar o feedback sem gerar uma nova resposta.

• Solicitar revisão: Sinaliza a resposta para revisão manual. Os usuários podem adicionar um comentário opcional para fornecer contexto adicional.

Como editor, você pode visualizar feedback e respostas sinalizadas na interface do Genie. O comportamento do seu Genie Agent não muda apenas com base no feedback do usuário. Você deve usar o feedback para identificar oportunidades de melhoria ou responder diretamente às perguntas dos usuários. A Databricks recomenda incentivar os usuários a fornecer feedback sobre o agente usando esse mecanismo.

Usuários de negócios poderão visualizar as atualizações das perguntas que marcaram para revisão na página Monitoramento . Usuários com pelo menos permissão CAN MANAGE no Genie Agent poderão analisar a troca específica, comentar sobre a solicitação e confirmar ou corrigir a resposta. Eles poderão acessar o feedback e revisar solicitações na página de monitoramento. Então você poderá usar esse feedback para ajustar as respostas e iterar em seu agente. Consulte Monitore o agente.

Outras ações de resposta

Para respostas que incluem SQL gerado, opções adicionais permitem interagir com os dados retornados.

• **Copiar CSV:** Usuários do agente podem fazer download de até aproximadamente 1 GB de dados de resultados como CSV. O tamanho final do download do arquivo pode ser ligeiramente maior ou menor que 1 GB, já que o limite de 1 GB é aplicado a um o passo anterior do que o download do arquivo final. Para fazer download dos resultados, clique no ícone de download na resposta.

• Exibir código: Clique em Exibir código para view a consulta gerada. Isso pode ser útil para solucionar problemas com respostas não confiáveis. Consulte Editar e salvar consultas.

• O Menu de kebabs: Acesse as seguintes ações:

  • Copiar CSV : Copie o arquivo CSV de resposta para a sua área de transferência.
  • Adicionar como instrução: Para interações que podem ser úteis para ensinar o Genie a responder perguntas semelhantes, clique em Adicionar como instrução . Isso abre a interface do usuário para salvar exemplos de consultas SQL, preenchidas com a pergunta e o SQL gerado. Você pode deixar o exemplo como está escrito ou editar e salvar para fazer alterações. Consulte Adicionar exemplos de consultas e funções SQL.
  • Adicionar como referência : Adicione a questão como uma questão de referência. Consulte os indicadores de desempenho.
  • Atualizar dados : atualize os dados executando a consulta gerada anteriormente.
  • Gerar nova resposta : Envie a pergunta novamente e peça ao Genie para gerar uma nova resposta.

Editar e salvar consultas

As consultas SQL do Genie podem ser revisadas para precisão e editadas conforme necessário. Autores do Genie Agent normalmente têm conhecimento do domínio e dos dados que lhes permite reconhecer quando o Genie está gerando uma resposta incorreta. Geralmente, os erros podem ser corrigidos com um pequeno ajuste manual na consulta SQL gerada. Clique em Show generated code (Mostrar código gerado) para inspecionar a consulta e visualizar o SQL gerado para qualquer resposta.

É possível editar a instrução SQL gerada para corrigi-la, caso possua privilégios CAN EDIT ou superiores no Genie Agent. Após realizar as correções, execute a query. Então, é possível salvá-la como uma instrução para ensinar o Genie a responder no futuro. Para salvar sua query editada, clique em Adicionar como instrução .

Depurar respostas com Genie Code

Quando o Genie retorna uma resposta incorreta, use o Genie Code para diagnosticar o problema e melhorar o contexto do agente:

1. Abra o Genie Code a partir da resposta.
2. Descreva o problema e o comportamento desejado.
3. Revise as alterações de contexto que o Genie Code propõe e aceite as que deseja manter.

prompt

Peça ao Genie Code para fazer isso para você:

The Genie Agent is using calendar quarters instead of our fiscal calendar. Update its context to use our fiscal quarters: Q1 is February through April, Q2 is May through July, Q3 is August through October, and Q4 is November through January.

É possível usar o Genie Code para salvar o contexto semântico de uma conversa. Depois que os usuários introduzem novos termos ou corrigem o comportamento do Genie, peça ao Genie Code para registrar o que aprendeu. Analise cada sugestão e aceite o contexto que deseja adicionar ao agente.

Monitorar o agente

Um Genie Agent pode ser considerado uma ferramenta de colaboração de longo prazo entre equipes de dados e usuários de negócios. Ele acumula conhecimento ao longo do tempo, em vez de servir como uma implantação única. À medida que os usuários fazem novas perguntas, é possível refinar o agente para melhorar a cobertura e a precisão.

Use a tab Monitor para revisar perguntas e respostas individuais, view o feedback do usuário e identificar respostas sinalizadas para revisão.

A tab de monitoramento mostra todas as perguntas e respostas que foram feitas no agente. Você pode filtrar as perguntas por tempo, classificação, usuário ou status. Ao fazer o monitoramento do agente, usuários com permissões CAN MANAGE podem entender proativamente as queries levantadas por usuários de negócios e como o Genie Agent respondeu.

Identificar as perguntas com as quais o Genie tem dificuldade pode ajudar a atualizar o Genie Agent com instruções específicas para melhorar suas respostas. Clique em uma pergunta para abrir o texto da pergunta e da resposta e visualizar o tópico de chat completo.

Analisar a utilização e as tendências.

Use a seção **Resumo semanal** da tab **Monitor** para revisar o volume semanal de mensagens, usuários ativos e feedback positivo/negativo. Para identificar as principais tendências de uso e problemas comuns, clique em **Analisar Uso do Espaço**. Isso inicia o Genie Code, que analisa as mensagens dos usuários, feedback e problemas dos últimos sete dias e relata tópicos comuns, problemas recorrentes e melhorias de contexto sugeridas. As respostas incluem citações que remetem às conversas relevantes em seu agente. Clique em uma citação para abrir a conversa diretamente no tópico do Genie Code.

Analise as conversas para garantir a qualidade.

info

Beta

Este recurso está em Beta. Para usá-lo, um administrador do workspace deve ativar o **Compartilhamento de Chat Genie** na página **Prévias**. Consulte Gerenciar prévias do Databricks.

O Compartilhamento de Chat do Genie permite que os gerentes de agente revisem as conversas completas que os usuários de negócios têm com um Genie Agent. Quando uma conversa é definida como **Revisável por gerentes de espaço**, usuários com a permissão CAN MANAGE podem abrir a conversa na tab de monitoramento para revisar a troca completa. Isso permite avaliar a qualidade da resposta do Genie, responder ao feedback do usuário e identificar áreas onde instruções adicionais ou consultas de exemplo melhorariam a precisão. Para conversas definidas como Privadas , os gerentes de agente podem ver os prompts do usuário na tab de monitoramento, mas não podem view a conversa ou os resultados completos. Para obter mais informações, consulte Compartilhar uma conversa.

nota

As conversas criadas antes da ativação da versão Beta permanecem privadas . As conversas criadas após a ativação dessa função serão definidas default como "Revisáveis pelos administradores do espaço" .

Excluir uma conversa

Usuários com permissão CAN MANAGE em um Genie Agent podem excluir permanentemente qualquer conversa no agente da página de monitoramento. Isso remove a conversa e suas mensagens para todos os usuários.

1. Abra o Genie Agent e clique na tab Monitorar .
2. Clique em uma conversa para abrir o painel da conversa.
3. Clique em Excluir conversa .
4. Na caixa de diálogo de confirmação, clique em **Excluir** para excluir permanentemente a conversa, ou **Cancelar** para fechar a caixa de diálogo sem excluir.

Indicadores de desempenho

Benchmarks permitem criar um conjunto de perguntas de teste que você pode executar para avaliar a precisão geral das respostas do Genie. Um conjunto bem projetado de benchmarks cobrindo as perguntas dos usuários mais frequentes ajuda a avaliar a precisão do seu Genie Agent à medida que você o refina. Cada Genie Agent pode conter até 500 perguntas de benchmark.

As perguntas de benchmark são executadas como novas conversas. Eles não carregam o mesmo contexto de uma conversa em thread do Genie. Cada pergunta é processada como uma nova query, usando as instruções definidas no agente, incluindo quaisquer exemplos de SQL e funções SQL fornecidos.

Perguntas de benchmark suportam dois modos:

• Modo de chat : O modo default. O Genie avalia a precisão comparando seus resultados gerados por SQL com uma resposta SQL fornecida.
• Modo Agente : executa perguntas de referência usando o mesmo raciocínio em múltiplas etapas que o Modo Agente do Genie. Um Juiz do LLM avalia as respostas. Você pode fornecer uma nota de avaliação opcional para guiar a avaliação.

Adicionar perguntas de referência

As perguntas de referência devem refletir diferentes maneiras de formular as perguntas comuns que seus usuários fazem. Você pode usá-los para verificar a resposta do Genie a variações na formulação da pergunta ou a diferentes formatos de pergunta.

Ao criar uma questão de referência, você pode opcionalmente incluir uma consulta SQL cujo conjunto de resultados seja a resposta correta. Durante a execução do teste de desempenho, a precisão é avaliada comparando o conjunto de resultados da sua consulta SQL com o gerado pelo Genie. Você também pode usar as funções SQL Unity Catalog como respostas padrão para benchmarks.

Para adicionar uma questão de referência:

1. Perto do topo do Genie Agent, clique em **Benchmarks**.

2. Clique em Adicionar benchmark .

3. No campo "Pergunta" , insira uma pergunta de referência para teste.

4. Selecione um modo: **Bate-papo** ou **Agente**.

   • Modo de chat: O Genie avalia a precisão comparando seus resultados com uma resposta SQL que você fornece.
   • Modo Agente : Genie usa raciocínio em múltiplas etapas para responder à pergunta. Um Juiz do LLM avalia as respostas.

5. (Somente no modo de bate-papo) Forneça uma consulta SQL que responde à pergunta. Você pode escrever sua própria query digitando na caixa SQL Answer , incluindo funções SQL do Unity Catalog. Alternativamente, clique em Gerar SQL para que o Genie escreva a consulta SQL. Use uma instrução SQL que responda corretamente à pergunta inserida.

nota

Este passo é recomendado. Somente as perguntas que incluem esta instrução SQL de exemplo podem ser avaliadas automaticamente quanto à precisão. Qualquer questão que não inclua uma resposta em SQL requer revisão manual para ser pontuada. Se você usar o botão Gerar SQL , revise a instrução para garantir que ela esteja respondendo à pergunta corretamente.

6. (Somente para o modo Agente, opcional) No campo Nota da Avaliação , insira orientações sobre a resposta correta ou o conteúdo esperado. Genie passa a nota de avaliação para o juiz do LLM. A nota pode referenciar conteúdo esperado em relatórios de texto gerados pelo modo Agente.

7. (Apenas no modo de chat, opcional) Clique em Executar para executar sua query e ver os resultados.

8. Quando terminar de editar, clique em Adicionar benchmark .

9. Para atualizar uma pergunta após salvá-la, clique em Ícone de lápis para abrir a caixa de diálogo Atualizar pergunta .

Utilize parâmetros de referência para testar formulações alternativas de perguntas.

Ao avaliar a precisão do Genie Agent, é importante estruturar os testes para refletir cenários realistas. Os usuários podem fazer a mesma pergunta de diferentes maneiras. A Databricks recomenda adicionar diversas formas de se expressar a mesma pergunta e usar o mesmo SQL de exemplo nos testes de benchmark para avaliar a precisão por completo. A maioria dos Genie Agents deve incluir entre duas e quatro formas de se expressar a mesma pergunta.

perguntas de referência de execução

Usuários com pelo menos permissões CAN EDIT em um Genie Agent podem executar uma avaliação de benchmark a qualquer momento. É possível executar todas as perguntas de benchmark ou selecionar um subconjunto de perguntas para testar.

Para cada pergunta, o Genie interpreta a entrada, gera SQL e retorna os resultados. O SQL gerado e os resultados são então comparados com a resposta SQL definida na questão de referência.

Para executar todas as questões de benchmark:

1. Perto do topo do Genie Agent, clique em **Benchmarks**.
2. Clique em benchmarks de execução para iniciar a execução do teste.

Para executar um subconjunto de questões de referência:

1. Perto do topo do Genie Agent, clique em **Benchmarks**.
2. Selecione as caixas de seleção ao lado das perguntas que deseja testar.
3. Clique em execução selecionada para iniciar a execução do teste nas questões selecionadas.

Você também pode selecionar um subconjunto de perguntas de um resultado de benchmark anterior e executar novamente essas perguntas específicas para testar melhorias.

Os benchmarks continuam sendo executados mesmo quando você sai da página. Você pode verificar os resultados na tab Avaliação quando a execução estiver concluída.

Após a conclusão de uma execução, você pode usar o Genie Code para revisar os resultados de toda a execução e sugerir melhorias de contexto. Consulte Analisar uma execução de benchmark com o Genie Code.

Avaliações do modo de bate-papo

Os seguintes critérios determinam como o Genie avalia as respostas do modo Bate-papo:

Condição	Avaliação
O Genie gera SQL que corresponde exatamente à resposta SQL fornecida.	Bom
O Genie gera um conjunto de resultados que corresponde exatamente ao conjunto de resultados produzido pela resposta SQL.	Bom
O Genie gera um conjunto de resultados com os mesmos dados da resposta SQL , mas ordenados de forma diferente.	Bom
O Genie gera um conjunto de resultados com valores numéricos que são arredondados para os mesmos 4 dígitos significativos da resposta SQL.	Bom
O Genie gera SQL que produz um conjunto de resultados vazio ou retorna um erro.	Ruim
O Genie gera um conjunto de resultados que inclui colunas extras em comparação com o conjunto de resultados produzido pela resposta SQL.	Ruim
O Genie gera um resultado de célula única que é diferente do resultado de célula única produzido pela resposta SQL.	Ruim

Revisão manual necessária : As respostas são marcadas com este rótulo quando o Genie não consegue avaliar a correção ou quando os resultados da consulta gerados pelo Genie não contêm uma correspondência exata com os resultados da resposta SQL fornecida. Qualquer questão de avaliação comparativa que não inclua uma resposta em SQL deve ser revisada manualmente.

Avaliações do modo Agente

Um juiz de LLM avalia as respostas do modo Agente em vez de utilizar a comparação de SQL. Caso tenha fornecido uma Nota de avaliação , o juiz LLM a utiliza como orientação ao avaliar a resposta, incluindo qualquer conteúdo esperado no relatório de texto que o modo Agente gera. O juiz avalia as respostas que satisfazem os critérios da nota de avaliação como Bom .

Acesse avaliações de referência

Você pode acessar todas as suas avaliações de benchmark para rastrear a precisão no seu Genie Agent ao longo do tempo. Ao abrir os Benchmarks de um agente, uma lista com carimbo de data/hora de execuções de avaliação aparece na tab Avaliações . Se nenhuma execução de avaliação for encontrada, consulte Adicionar perguntas de benchmark ou Executar perguntas de benchmark.

A tab Avaliações exibe uma visão geral das avaliações e seus respectivos desempenhos, relatados nas seguintes categorias:

Nome da avaliação : Um registro de data e hora que indica quando ocorreu a execução da avaliação. Clique no carimbo de data/hora para ver os detalhes dessa avaliação. Status da execução : Indica se a avaliação foi concluída, pausada ou malsucedida. Se uma execução de avaliação incluir perguntas de benchmark que não possuem respostas SQL predefinidas, ela será marcada para revisão nesta coluna. Precisão : Uma avaliação numérica da precisão em todas as questões de referência. Para avaliações que exigem revisão manual, uma medida de precisão só aparece depois que essas questões forem revisadas. Criado por : Indica o nome do usuário que executou a avaliação.

Analisar avaliações individuais

Você pode analisar avaliações individuais para obter uma visão detalhada de cada resposta. Você pode editar a avaliação de qualquer questão e atualizar quaisquer itens que precisem de revisão manual.

Para analisar avaliações individuais:

1. Perto da parte superior do Genie Agent, clique em Benchmark .

2. Clique no registro de data e hora de qualquer avaliação na coluna Nome da avaliação para abrir uma view detalhada da execução desse teste.

   

3. Utilize a lista de perguntas no lado esquerdo da tela para visualizar uma view detalhada de cada questão.

4. Analise e compare a resposta de saída do modelo com a resposta real (ground truth) .

   Para resultados classificados como incorretos, aparece uma explicação descrevendo por que o resultado foi classificado como ruim . Isso ajuda você a entender as diferenças específicas entre a saída gerada e o resultado esperado.

nota

Os resultados dessas respostas aparecem nos detalhes da avaliação por uma semana. Após uma semana, os resultados já não são visíveis. A instrução SQL gerada e a instrução SQL de exemplo permanecem.

5. Clique em "Atualizar verdade fundamental" para salvar a resposta como a nova verdade fundamental para esta pergunta. Isso é útil se não houver uma verdade fundamental existente, ou se a resposta for melhor ou mais precisa do que a declaração de verdade fundamental existente.

6. Clique no no rótulo para editar a avaliação.

   Marque cada resultado como Bom ou Ruim para obter uma pontuação precisa nesta avaliação.

Analise uma execução de benchmark com o Genie Code.

Após a conclusão de uma execução de benchmark, use o Genie Code para revisar os resultados de toda a execução, em vez de inspecionar cada pergunta individualmente. Inicie o Genie Code a partir da avaliação e peça para ele analisar a execução. O Genie Code revisa os resultados esperados, o que seu agente gerou e o contexto atual do agente para encontrar lacunas e, em seguida, sugere melhorias de instrução e contexto para você revisar e salvar.