Teste e monitore um Genie Space.

Esta página explica como testar um Espaço Genie, revisar e editar respostas e monitorar o uso do espaço.

Teste seu Genie Space

A maior parte das interações dos usuários ocorre na janela de bate-papo. A melhor maneira de saber se o seu espaço está funcionando como você deseja é testá-lo com perguntas realistas que você espera que seus usuários de negócios façam.

As perguntas de exemplo configuradas nas definições do espaço aparecem na janela de chat. O Genie também pode gerar perguntas de exemplo com base no contexto do espaço para ajudar os usuários a começar a explorar os dados. Os usuários podem clicar em uma pergunta de exemplo ou inserir suas próprias perguntas no campo de texto na parte inferior da tela.

As respostas aparecem acima do campo de texto. Após um usuário inserir uma pergunta, ela é salva no histórico do chat.

Para começar uma nova conversa:

1. Clique em Novo chat para iniciar um novo chat. Clique Para retomar uma conversa anterior.
2. Digite sua pergunta no campo de texto "Faça sua pergunta…" .

Respostas de revisão

As respostas são geralmente fornecidas em linguagem natural, respondendo às perguntas e acompanhadas de uma tabela com os resultados relevantes. Quando o Genie detecta que uma visualização pode melhorar a clareza da resposta, ele também retorna uma visualização. A estrutura exata da resposta varia de acordo com a pergunta. Se uma consulta SQL foi gerada para responder à pergunta, ela será incluída na resposta.

nota

Assim como outros grandes modelos de linguagem (LLMs), o Genie pode apresentar comportamentos não determinísticos. Isso significa que, ocasionalmente, você poderá receber resultados diferentes ao enviar a mesma solicitação várias vezes. Fornecer exemplos de consultas SQL que Genie possa usar para aprender pode ajudar a torná Genie mais consistente. Consulte Adicionar exemplos de consultas e funções SQL.

Feedback da resposta

Cada resposta solicita ao usuário que responda : "Isso está correto?" . Os usuários podem responder de uma das seguintes maneiras:

• Sim: Confirma que a resposta parece correta.

• Corrigir: Sinaliza a resposta como incorreta. Os usuários podem selecionar entre os problemas comuns ou inserir sua própria explicação. Eles podem então:

  • Clique em Enviar e tente novamente para gerar a resposta usando o feedback fornecido.
  • Clique em Enviar para enviar o feedback sem gerar uma nova resposta.

• Solicitar revisão: Sinaliza a resposta para revisão manual. Os usuários podem adicionar um comentário opcional para fornecer contexto adicional.

Como editor, você pode view o feedback e as respostas sinalizadas na interface Genie . O comportamento do seu Genie Space não muda com base apenas no feedback do usuário. Você deve usar o feedback para identificar oportunidades de melhoria ou responder diretamente às perguntas dos usuários. A Databricks recomenda incentivar os usuários a fornecerem feedback sobre o espaço usando esse mecanismo.

Os usuários corporativos podem view as atualizações das perguntas que marcaram para revisão na página Monitor . Usuários com pelo menos a permissão CAN MANAGE no Genie Space podem revisar a troca específica, comentar na solicitação e confirmar ou corrigir a resposta. Eles podem acessar solicitações de feedback e revisão na página de monitoramento. Em seguida, você pode usar esse feedback para ajustar as respostas e iterar no seu espaço. Veja Monitorar o espaço.

Outras ações de resposta

Para respostas que incluem SQL gerado, opções adicionais permitem interagir com os dados retornados.

• Copiar CSV: Os usuários do Space podem download até aproximadamente 1 GB de dados de resultados em formato CSV. O tamanho final do arquivo download pode ser ligeiramente maior ou menor que 1 GB, pois o limite de 1 GB é aplicado a um passo anterior ao download final do arquivo. Para download os resultados, clique no ícone download na resposta.

• Exibir código: Clique em Exibir código para view a consulta gerada. Isso pode ser útil para solucionar problemas com respostas não confiáveis. Consulte Editar e salvar consultas.

• O Menu de kebabs: Acesse as seguintes ações:

  • Copiar CSV : Copie o arquivo CSV de resposta para a sua área de transferência.
  • Adicionar como instrução: Para interações que podem ser úteis para ensinar o Genie a responder perguntas semelhantes, clique em Adicionar como instrução . Isso abre a interface do usuário para salvar exemplos de consultas SQL, preenchidas com a pergunta e o SQL gerado. Você pode deixar o exemplo como está escrito ou editar e salvar para fazer alterações. Consulte Adicionar exemplos de consultas e funções SQL.
  • Adicionar como referência : Adicione a questão como uma questão de referência. Consulte Usar benchmarks em um Genie Space.
  • Atualizar dados : atualize os dados executando a consulta gerada anteriormente.
  • Gerar nova resposta : Envie a pergunta novamente e peça ao Genie para gerar uma nova resposta.

Editar e salvar consultas

As consultas SQL do Genie podem ser revisadas para verificar a precisão e editadas conforme necessário. Os autores do Genie Space geralmente conhecem o domínio e os dados que lhes permitem reconhecer quando o Genie está gerando uma resposta incorreta. Muitas vezes, os erros podem ser corrigidos com um pequeno ajuste manual na consulta SQL gerada. Clique em "Mostrar código gerado" para inspecionar a consulta e view o SQL gerado para qualquer resposta.

Você pode editar a instrução SQL gerada para corrigi-la se tiver privilégios CAN EDIT ou superiores no Espaço Genie . Após efetuar as correções, execute a consulta. Em seguida, você pode salvá-la como uma instrução para ensinar o Genie a responder no futuro. Para salvar a consulta editada, clique em Adicionar como instrução .

Monitore o espaço

O Genie Space pode ser considerado uma ferramenta de colaboração de longo prazo entre equipes de dados e usuários de negócios. Acumula conhecimento ao longo do tempo, em vez de servir como uma implementação única. À medida que os usuários fazem novas perguntas, você pode refinar o espaço para melhorar a abrangência e a precisão.

Use a tab Monitor para revisar perguntas e respostas individuais, view o feedback do usuário e identificar respostas sinalizadas para revisão.

A tab "Monitor" mostra todas as perguntas e respostas que foram feitas no espaço. Você pode filtrar as perguntas por horário, classificação, usuário ou status. Ao monitorar o espaço, os usuários com permissões CAN MANAGE podem entender proativamente as dúvidas levantadas pelos usuários de negócios e como o Genie Space respondeu.

Identificar as perguntas com as quais o Genie tem dificuldades pode ajudar você a atualizar o Espaço Genie com instruções específicas para melhorar suas respostas. Clique em uma pergunta para abrir o texto da pergunta e da resposta e view a conversa completa.

Analisar a utilização e as tendências.

Use a seção "Resumo semanal" da tab "Monitorar" para analisar o volume de mensagens da semana, os usuários ativos e os comentários positivos/negativos. Para identificar as principais tendências de uso e os problemas comuns, clique em Analisar uso do espaço . Isso inicia o Genie Code, que analisa os dados de monitoramento do seu espaço e resume os padrões de uso e as áreas que precisam de melhorias.

Analise as conversas para garantir a qualidade.

info

Beta

Este recurso está em versão Beta. Os administradores do espaço de trabalho podem controlar o acesso a este recurso na página de Pré-visualizações . Veja as prévias do Gerenciador Databricks.

Quando uma conversa é definida como "Revisável pelos administradores do espaço" , os usuários com a permissão CAN MANAGE podem abrir a conversa na tab de monitoramento para revisar toda a troca de mensagens. Isso permite avaliar a qualidade da resposta do Genie, responder ao feedback do usuário e identificar áreas onde instruções adicionais ou exemplos de consultas melhorariam a precisão. Em conversas definidas como Privadas , os administradores do espaço podem ver as mensagens do usuário na tab de monitoramento, mas não podem view a conversa completa ou os resultados. Para mais informações, consulte Compartilhar uma conversa.

nota

As conversas criadas antes da ativação da versão Beta permanecem privadas . As conversas criadas após a ativação dessa função serão definidas default como "Revisáveis pelos administradores do espaço" .