Gerenciar avaliações - guia do usuário especialista no assunto (SME)

Prévia

Esse recurso está na Visualização privada.

Esta página descreve como os especialistas no assunto (SMEs) usam a UI para gerenciar avaliações. A UI de avaliações do gerenciar foi projetada para ajudar as PMEs a fazer o seguinte:

  • Analise um conjunto de bate-papos que testam diferentes aspectos da funcionalidade do agente AI.

  • Forneça informações que ajudem o juiz de AI a avaliar as respostas do agente de AI a essas perguntas.

Para obter mais informações sobre o Mosaic AI Agent Evaluation e os juízes do AI que ele fornece, consulte O que é o Mosaic AI Agent Evaluation? e Como a qualidade, o custo e a latência são avaliados pelo Agent Evaluation.

Analise os bate-papos

O primeiro passo é analisar um conjunto de bate-papos que serão usados para testar o agente AI. Esses bate-papos formam a base de um conjunto de avaliação. Os bate-papos são fornecidos pelo desenvolvedor para testar o agente AI.

Quando você clica no link para o aplicativo, uma tela semelhante à seguinte é exibida:

Página inicial do aplicativo de avaliação de PME

Você pode ver o progresso geral da análise. A barra de progresso mostra o número de conversas que você revisou e o número total de conversas no conjunto.

  1. Clique em começar review.

  2. Uma nova página é aberta, mostrando a interface de bate-papo no lado esquerdo e uma lista de perguntas para você revisar no lado direito.

    Revise um bate-papo - página inicial

  3. Se a solicitação de bate-papo for sintetizada a partir de um documento, o senhor poderá clicar no cartão do documento de origem para view o conteúdo do documento de origem.

    visualizar o documento de origem

  4. Responda a todas as perguntas no lado direito da tela. Para obter mais detalhes, consulte Revisar um bate-papo. As alterações feitas são salvas automaticamente.

  5. Quando você terminar de revisar este bate-papo:

    • Ele se move automaticamente para o próximo bate-papo, se houver um.

    • Para retornar à página inicial, clique Vá para a página inicial breadcrumb no canto superior esquerdo da tela.

    • Para navegar até o bate-papo anterior ou o próximo, clique em Anterior ou Próximo no canto superior direito da página.

Avalie um bate-papo

Essa é uma boa pergunta?

Quando o senhor analisa um chat, o primeiro passo é decidir se a pergunta é um bom teste dos recursos do agente AI.

Review o passo - esta é uma boa pergunta

Se o senhor achar que a pergunta não é um bom teste, clique em No (Não) para rejeitá-la e pular o restante da revisão dos passos.

Revise os fatos esperados

Nesse passo, sua tarefa é revisar e editar a lista de fatos esperados que o agente do AI deve usar para responder à pergunta.

Review o passo - fatos esperados

  1. Revise os fatos existentes, se houver algum. Você pode editar o texto diretamente, se necessário. Para remover um fato, clique em [adicionar capa de tela do ícone da lixeira].

  2. Para adicionar um novo fato, clique em Adicionar fato. Para obter diretrizes importantes sobre como fornecer os fatos esperados, consulte as diretrizes de expected_facts.

  3. Ao concluir sua análise, clique em Parece bom.