Ver registros e avaliações

Visualização

Este recurso está na visualização privada. Para experimentar, entre em contato com seu contato do Databricks.

Procurando um documento RAG Studio diferente? Vá para o índice de documentação RAG

Este tutorial orienta você no processo de visualização de logs do seu aplicativo:

  • 🗂️ Request Log: rastreamentos detalhados das execuções 🔗 Chain

  • 👍 Assessment & Evaluation Results Log: Avaliações de 👤 End Users e 🧠 Expert Users e 🤖 LLM Judges

Usaremos o 💬 Review UI implantado no tutorial anterior para gerar alguns logs e view os dados.

Presume-se que você seguiu os passos em Inicializar um aplicativo RAG.

o passo 1: Colete avaliações de humanos usando o aplicativo Review

  1. Abra o 💬 Review UI que você implantou na etapa anterior.

  2. Interaja com o aplicativo fazendo perguntas.

    Sugerimos o seguinte:

    • Pressione New Chat no lado esquerdo.

      • Pergunte what is rag studio? seguido por how do i set up the dev environment for it?

    • Pressione New Chat no lado esquerdo.

      • Perguntar what is mlflow?

    Aplicação RAG
  3. Depois de fazer uma pergunta, você verá o widget de feedback aparecer abaixo da resposta do bot. No mínimo, forneça um sinal de positivo ou negativo para “Esta resposta está correta para sua pergunta?”.

    Antes de fornecer feedback:

    feedback da interface do usuário antes

    Depois de fornecer feedback:

    feedback da interface do usuário concluída

o passo 2: Colete avaliações de um juiz LLM

  1. O aplicativo de exemplo é configurado para ter automaticamente um 🤖 LLM Judge que fornece avaliações para cada interação com o aplicativo.

    Observação

    Para obter mais informações sobre a configuração de juízes LLM, consulte 🤖 LLM Judge

  2. Como tal, um juiz do LLM já forneceu avaliações para as perguntas que você fez na etapa 1!

o passo 3: execução de avaliação online ETL

Nos ambientes Revisores e Usuários Finais, o Job ETL para processamento de logs e avaliação é executado automaticamente. No ambiente de desenvolvimento (onde estamos trabalhando agora), você precisa executar manualmente o ETL Job.

Aviso

O registro do RAG Studio é baseado em tabelas de inferência - logs podem levar de 10 a 30 minutos antes de estarem prontos para serem ETLd. Se você executou o Job abaixo e não obteve nenhum resultado, aguarde 10 minutos e tente novamente.

  1. execute o seguinte comando para iniciar o processo ETL de logs. Este passo levará aproximadamente 5 minutos.

    ./rag run-online-eval -e dev
    

o passo 4. Visualize os logs

O RAG Studio armazena todos os logs no esquema do Unity Catalog que você configurou.

Observação

O esquema de registro foi projetado para permitir a medição de métricas. Para mais informações sobre como esses logs são usados para compute métricas, consulte Métricas.

  1. Abra o navegador do Catálogo e navegue até seu esquema.

  2. No esquema, você verá as tabelas abaixo

    1. 🗂️ Request Log: rastreamentos detalhados das execuções 🔗 Chain; criado pelo JobETL

    2. 👍 Assessment & Evaluation Results Log: Avaliações de 👤 End Users e 🧠 Expert Users e 🤖 LLM Judges; criado pelo JobETL

    3. Tabela de log de carga útil bruta: logs de carga útil bruta usados pelo Job ETL.

    logs
  3. Vamos primeiro explorar o 🗂️ Request Log.

    select * from catalog.schema.`rag_studio_databricks-docs-bot_dev_request_log`
    
    • request: a entrada do usuário para o bot

    • trace: logs passo a passo de cada passo executado pelo aplicativo 🔗 Chain

    • output: a resposta gerada pelo bot que foi retornada ao usuário

    logs
  4. A seguir, vamos explorar o 👍 Assessment & Evaluation Results Log. Cada request.request_id tem diversas avaliações.

    select * from catalog.schema.`rag_studio_databricks-docs-bot_dev_assessment_log`
    
    • request_id: mapeia para request.request_id no 🗂️ Request Log

    • source: quem forneceu o feedback: o ID do usuário humano ou o ID 🤖 LLM Judge

    • text_assessment: a avaliação do sourcesobre a solicitação

    • output: a resposta gerada pelo bot que foi retornada ao usuário

    logs

    Observação

    Há uma coluna adicional chamada retrieval_assessments - usada para avaliações de 🔍 Retriever. Nesta versão do RAG Studio, a avaliação de recuperação só é possível usando um 📖 Evaluation Set e uma avaliação off-line. Versões futuras incluirão suporte para capturar avaliações de recuperação de usuários em 💬 Review UI e de 🤖 LLM Judges.