Colete feedback sobre 🗂️ Request Logde usuários especialistas

Visualização

Este recurso está na visualização privada. Para experimentar, entre em contato com seu contato do Databricks.

Procurando um documento RAG Studio diferente? Vá para o índice de documentação RAG

Este tutorial orienta você no processo de coleta de feedback sobre 🗂️ Request Logs de seu 🧠 Expert Users. Este passo é feito quando você recebe feedback negativo do seu 👤 End Users e precisa obter informações para entender o que deu errado/o que deveria ter acontecido.

Fluxo de dados

lenda

o passo 1: Crie o 📋 Review Set e as instruções

  1. Execute o SQL a seguir para criar uma tabela Unity Catalog chamada <catalog>.<schema>.<review_table_name>. Essa tabela pode ser armazenada em qualquer esquema Unity Catalog , mas sugerimos armazená-la no esquema Unity Catalog configurado para o aplicativo RAG.

    Observação

    Você pode modificar o código SQL para selecionar apenas um subconjunto de logs. Se você fizer isso, mantenha o esquema original da coluna request .

    CREATE  TABLE  <catalog>.<schema>.<review_table_name> AS (SELECT  *  FROM  <request_log_table> where app_version_id=<model_uri>  LIMIT 10)
    

    Observação

    O esquema é intencionalmente o mesmo entre os logs de solicitação e o conjunto de revisão.

    Aviso

    Para revisar as avaliações, você precisará usar o request_id de <catalog>.<schema>.<review_table_name>. Os request_ids gerados são UUIDs exclusivos, mas há uma probabilidade muito baixa de 2 UUIDs serem idênticos.

  2. Abra o arquivo src/review/instructions.md e modifique as instruções conforme necessário.

    # Instructions for reviewers
    
    Please review these chats.  For each conversation, read the question asked, assess the bot's response for accuracy, and respond to the feedback prompts accordingly.
    

o passo 2: implantei o 📋 Review Set no <review-ui>

  1. execute o seguinte comando.

     ./rag start-review -e dev -v 1 --review-request-table <catalog>.<schema>.<review_table_name>
    
  2. O URL de 💬 Review UI é impresso no console.

    ...truncated for clarity...
    
    Your Review UI is now available. Open the Review UI here: <review_url>
    
  3. Adicione permissões à versão implantada para que seu 🧠 Expert Users possa acessar a URL acima.

    • Dê ao usuário do Databricks ao qual você deseja conceder acesso read permissões

      • o experimento MLflow

      • o modelo endpoint

      • o modelo Unity Catalog

    Dica

    🚧 roteiro 🚧 Suporte para adicionar qualquer SSO corporativo para acessar o 💬 Review UI por exemplo, sem requisitos para uma account Databricks .

  4. Compartilhe o URL com seu 🧠 Expert Users

    Aplicativo de revisão RAG
  5. Os 👍 Assessments dos seus usuários aparecerão no 👍 Assessment & Evaluation Results Log do Environment que você implantou. Você pode consultar apenas essas avaliações com:

    SELECT a.*
    FROM <assessment_log> a LEFT SEMI JOIN <catalog>.<schema>.<review_table_name> r ON (a.request.request_id = r.request.request_id)