🤖 LLM Judge

Visualização

Este recurso está na visualização privada. Para experimentar, entre em contato com seu contato do Databricks.

Procurando um documento RAG Studio diferente? Vá para o índice de documentação RAG

Visão geral conceitual

🤖 LLM Judge fornece feedback avaliado pelo LLM sobre sua inscrição RAG. Isso permite que você obtenha percepções adicionais sobre a qualidade da sua aplicação.

Configurando 🤖 LLM Judge

  1. Abra o rag-config.yml em seu IDE/editor de código.

  2. Edite a configuração global_config.evaluation.assessment_judges .

    evaluation:
      # Configure the LLM judges for assessments
      assessment_judges:
        - judge_name: LLaMa2-70B-Chat
          endpoint_name: databricks-llama-2-70b-chat # Model Serving endpoint name
          assessments: # pre-defined list based on the names of metrics
            - harmful
            - answer_correct
            - faithful_to_context
            - relevant_to_question_and_context
    

    Dica

    🚧 roteiro 🚧 Suporte para avaliações 🤖 LLM Judge definidas pelo cliente.

  3. O RAG Studio calcula automaticamente 🤖 LLM Judge avaliações para cada invocação do seu 🔗 Chain.

    Dica

    🚧 roteiro 🚧 Configuração para ajustar quando o 🤖 LLM Judge está ou não em execução, incluindo apenas amostragem de x% de respostas.

Fluxos de dados

Avaliação on-line

online

Avaliação off-line

desligada