🤖 LLM Judge

プレビュー

この機能は プライベート プレビュー段階です。 お試しになるには、Databricks の担当者にお問い合わせください。

別のRAG Studioドキュメントをお探しですか?RAGドキュメントインデックスに移動

概念の概要

🤖 LLM Judge RAGアプリケーションに関するLLM判断のフィードバックを提供します。 これにより、アプリケーションの品質をさらに把握できます。

🤖 LLM Judge の構成

  1. IDE/コードエディタで rag-config.yml を開きます。

  2. global_config.evaluation.assessment_judges 構成を編集します。

    evaluation:
      # Configure the LLM judges for assessments
      assessment_judges:
        - judge_name: LLaMa2-70B-Chat
          endpoint_name: databricks-llama-2-70b-chat # Model Serving endpoint name
          assessments: # pre-defined list based on the names of metrics
            - harmful
            - answer_correct
            - faithful_to_context
            - relevant_to_question_and_context
    

    ヒント

    🚧 ロードマップ 🚧 顧客定義の 🤖 LLM Judge 評価のサポート。

  3. RAG Studioは、🔗 Chainを呼び出すたびに🤖 LLM Judge評価を自動的にコンピュートします。

    ヒント

    🚧 ロードマップ 🚧🤖 LLM Judgeが実行されるか、または実行されないかを調整する構成 (応答の x% のみのサンプリングを含む)。

データフロー

オンライン評価

オンライン

オフライン評価

オフライン