エキスパートユーザーからの🗂️ Request Logに関するフィードバックの収集

プレビュー

この機能は プライベート プレビュー段階です。 お試しになるには、Databricks の担当者にお問い合わせください。

別のRAG Studioドキュメントをお探しですか?RAGドキュメントインデックスに移動

このチュートリアルでは、🧠 Expert Usersから🗂️ Request Logに関するフィードバックを収集するプロセスについて説明します。このステップは、 👤 End Users から否定的なフィードバックがあり、何が悪かったのか、何が起こるべきだったのかを理解するために意見を得る必要がある場合に行われます。

データフロー

伝説

ステップ 1: 📋 Review Set と指示書を作成する

  1. 次の SQL を実行して、 <catalog>.<schema>.<review_table_name>という Unity Catalog テーブルを作成します。 このテーブルは任意のUnity Catalogスキーマに格納できますが、RAGアプリケーション用に構成したUnity Catalogスキーマに格納することをお勧めします。

    注:

    ログのサブセットのみを選択するように SQL コードを変更することができます。 これを行う場合は、 request 列の元のスキーマを保持してください。

    CREATE  TABLE  <catalog>.<schema>.<review_table_name> AS (SELECT  *  FROM  <request_log_table> where app_version_id=<model_uri>  LIMIT 10)
    

    注:

    スキーマは、要求ログとレビュー セットの間で意図的に同じになります。

    警告

    評価を確認するには、<catalog>.<schema>.<review_table_name>request_idを使用する必要があります。生成された request_idは一意の UUID ですが、2 つの UUID が同一である可能性は非常に低いです。

  2. ファイル src/review/instructions.md を開き、必要に応じて指示を変更します。

    # Instructions for reviewers
    
    Please review these chats.  For each conversation, read the question asked, assess the bot's response for accuracy, and respond to the feedback prompts accordingly.
    

ステップ 2: 📋 Review Set を <review-ui>

  1. 次のコマンドを実行します。

     ./rag start-review -e dev -v 1 --review-request-table <catalog>.<schema>.<review_table_name>
    
  2. 💬 Review UIの URL がコンソールに出力されます。

    ...truncated for clarity...
    
    Your Review UI is now available. Open the Review UI here: <review_url>
    
  3. デプロイされたバージョンにアクセス許可を追加して、 🧠 Expert Users が上記の URL にアクセスできるようにします。

    • アクセス権を付与するDatabricksユーザーに read 権限を付与します

      • MLflow エクスペリメント

      • モデルサービング エンドポイント

      • Unity Catalog モデル

    ヒント

    🚧 ロードマップ 🚧💬 Review UIにアクセスするための企業SSOの追加のサポート(Databricksアカウントの要件なし)。

  4. URLをあなたと共有します 🧠 Expert Users

    RAGレビューアプリ
  5. ユーザーからの👍 Assessmentsは、デプロイ先のEnvironment👍 Assessment & Evaluation Results Logに表示されます。これらの評価のみを照会するには、次の方法を使用します。

    SELECT a.*
    FROM <assessment_log> a LEFT SEMI JOIN <catalog>.<schema>.<review_table_name> r ON (a.request.request_id = r.request.request_id)