管理評価 — SME(Subject Matter Expert)ユーザーガイド

プレビュー

このページでは、対象分野の専門家 (SME) が管理評価 UI を使用する方法について説明します。管理評価 UI は、SME が次の操作を行えるように設計されています。

エージェント評価Mosaic AIおよびそれが提供するAIジャッジの詳細については、「Mosaic AIエージェント評価とは」および「エージェント評価による品質、コスト、および遅延の評価方法」を参照してください。

チャットを確認する

最初のステップは、AIエージェントのテストに使用される一連のチャットを確認することです。これらのチャットは、評価セットの基礎を形成します。チャットは、AIエージェントのテストのために開発者によって提供されます。

アプリへのリンクをクリックすると、次のような画面が表示されます。

レビューの全体的な進行状況を確認できます。進行状況バーには、レビューしたチャットの数と、セット内のチャットの合計数が表示されます。

[レビューを開始] をクリックします。
新しいページが開き、左側にチャットインターフェースが表示され、右側に確認できる質問のリストが表示されます。
チャット要求がドキュメントから合成された場合は、ソースドキュメントカードをクリックしてソースドキュメントの内容を表示できます。
画面の右側にあるすべての質問に答えます。詳細については、「チャットを確認する」を参照してください。行った変更は自動的に保存されます。
このチャットのレビューが完了したら、次の操作を行います。
- 次のチャットがある場合は、自動的に次のチャットに移動します。
- ホームページに戻るには、画面の左上にあるをクリックします。
- 前のチャットまたは次のチャットに移動するには、ページの右上にある [前へ ]または [次のチャット ]をクリックします。

チャットをレビューするとき、最初のステップは、質問がAIエージェントの能力の適切なテストであるかどうかを判断することです。

質問が適切なテストではないと思われる場合は、[ いいえ ] をクリックして拒否し、残りのレビュー手順をスキップします。

このステップでは、 AI エージェントが質問に回答するために使用すべき予想される事実のリストを確認および編集します。

既存の事実がある場合は、それを確認します。必要に応じて、テキストを直接編集できます。ファクトを削除するには、[ゴミ箱アイコンのスクリーンキャップを追加]をクリックします。
新しいファクトを追加するには、[ ファクトの追加] をクリックします。予期される事実を提供する方法に関する重要なガイドラインについては、 expected_facts ガイドラインを参照してください。
レビューが完了したら、[ 問題ない] をクリックします。