レビューキューを使用して構造化された人間のフィードバックを収集する
レビューキューを使用してAIの出力に対する人間のフィードバックを提供し、AIの品質を向上させます。レビューキューは、レビュアーに対して回答すべき質問の構造化された順次バックログを提供するため、アイテム数が増えてもフィードバックの一貫性が保たれます。
Databricksでは、新しい人間によるレビューワークフローに対してレビューキューを推奨しています。これらは、ラベリングスキーマで定義する構造化された質問と、ラベリングセッションによるレビュアーの調整を統合し、単一の集中したレビューエクスペリエンスを実現します。
2種類のアイテムをレビューできます：
- トレース ：アプリが生成したリクエストと応答。
- データセットレコード ：評価データセット内の入力と期待値。例えば、人間が正解回答をキュレーションするために使用します。
前提条件
- レビュー対象のアイテムを含む MLflow エクスペリメント: AI アプリから記録された トレース、または 評価データセット内のレコード。
- アイテムにフラグを立ててキューを作成するには、エクスペリメントに対する 編集可能 の権限が必要です。質問に回答するだけのレビュアーには、 読み取り可能 の権限と、キューへの割り当てが必要です。詳細な内訳については、パーミッションを参照してください。
- ワークスペースにアクセスできないレビュアーは、Databricks アカウントでプロビジョニングされている必要があります。ユーザーとグループの管理を参照してください。
レビューキューを作成する
すべてのエクスペリメントには、 tab があります。キューがまだ存在しない場合、 新しいキュー ボタンが表示された空の状態になります。
キューを作成するには：
- エクスペリメントの [レビュー] tab を開き、 [新しいキュー] をクリックします。
- キューに名前を付け、1名以上のレビュアーを割り当てます。
- レビュアーが回答する質問を選択します。キューはエクスペリメントの質問のサブセットを使用するため、キューごとに異なる質問を設定できます。ライブプレビューでは、各レビュアーに表示される内容を正確に確認できます。
質問を定義する
質問とは、各項目についてレビュアーに回答を求める内容のことです。これらはエクスペリメントレベルで一度定義され、キュー間で共有されます。質問はキューとは別のオブジェクトであり、各キューが必要なサブセットを選択します。質問を編集すると、その質問が使用されているすべての場所で更新されます。
レビュー用の質問には以下が含まれます：
- タイトル : レビュアーに表示される短いプロンプト（例: 「応答は事実として正しいですか？」）。
- 手順 （オプション）：質問と併せて表示される詳細なガイダンス。
- タイプ ：質問が フィードバック を収集するか、 エクスペリテーション を収集するか。フィードバックとエクスペリテーションの比較を参照してください。
- 回答フォーマット ：レビュアーの回答方法。回答フォーマットを参照してください。
- コメント (オプション): レビュアーが回答と一緒に自由記述のコメントを追加できるようにします。
フィードバックと期待値の比較
すべての質問は、 フィードバック に関する質問か、 期待値 に関する質問のいずれかです。この選択によって、レビュアーが何を提供し、その回答がどこに記述されるかが決まります：
- フィードバック : 合格/不合格の評価や品質スコアなど、制限された選択肢セットに対するアイテムについてのレビュアーの判断。フィードバックの回答は、トレース上の評価として書き戻され、品質の評価や LLM ジャッジの調整を行う際にすぐに使用できます。
- 期待値 : レビュアーが提供するグラウンド トゥルースの回答（特定の入力に対する理想的な応答など）。期待値の回答は、期待値として書き戻されます。トレース上、またはアイテムがデータセット レコードである場合はそのレコードの期待値上に書き戻されます。
フィードバックの質問はトレースにのみ適用されます。データセットレコードは期待値に関する質問のみを受け付けます。これは、1つのレコードがフィールドごとに1つのグラウンドトゥルース値を保持するためです。データセットレコードをキューにフラグ付けする場合は、期待値に関する質問が含まれていることを確認してください。
回答形式
各質問は1つの回答フォーマットを使用します：
- 合格 / 不合格 : 設定したラベルによる2択の切り替え（defaultは「合格」と「不合格」）。
- カテゴリ : 固定されたオプションのセット（最大10個）。単一選択または複数選択として使用します。
- 数値 : 数値。最小値と最大値の境界をオプションで設定できます。
- テキスト ：自由形式のテキスト回答（オプションで最大長を設定可能）。
アイテムをレビュー対象としてフラグを立てる
フラグ付けは、アイテムがキューに入る方法です。フラグを立てることができるアイテムは、 トレース と データセットレコード の2種類です。開始点は異なりますが、その後のレビュー体験は同一です。
アイテムをレビュアーに提示するには、2つの方法があります。
- レビュアーにフラグを立てる ：選択したアイテムを1人以上の担当者に割り当てます。各担当者には個別のキューが自動的に作成され、別途設定する必要はありません。個人用キューは、エクスペリメント内のすべての質問を継承します。
- 共有キューに追加 ：アイテムを自身が作成したキューに送信します。このキューでは、選択された独自の質問が行われます。
トレースにフラグを立てる
[Traces] tabからレビュー対象のトレースを選択し、 [アクション] メニューから [レビュー用にフラグを立てる] を選択します。
トレースの送信先を選択します：既存のキュー、特定のレビュアー、またはその場で作成する新しいキューから選択できます。
データセットレコードにフラグを立てる
データセット tabからデータセットを開き、レビューするレコードを選択して、 レビュー用にフラグを立てる を選択します。
選択したレコードを1人以上のレビュアーに割り当てます。各レビュアーにはそれらのレコードを保持する個人用キューが割り当てられ、そこで期待値 (グラウンドトゥルースの回答) をキュレートできます。
質問を管理
Reviews tabで Manage questions を選択して、エクスペリメントの質問ライブラリを開きます。ここですべての質問の作成、編集、削除を行います。質問は単一のキュー内ではなくエクスペリメントレベルで管理されるため、ライブラリは共有されます。質問は複数のキューで再利用でき、編集するとその質問を使用しているすべてのキューが更新されます。質問を削除する前に、ライブラリで現在その質問を使用しているキューを確認できます。
レビュアーとしてアイテムをレビューする
レビュアーは、割り当てられたアイテムを1つずつ処理します。集中レビュービューでは、左側にアイテムのコンテンツ、右側にキューの質問が表示されます。進行状況バーと前へ/次へコントロールを使用して、バックログを順に確認できます。レビュアーは、より詳細なコンテキストが必要な場合にアイテム全体を開くことができます。同じサーフェスでトレースとデータセットレコードの両方を処理するため、左側のコンテンツのみが異なります。
レビュアーが各質問に回答すると、その回答はアイテムに保存され（トレースに対する評価、またはデータセットレコードに対するキュレーションされた期待値として）、結果は評価ワークフローに自動的に反映されます。
進行状況を監視する
各キューには、アイテムのコンテンツ、レビュー状況、追加日時が一覧表示されます。 要レビュー または 完了 でフィルターをかけて残りの項目を確認し、 レビューを開始 を選択して開始します。
レビュアーが回答を送信すると、アイテムは レビューが必要 から レビュー済み に切り替わり、キューのカウントがリアルタイムで更新されるため、レビュー作業の進捗状況を常に把握できます。
権限
レビューキューへのアクセスは、そのキューを所有する エクスペリメント に対するレビュアーの権限によって管理されます。キューごとの個別の権限付与はありません。
～するには… | レビュアーが必要とするもの… |
|---|---|
キューを開いて質問に回答する | エクスペリメントに対する 読み取り権限 （およびキューに割り当てられたレビュアーであること）。 |
アイテム（トレースまたはデータセットレコード）をキューにフラグ付けする | エクスペリメントに対する 編集可能 権限。 |
キューの作成、またはレビュアーの追加や削除 | エクスペリメントに対する CAN EDIT （所有するキューの場合）または CAN MANAGE 。 |
キューの削除またはアイテムの削除 | 所有するカスタムキューに対する 管理可能 または 編集可能 。 |
レビューを行う ことのみが必要なレビュアーは、キューに割り当てられるだけで十分です。キューのセットアップと管理には、エクスペリメントに対する CAN EDIT （または CAN MANAGE ）が必要です。これらはすべて、すべてのアクションに対してサーバー上で強制され、UI はレビュアーが使用できないアフォーダンスを非表示にするだけです。
その他のリソース
- MLflowにおける人間によるフィードバック - MLflowが人間によるフィードバックを評価としてどのように取得するかの概要。
- 既存のトレースでフィードバックと期待値をキャプチャする - 専門家によるラベリングに対するレビュー アプリのアプローチ。
- ラベリングスキーマの作成と管理 - レビューアプリのラベリングフローでレビュアーが回答する質問を定義します。
- ラベリングセッションの作成と管理 - レビューアプリを使用してトレースの専門家によるレビューを整理します。