レビューアプリのチャットUIでアプリのバージョンをテストする

MLflow レビューアプリには組み込みのチャットインターフェイスが含まれており、ドメインエキスパートが GenAI アプリケーションを対話的にテストし、即座にフィードバックを提供できます。チャット UI を使用して、アプリの雰囲気をチェックします。

重要

Review App Chat UI には、モデルサービングエンドポイントに展開されたエージェントが必要です。現在、 Databricks Appsにデプロイされたエージェントはサポートされていません。エージェントをDatabricks Appsにデプロイする場合でも、評価のために既存のトレースにラベルを付けることができます。 Databricks は、チャットボットテンプレートにレビューとフィードバックのサポートを直接組み込んでいます。

アプリチャットUIを確認する

チャットUIテストを使用する場合

チャット UI テストは、次のような場合に最適です。

ドメインエキスパートとの会話フローとマルチターンインタラクションをテストする
アプリケーションの応答と動作に関する専門家のフィードバックを収集する
本番運用の展開前に安全な環境で更新を検証する

前提条件

MLflow と必要なパッケージをインストールする必要があります。このガイドで説明されている機能には、MLflow バージョン 3.1.0 が必要です。またはそれ以上。Databricks 統合に必要な追加機能を含む MLflow SDK をインストールまたはアップグレードするには、次のコマンドを実行します。
Bash
```
pip install --upgrade "mlflow[databricks]>=3.1.0" openai "databricks-connect>=16.1"
```
開発環境は、GenAI アプリケーショントレースが記録されるMLflowエクスペリメントに接続する必要があります。
- 開発環境を接続するには、「チュートリアル: 開発環境を MLflow に接続する」に従ってください。
ドメインエキスパートがレビューアプリのチャット UI を使用するには、次の権限が必要です。
- アカウントアクセス : Databricksアカウントでプロビジョニングを行う必要がありますが、ワークスペースにアクセスする必要はありません。
  
  ワークスペースへのアクセス権を持たないユーザーの場合、アカウント管理者は次のことができます。
  - アカウントレベルの SCIM プロビジョニングを使用して、ID プロバイダからユーザーを同期します。
  - Databricksにユーザーとグループを手動で登録する
  詳細については、ユーザーとグループの管理を参照してください。
- エンドポイントアクセス : モデルサービングエンドポイントへの CAN_QUERY 権限。

チャットUIでフィードバックを設定して収集する

MLflow レビューアプリのチャット UI は、デプロイされた GenAI アプリケーションのバージョンに接続し、ドメインエキスパートがアプリとチャットして即座にフィードバックを提供できるようになります。次のステップに従ってチャット UI を設定し、フィードバックを収集します。

Agent Framework を使用してアプリをパッケージ化し、モデルサービングエンドポイントとしてDeploy on Apps を使用してアプリをデプロイします。
エクスペリメントのレビューアプリにエンドポイントを追加します。

注記

以下の例では、Databricks がホストする LLM をレビューアプリに追加します。エンドポイントをステップ 1 のアプリのエンドポイントに置き換えます。

Python
from mlflow.genai.labeling import get_review_app

# Get review app for current MLflow experiment
review_app = get_review_app()

# Connect your deployed agent endpoint
review_app.add_agent(
    agent_name="claude-sonnet",
    model_serving_endpoint="databricks-claude-sonnet-4-5",
)

print(f"Share this URL: {review_app.url}/chat")

設定が完了したら、レビューアプリの URL をドメインエキスパートと共有します。以下のことが可能になります:

ウェブブラウザからチャットインターフェースにアクセスする
質問を入力してアプリケーションを操作します
組み込まれたフィードバックコントロールを使用して、各応答後にフィードバックを提供します
会話を続け、複数のやり取りをテストする

アプリコンテンツのレンダリングを確認する

Chat UI は、ドメインエキスパートのクエリを入力として使用し、ライブエージェントのエンドポイント応答を出力として使用し、結果を MLflow トレースに保存します。このアプローチでは固定のフィードバック質問が使用されるため、カスタムラベル付けスキーマを提供する必要はありません。

レビューアプリは、MLflow トレースからさまざまなコンテンツタイプを自動的にレンダリングします。

取得されたドキュメント : RETRIEVERの範囲内のドキュメントが表示用にレンダリングされます
OpenAI 形式のメッセージ : OpenAI チャット会話に続く MLflow トレースの入力と出力がレンダリングされます。
- outputs OpenAI形式のChatCompletionsオブジェクトを含む
- inputs または、 OpenAI 形式のチャットメッセージの配列を含むmessagesキーを含むoutputsの辞書
  - messages配列にOpenAI形式のツール呼び出しが含まれている場合、それらもレンダリングされます
辞書 : 辞書であるMLflowトレースの入力と出力は、きれいに印刷されたJSONとしてレンダリングされます。

それ以外の場合は、各トレースのルートスパンのinputとoutputコンテンツがレビューの主なコンテンツとして使用されます。

チャットのフィードバックを表示

Chat UI を通じて収集されたすべてのやり取りとフィードバックは、MLflow でトレースとして自動的にキャプチャされます。

チャットのやり取りのトレースを表示するには:

MLflow UIに移動する
Review App セッションに関連するエクスペリメントを見つける
会話履歴全体を表示するには、トレースを参照してください
各回答に添付されたフィードバックを確認する

次のステップ

より体系的なフィードバック収集のために既存のトレースをラベル付けする方法を学びます
本番運用アプリケーションに対するエンドユーザーのフィードバック収集を探索する

チャットUIテストを使用する場合​

前提条件​

チャットUIでフィードバックを設定して収集する​

アプリコンテンツのレンダリングを確認する​

チャットのフィードバックを表示​

次のステップ​