メインコンテンツまでスキップ
に最終更新

チャット UI を使用してエージェントをテストする

MLflow Review Appには、ドメインエキスパートがエージェントをインタラクティブにテストし、すぐにフィードバックを提供できるようにするための組み込みチャットインターフェースが含まれています。チャット UI を、アプリのバイブチェックを行う手段として使用します。

重要

Review App Chat UI には、モデルサービング エンドポイントに展開されたエージェントが必要です。 現在、 Databricks Appsにデプロイされたエージェントはサポートされていません。 エージェントをDatabricks Appsにデプロイする場合でも、評価のために既存のトレースにラベルを付けることができます。 Databricks は、チャットボット テンプレートにレビューとフィードバックのサポートを直接組み込んでいます。

アプリチャットUIを確認する

チャットUIテストを使用する場合​

チャット UI テストは、次のような場合に最適です。

  • ドメインエキスパートとの会話フローとマルチターンインタラクションをテストする
  • アプリケーションの応答と動作に関する専門家のフィードバックを収集する
  • 本番運用の展開前に安全な環境で更新を検証する

前提条件​

  • MLflowおよび必要なパッケージがインストールされている必要があります。このガイドで説明する機能を使用するには、MLflow バージョン 3.1.0 が必要です。またはそれ以上。MLflow SDK（Databricksとの統合に必要な追加機能を含む）をインストールまたはアップグレードするには、次のコマンドを実行してください。

    Bash
    pip install --upgrade "mlflow[databricks]>=3.1.0" openai "databricks-connect>=16.1"

  • 開発環境は、エージェントのトレースがログに記録される MLflow エクスペリメントに接続されている必要があります。

  • レビューアプリのチャットUIを使用するには、ドメイン専門家が以下のすべてを備えている必要があります：

    • アカウントのプロビジョニング ：レビュー担当者は Databricks アカウントでプロビジョニングされている必要があります。アカウント管理者は、アカウントレベルの SCIM プロビジョニングを使用して ID プロバイダーからユーザーを同期するか、ユーザーとグループを手動で登録できます。詳細については、ユーザーとグループの管理を参照してください。
    • ワークスペースアクセス権限 : レビュアーは、エクスペリメントをホストするワークスペースに対する ワークスペースアクセス 権限を持っている必要があります。Review App はこの権限を必要とするワークスペース UI ルートを通じてロードされるため、アカウントのプロビジョニングだけでは十分ではありません。権限を割り当てるには、ワークスペースへのユーザーの割り当てを参照してください。
    • Endpoint アクセス ：モデルサービングエンドポイントに対する CAN_QUERY 権限。

チャットUIでフィードバックを設定して収集する​

MLflow Review AppのチャットUIは、デプロイされたエージェントのバージョンに接続し、ドメインエキスパートがアプリとチャットしてすぐにフィードバックを提供できるようにします。チャットUIを設定してフィードバックを収集するには、次のステップに従います。

  1. Custom Agents を使用してアプリをパッケージ化し、Deploy on Apps を用いて Model Serving エンドポイントとしてデプロイします。

  2. エクスペリメントのレビュー アプリにエンドポイントを追加します。

注記

以下の例では、Databricks がホストする LLM をレビュー アプリに追加します。エンドポイントをステップ 1 のアプリのエンドポイントに置き換えます。

Python
from mlflow.genai.labeling import get_review_app

# Get review app for current MLflow experiment
review_app = get_review_app()

# Connect your deployed agent endpoint
review_app.add_agent(
    agent_name="claude-sonnet",
    model_serving_endpoint="databricks-claude-sonnet-4-5",
)

print(f"Share this URL: {review_app.url}/chat")
  1. 設定が完了したら、レビュー アプリの URL をドメイン エキスパートと共有します。以下のことが可能になります:
  • ウェブブラウザからチャットインターフェースにアクセスする
  • 質問を入力してアプリケーションを操作します
  • 組み込まれたフィードバック コントロールを使用して、各応答後にフィードバックを提供します
  • 会話を続け、複数のやり取りをテストする

アプリコンテンツのレンダリングを確認する​

Chat UI は、ドメイン エキスパートのクエリを入力として使用し、ライブ エージェントのエンドポイント応答を出力として使用し、結果を MLflow トレースに保存します。このアプローチでは固定のフィードバック質問が使用されるため、カスタム ラベル付けスキーマを提供する必要はありません。

レビュー アプリは、MLflow トレースからさまざまなコンテンツ タイプを自動的にレンダリングします。

  • 取得されたドキュメント : RETRIEVERの範囲内のドキュメントが表示用にレンダリングされます

  • OpenAI 形式のメッセージ : OpenAI チャット会話に続く MLflow トレースの入力と出力がレンダリングされます。

  • 辞書 : 辞書であるMLflowトレースの入力と出力は、きれいに印刷されたJSONとしてレンダリングされます。

それ以外の場合は、各トレースのルートスパンのinputとoutputコンテンツがレビューの主なコンテンツとして使用されます。

チャットのフィードバックを表示​

Chat UI を通じて収集されたすべてのやり取りとフィードバックは、MLflow でトレースとして自動的にキャプチャされます。

チャットのやり取りのトレースを表示するには:

  1. MLflow UIに移動する
  2. Review App セッションに関連するエクスペリメントを見つける
  3. 会話履歴全体を表示するには、トレースを参照してください
  4. 各回答に添付されたフィードバックを確認する

次のステップ​

次のステップ: 評価データセット リファレンス

このページの見出し