Mosaic AIエージェント評価入門

プレビュー

この記事では、Mosaic AI エージェントの評価について説明します。エージェント評価を使用すると、開発者は、より単純な形式の RAG アプリケーションやチェーンを含む、エージェント生成AIアプリケーションの品質、レイテンシ、コストを迅速かつ確実に評価できます。エージェント評価の機能は、 MLOpsライフサイクルの開発、ステージング、および本番運用の各フェーズにわたって統合されており、すべての評価メトリックとデータはMLflow実行に記録されます。

エージェント・アプリケーションは複雑で、多くの異なるコンポーネントが関係しています。これらのアプリケーションのパフォーマンスを評価することは、従来の ML モデルのパフォーマンスを評価するほど簡単ではありません。品質を評価するために使用される定性的および定量的メトリックは、本質的により複雑です。この記事では、エージェント評価の使用方法の概要と、より詳細な記事へのリンクを示します。

評価セットでグラウンドトゥルースを確立する

エージェントアプリケーションの品質を測定するには、高品質で正確な応答がどのようなものかを定義する必要があります。そのためには、代表的な質問とグラウンドトゥルースの回答のセットである評価セットを作成します。アプリケーションに RAG ワークフローのような取得ステップが含まれる場合は、応答の根拠となるサポートドキュメントをオプションで提供できます。

スキーマ、メトリクスの依存関係、ベストプラクティスなど、評価セットの詳細については、「評価セット」を参照してください。

適切なメトリクスでパフォーマンスを評価する

AIアプリケーションを評価するには、次のようないくつかのメトリクスが必要です。

応答メトリック。応答が正確であるか、取得されたコンテキスト（存在する場合）と一致しているか、入力要求に関連しているかどうかを測定します。
検索メトリック。検索ステップ (ある場合) が入力要求に関連するチャンクを返したかどうかを測定します。
パフォーマンスメトリクス。すべてのLLM生成呼び出しにわたるトークンの数とトレースの遅延（秒単位）を測定します。

メトリクスと LLM 審査員の詳細については、「エージェントメトリクスと LLM 審査員を使用してアプリのパフォーマンスを評価する」を参照してください。

評価実行

評価の実行方法の詳細については、「評価を実行して結果を表示する方法」を参照してください。エージェント評価では、チェーンからの出力を提供するための 2つのオプションがサポートされています。

評価実行の一部としてアプリケーションを実行できます。アプリケーションは、評価セット内の入力ごとに結果を生成します。
アプリケーションの以前の実行からの出力を提供できます。

各オプションをいつ使用するかの詳細と説明については、「評価の実行に入力を提供する方法」を参照してください。

生成AIアプリケーションの品質に関する人間からのフィードバックを取得する

Databricks レビューアプリを使用すると、エージェントアプリケーションの品質に関するフィードバックを人間のレビュー担当者から簡単に収集できます。詳細については、「エージェントアプリケーションの品質に関するフィードバックを取得する」を参照してください。

LLMジャッジを支援するモデルに関する情報

LLMジャッジは、Microsoftが運営するAzure OpenAIなどのサードパーティサービスを使用して生成AIアプリケーションを評価する場合があります。
Azure OpenAIの場合、Databricksは不正行為モニタリングをオプトアウトしているため、プロンプトや応答はAzure OpenAIに保存されません。
欧州連合（EU）のワークスペースの場合、LLMジャッジはEUでホストされているモデルを使用します。他のすべてのリージョンでは、米国でホストされているモデルを使用します。
パートナー駆動のAI 補助機能を無効にすると、LLM 審査員がパートナー駆動のモデルを呼び出せなくなります。
LLM ジャッジに送信されたデータは、モデルのトレーニングには使用されません。
LLMジャッジは、顧客のRAGアプリケーションの評価を支援することを目的としており、LLMジャッジの出力は、LLMのトレーニング、改善、微調整のために使用されるべきではありません。