Mosaic AI エージェント評価クイックスタート ノートブック
次のノートブックは、Agent Evaluation 独自の LLM ジャッジ、カスタムメトリクス、およびドメインエキスパートからのラベルを使用して、生成 AI アプリを評価する方法を示しています。これは、次のことを示しています。
- 本番運用のログ(トレース)を評価データセットにロードする方法
- 評価を実行し、根本原因分析を行う方法。
- 品質の問題を自動的に検出するカスタムメトリクスを作成する方法。
- 専門家向けの本番運用ログを送信して、評価データセットにラベルを付けて進化させる方法。
エージェントが本番運用前に準備するには、 Mosaic AI エージェントデモノートブックを参照してください。 一般的な情報については、 Mosaic AI エージェント評価とはを参照してください。