カスタムLLM審査員の作成
MLflowの組み込みLLMジャッジは、単純なアプリケーションにおける一般的な品質ディメンションの優れた出発点となりますが、アプリケーションが複雑になるにつれて、カスタムLLMジャッジを作成し、ユースケースの具体的で微妙なビジネス要件を満たし、ドメイン エキスパートの判断と一致するように評価基準を調整する必要があります。 MLflow は、これらの固有の要件に合わせて カスタマイズされた LLM 審査員 を作成するための堅牢かつ柔軟な方法を提供します。
カスタムプロンプト審査員
- 最適な用途: 審査員のプロンプトを完全に制御する必要がある、または審査員に「素晴らしい」、「まあまあ」、「悪い」などの複数の出力値を指定させる必要がある、複雑で微妙な評価。
- 仕組み: 評価基準を定義し、アプリのトレース内の特定のフィールドのプレースホルダーを持つプロンプト テンプレートを提供します。審査員が選択できる出力の選択肢を定義します。次に、LLM は適切な出力を選択し、その選択の根拠を示します。
次のステップ
これらの推奨アクションとチュートリアルで旅を続けてください。
- ガイドライン審査員を作成する- 自然言語ルールを使用して評価基準を定義する(推奨)
- カスタムプロンプト審査員の作成- カスタムプロンプトと出力の選択肢を使用して複雑な審査員を構築します
- 本番運用での実行ジャッジ- 継続的なモニタリングのためにカスタム ジャッジをデプロイします
リファレンスガイド
このガイドで説明されている概念と機能の詳細なドキュメントをご覧ください。
- LLMジャッジ - LLMジャッジの仕組みとそのアーキテクチャを理解する
- ガイドライン審査員- ガイドラインに基づく評価の詳細
- カスタムプロンプト審査員- カスタムプロンプトの審査員に関する技術的な詳細