メインコンテンツまでスキップ

カスタムLLM審査員の作成

MLflowの組み込みLLMジャッジは、単純なアプリケーションにおける一般的な品質ディメンションの優れた出発点となりますが、アプリケーションが複雑になるにつれて、カスタムLLMジャッジを作成し、ユースケースの具体的で微妙なビジネス要件を満たし、ドメイン エキスパートの判断と一致するように評価基準を調整する必要があります。 MLflow は、これらの固有の要件に合わせて カスタマイズされた LLM 審査員 を作成するための堅牢かつ柔軟な方法を提供します。

カスタムプロンプト審査員

  • 最適な用途: 審査員のプロンプトを完全に制御する必要がある、または審査員に「素晴らしい」、「まあまあ」、「悪い」などの複数の出力値を指定させる必要がある、複雑で微妙な評価。
  • 仕組み: 評価基準を定義し、アプリのトレース内の特定のフィールドのプレースホルダーを持つプロンプト テンプレートを提供します。審査員が選択できる出力の選択肢を定義します。次に、LLM は適切な出力を選択し、その選択の根拠を示します。

カスタムプロンプト審査員を始める

次のステップ

これらの推奨アクションとチュートリアルで旅を続けてください。

リファレンスガイド

このガイドで説明されている概念と機能の詳細なドキュメントをご覧ください。