カスタムLLM審査員の作成

最適な用途: 審査員のプロンプトを完全に制御する必要がある、または審査員に「素晴らしい」、「まあまあ」、「悪い」などの複数の出力値を指定させる必要がある、複雑で微妙な評価。
仕組み: 評価基準を定義し、アプリのトレース内の特定のフィールドのプレースホルダーを持つプロンプト テンプレートを提供します。審査員が選択できる出力の選択肢を定義します。次に、LLM は適切な出力を選択し、その選択の根拠を示します。

MLflowの組み込みLLMジャッジは、単純なアプリケーションにおける一般的な品質ディメンションの優れた出発点となりますが、アプリケーションが複雑になるにつれて、カスタムLLMジャッジを作成し、ユースケースの具体的で微妙なビジネス要件を満たし、ドメインエキスパートの判断と一致するように評価基準を調整する必要があります。 MLflow は、これらの固有の要件に合わせて カスタマイズされた LLM 審査員 を作成するための堅牢かつ柔軟な方法を提供します。