スコアラー

スコアラーは、出力を分析し、構造化されたフィードバックを生成することで、GenAI アプリの品質を評価します。同じスコアラーを開発時の評価に使用したり、本番運用時のモニタリングに再利用したりできます。得点者は次のとおりです:

以下の MLflow UI スクリーンショットは、組み込みスコアラーSafetyとカスタムスコアラーexact_matchからの出力を示しています。

スコアラーからのメトリクスの例

以下のコードスニペットは、 mlflow.genai.evaluate()を使用してこれらのメトリクスをコンピュートし、本番運用モニタリング用に同じスコアラーを登録します。

Python
import mlflow
from mlflow.genai.scorers import Safety, ScorerSamplingConfig, scorer
from typing import Any

@scorer
def exact_match(outputs: str, expectations: dict[str, Any]) -> bool:
    # Example of a custom code-based scorer
    return outputs == expectations["expected_response"]

# Evaluation during development
eval_results = mlflow.genai.evaluate(
    data=eval_dataset,
    predict_fn=my_app,
    scorers=[Safety(), exact_match]
)

# Production monitoring - same scorers!
registered_scorers = [
  Safety().register(),
  exact_match.register(),
]
registered_scorers = [
    reg_scorer.start(
        sampling_config=ScorerSamplingConfig(sample_rate=0.1)
    )
    for reg_scorer in registered_scorers
]

次のステップ

組み込みの LLM スコアラーを使用- 組み込みの LLM 審査員スコアラーを使用して、アプリの評価をすぐに開始できます。
カスタム LLM スコアラーの作成- 特定のアプリケーションに合わせて LLM 審査員スコアラーをカスタマイズします
カスタムコードベースのスコアラーを作成する- 可能な入力、出力、エラー処理を含むコードベースのスコアラーを構築します。
評価ハーネス- mlflow.genai.evaluate()がスコアラーをどのように使用しているかを理解する
GenAI の本番運用モニタリング- 継続的なモニタリングのためにスコアラーを展開します

次のステップ​

次のステップ