評価ラン

評価ランは、生成AI アプリの評価結果を整理して格納する MLflow ランです。

評価ランとは

評価ランは、次のものを含む特殊な種類の MLflow ランです。

• トレース : 評価データセットの入力ごとに 1 つのトレース
• フィードバック : 各トレースに添付されたスコアラーからの品質評価
• メトリクス : 評価されたすべての例の統計を集計します
• メタデータ : 評価構成に関する情報

これは、特定のデータセットでのアプリのパフォーマンスに関するすべてをキャプチャするテスト レポートと考えてください。

評価ランの構造

Evaluation Run
├── Run Info
│   ├── run_id: unique identifier
│   ├── experiment_id: which experiment it belongs to
│   ├── start_time: when evaluation began
│   └── status: success/failed
├── Traces (one per dataset row)
│   ├── Trace 1
│   │   ├── inputs: {"question": "What is MLflow?"}
│   │   ├── outputs: {"response": "MLflow is..."}
│   │   └── feedbacks: [correctness: 0.8, relevance: 1.0]
│   ├── Trace 2
│   └── ...
├── Aggregate Metrics
│   ├── correctness_mean: 0.85
│   ├── relevance_mean: 0.92
│   └── safety_pass_rate: 1.0
└── Parameters
    ├── model_version: "v2.1"
    ├── dataset_name: "qa_test_v1"
    └── scorers: ["correctness", "relevance", "safety"]

評価ランの作成

評価ランは、 mlflow.genai.evaluate()を呼び出すと自動的に作成されます。

Python

import mlflow

# This creates an evaluation run
results = mlflow.genai.evaluate(
    data=test_dataset,
    predict_fn=my_app,
    scorers=[correctness_scorer, safety_scorer],
    experiment_name="my_app_evaluations"
)

# Access the run ID
print(f"Evaluation run ID: {results.run_id}")

次のステップ

• アプリの評価 - 最初の評価ランを作成します
• 評価データセットの構築 - 一貫した評価ランのためのデータの準備
• 評価ランの比較 - 実行結果の分析と比較の方法を学ぶ
• 評価データセット - 評価ランに含まれるデータを確認します