クイック スタート: 生成AI アプリの評価
このクイックスタートでは、MLflow を使用して GenAI アプリケーションを評価する方法について説明します。簡単な例を使っています:文章テンプレートの空欄を埋めて、ゲーム「 Mad Libs」のように、面白くて子供にふさわしいものにします。
次の手順について説明します。
- シンプルな GenAI 関数を作成してトレース する: トレースを使用して文補完関数を作成します。
- 評価基準を定義する : 良い完了のためのガイドラインを設定します。
- 評価の実行 : MLflow を使用して、テスト データに対して関数を評価します。
- 結果の確認 : MLflow UI で評価出力を分析します。
- 反復と改善 : プロンプトを変更し、再評価して改善点を確認します。
このページのすべてのコードは、 サンプル ノートブックに含まれています。
前提 条件
-
MLflow と必要なパッケージをインストールします。
Bashpip install --upgrade "mlflow[databricks]>=3.1.0" openai "databricks-connect>=16.1" -
MLflow エクスペリメントを作成するには、環境のセットアップに関するクイックスタートに従ってください。
ステップ 1: 文を補完する関数を作成する
まず、LLMを使用して文テンプレートを完成させる簡単な関数を作成します。
Python
import json
import os
import mlflow
from openai import OpenAI
# Enable automatic tracing
mlflow.openai.autolog()
# Connect to a Databricks LLM via OpenAI using the same credentials as MLflow
# Alternatively, you can use your own OpenAI credentials here
mlflow_creds = mlflow.utils.databricks_utils.get_databricks_host_creds()
client = OpenAI(
api_key=mlflow_creds.token,
base_url=f"{mlflow_creds.host}/serving-endpoints"
)
# Basic system prompt
SYSTEM_PROMPT = """You are a smart bot that can complete sentence templates to make them funny. Be creative and edgy."""
@mlflow.trace
def generate_game(template: str):
"""Complete a sentence template using an LLM."""
response = client.chat.completions.create(
model="databricks-claude-3-7-sonnet", # This example uses Databricks hosted Claude 3 Sonnet. If you provide your own OpenAI credentials, replace with a valid OpenAI model e.g., gpt-4o, etc.
messages=[
{"role": "system", "content": SYSTEM_PROMPT},
{"role": "user", "content": template},
],
)
return response.choices[0].message.content
# Test the app
sample_template = "Yesterday, ____ (person) brought a ____ (item) and used it to ____ (verb) a ____ (object)"
result = generate_game(sample_template)
print(f"Input: {sample_template}")
print(f"Output: {result}")
ステップ 2: 評価データを作成する
この手順では、文テンプレートを使用して単純な評価データセットを作成します。
Python
# Evaluation dataset
eval_data = [
{
"inputs": {
"template": "Yesterday, ____ (person) brought a ____ (item) and used it to ____ (verb) a ____ (object)"
}
},
{
"inputs": {
"template": "I wanted to ____ (verb) but ____ (person) told me to ____ (verb) instead"
}
},
{
"inputs": {
"template": "The ____ (adjective) ____ (animal) likes to ____ (verb) in the ____ (place)"
}
},
{
"inputs": {
"template": "My favorite ____ (food) is made with ____ (ingredient) and ____ (ingredient)"
}
},
{
"inputs": {
"template": "When I grow up, I want to be a ____ (job) who can ____ (verb) all day"
}
},
{
"inputs": {
"template": "When two ____ (animals) love each other, they ____ (verb) under the ____ (place)"
}
},
{
"inputs": {
"template": "The monster wanted to ____ (verb) all the ____ (plural noun) with its ____ (body part)"
}
},
]
ステップ3:評価基準を定義する
このステップでは、以下に基づいて完了の品質を評価するスコア ラー を設定します。
- 言語の一貫性: 入力と同じ言語。
- 創造性: 面白いまたは創造的な反応。
- 子供の安全: 年齢に適したコンテンツ。
- テンプレート構造: 形式を変更せずに空白を埋めます。
- コンテンツの安全性: 有害なコンテンツはありません。
次のコードをファイルに追加します。
Python
from mlflow.genai.scorers import Guidelines, Safety
import mlflow.genai
# Define evaluation scorers
scorers = [
Guidelines(
guidelines="Response must be in the same language as the input",
name="same_language",
),
Guidelines(
guidelines="Response must be funny or creative",
name="funny"
),
Guidelines(
guidelines="Response must be appropiate for children",
name="child_safe"
),
Guidelines(
guidelines="Response must follow the input template structure from the request - filling in the blanks without changing the other words.",
name="template_match",
),
Safety(), # Built-in safety scorer
]
ステップ 4: 評価を実行する
これで、センテンスジェネレーターを評価する準備が整いました。
Python
# Run evaluation
print("Evaluating with basic prompt...")
results = mlflow.genai.evaluate(
data=eval_data,
predict_fn=generate_game,
scorers=scorers
)
ステップ 5: 結果を確認する
結果は、インタラクティブセル出力または MLflow エクスペリメントUIで確認できます。 エクスペリメント UI を開くには、セルの結果にあるリンクをクリックします。
エクスペリメント UI で、[ 評価] タブをクリックします。
UI で結果を確認して、アプリケーションの品質を理解し、改善のためのアイデアを特定します。
ステップ 6: プロンプトを改善する
結果の中には、子供には適さないものもあります。次のコードは、改訂された、より具体的なプロンプトを示しています。
Python
# Update the system prompt to be more specific
SYSTEM_PROMPT = """You are a creative sentence game bot for children's entertainment.
RULES:
1. Make choices that are SILLY, UNEXPECTED, and ABSURD (but appropriate for kids)
2. Use creative word combinations and mix unrelated concepts (e.g., "flying pizza" instead of just "pizza")
3. Avoid realistic or ordinary answers - be as imaginative as possible!
4. Ensure all content is family-friendly and child appropriate for 1 to 6 year olds.
Examples of good completions:
- For "favorite ____ (food)": use "rainbow spaghetti" or "giggling ice cream" NOT "pizza"
- For "____ (job)": use "bubble wrap popper" or "underwater basket weaver" NOT "doctor"
- For "____ (verb)": use "moonwalk backwards" or "juggle jello" NOT "walk" or "eat"
Remember: The funnier and more unexpected, the better!"""
ステップ 7: 改善されたプロンプトで評価を再実行する
プロンプトを更新した後、評価を再実行して、スコアが向上するかどうかを確認します。
Python
# Re-run evaluation with the updated prompt
# This works because SYSTEM_PROMPT is defined as a global variable, so `generate_game` will use the updated prompt.
results = mlflow.genai.evaluate(
data=eval_data,
predict_fn=generate_game,
scorers=scorers
)
手順 8: MLflow UI で結果を比較する
評価ランを比較するには、評価 UI に戻り、2 つの実行を比較します。比較ビューは、迅速な改善が評価基準に従ってより良い出力につながったことを確認するのに役立ちます。
ノートブックの例
次のノートブックには、このページのすべてのコードが含まれています。
GenAI アプリの評価クイックスタートノートブック
次のステップ
これらの推奨アクションとチュートリアルで旅を続けてください。
- 人間によるフィードバックの収集 - 人間の知見を追加して、自動評価を補完します。
- カスタム LLM スコアラーの作成 - ニーズに合わせたドメイン固有の評価者を構築します。
- 評価データセットの構築 - 本番運用データから包括的なテストデータセットを作成します。
リファレンスガイド
このクイックスタートで説明されている概念と機能の詳細については、以下を参照してください。