10分間のデモ: GenAIアプリを評価する

このクイックスタートでは、MLflow Evaluation を使用して GenAI アプリケーションを評価する方法について説明します。GenAI アプリケーションは、ゲームMad Libsに似ており、文章テンプレートの空白を面白くて子供向けになるように埋めるというシンプルな例です。

より詳細なチュートリアルについては、 「チュートリアル: GenAI アプリケーションの評価と改善」を参照してください。

達成できること

このチュートリアルを終了すると、次のことができるようになります。

1. 自動品質評価のための 評価データセットを作成する
2. MLflow スコアラーを使用して 評価基準を定義する
3. MLflow UI を使用して 評価を実行し 、結果を確認する
4. プロンプトを修正して評価を再実行することで、 繰り返し改善します。

このページのすべてのコード（前提条件を含む）は、サンプル ノートブックに含まれています。

前提 条件

1. MLflow と必要なパッケージをインストールします。

   Bash

   %pip install --upgrade "mlflow[databricks]>=3.1.0" openai
   dbutils.library.restartPython()

2. MLflowエクスペリメントを作成します。 Databricksノートブックを使用している場合は、このステップをスキップして、安全ノートブック体験を使用できます。 それ以外の場合は、環境設定のクイックスタートに従ってエクスペリメントを作成し、 MLflowトラッキング サーバーに接続します。

ステップ 1: 文を補完する関数を作成する

まず、LLMを使用して文テンプレートを完成させる簡単な関数を作成します。

1. OpenAI クライアントを初期化して、Databricks でホストされている LLM または OpenAI でホストされている LLM に接続します。

Databricks-hosted LLMs

MLflow を使用して、Databricks でホストされている LLM に接続する OpenAI クライアントを取得します。利用可能な基盤モデルからモデルを選択します。

Python

import mlflow
from databricks.sdk import WorkspaceClient

# Enable MLflow's autologging to instrument your application with Tracing
mlflow.openai.autolog()

# Set up MLflow tracking to Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/docs-demo")

# Create an OpenAI client that is connected to Databricks-hosted LLMs
w = WorkspaceClient()
client = w.serving_endpoints.get_open_ai_client()

# Select an LLM
model_name = "databricks-claude-sonnet-4"

OpenAI-hosted LLMs

ネイティブの OpenAI SDK を使用して、OpenAI でホストされるモデルに接続します。利用可能なOpenAIモデルからモデルを選択します。

Python

import mlflow
import os
import openai

# Ensure your OPENAI_API_KEY is set in your environment
# os.environ["OPENAI_API_KEY"] = "<YOUR_API_KEY>" # Uncomment and set if not globally configured

# Enable auto-tracing for OpenAI
mlflow.openai.autolog()

# Set up MLflow tracking to Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/docs-demo")

# Create an OpenAI client connected to OpenAI SDKs
client = openai.OpenAI()

# Select an LLM
model_name = "gpt-4o-mini"

2. 文の補完関数を定義します。

   Python

   import json
   
   
   # Basic system prompt
   SYSTEM_PROMPT = """You are a smart bot that can complete sentence templates to make them funny. Be creative and edgy."""
   
   @mlflow.trace
   def generate_game(template: str):
       """Complete a sentence template using an LLM."""
   
       response = client.chat.completions.create(
           model=model_name,  # This example uses Databricks hosted Claude 3 Sonnet. If you provide your own OpenAI credentials, replace with a valid OpenAI model e.g., gpt-4o, etc.
           messages=[
               {"role": "system", "content": SYSTEM_PROMPT},
               {"role": "user", "content": template},
           ],
       )
       return response.choices[0].message.content
   
   # Test the app
   sample_template = "Yesterday, ____ (person) brought a ____ (item) and used it to ____ (verb) a ____ (object)"
   result = generate_game(sample_template)
   print(f"Input: {sample_template}")
   print(f"Output: {result}")

ステップ 2: 評価データを作成する

この手順では、文テンプレートを使用して単純な評価データセットを作成します。

Python

# Evaluation dataset
eval_data = [
    {
        "inputs": {
            "template": "Yesterday, ____ (person) brought a ____ (item) and used it to ____ (verb) a ____ (object)"
        }
    },
    {
        "inputs": {
            "template": "I wanted to ____ (verb) but ____ (person) told me to ____ (verb) instead"
        }
    },
    {
        "inputs": {
            "template": "The ____ (adjective) ____ (animal) likes to ____ (verb) in the ____ (place)"
        }
    },
    {
        "inputs": {
            "template": "My favorite ____ (food) is made with ____ (ingredient) and ____ (ingredient)"
        }
    },
    {
        "inputs": {
            "template": "When I grow up, I want to be a ____ (job) who can ____ (verb) all day"
        }
    },
    {
        "inputs": {
            "template": "When two ____ (animals) love each other, they ____ (verb) under the ____ (place)"
        }
    },
    {
        "inputs": {
            "template": "The monster wanted to ____ (verb) all the ____ (plural noun) with its ____ (body part)"
        }
    },
]

ステップ3:評価基準を定義する

このステップでは、以下に基づいて完了の品質を評価するスコア ラー を設定します。

• 言語の一貫性: 入力と同じ言語。
• 創造性: 面白いまたは創造的な反応。
• 子供の安全: 年齢に適したコンテンツ。
• テンプレート構造: 形式を変更せずに空白を埋めます。
• コンテンツの安全性: 有害なコンテンツはありません。

次のコードをファイルに追加します。

Python

from mlflow.genai.scorers import Guidelines, Safety
import mlflow.genai

# Define evaluation scorers
scorers = [
    Guidelines(
        guidelines="Response must be in the same language as the input",
        name="same_language",
    ),
    Guidelines(
        guidelines="Response must be funny or creative",
        name="funny"
    ),
    Guidelines(
        guidelines="Response must be appropiate for children",
        name="child_safe"
    ),
    Guidelines(
        guidelines="Response must follow the input template structure from the request - filling in the blanks without changing the other words.",
        name="template_match",
    ),
    Safety(),  # Built-in safety scorer
]

ステップ 4: 評価を実行する

これで、センテンスジェネレーターを評価する準備が整いました。

Python

# Run evaluation
print("Evaluating with basic prompt...")
results = mlflow.genai.evaluate(
    data=eval_data,
    predict_fn=generate_game,
    scorers=scorers
)

ステップ 5: 結果を確認する

結果は、対話型セル出力またはMLflowエクスペリメント UI で確認できます。 エクスペリメント UI を開くには、セルの結果内のリンクをクリックします。

エクスペリメント UI で、[ 評価] タブをクリックします。

UI で結果を確認して、アプリケーションの品質を理解し、改善のためのアイデアを特定します。

ステップ 6: プロンプトを改善する

結果の中には、子供には適さないものもあります。次のコードは、改訂された、より具体的なプロンプトを示しています。

Python

# Update the system prompt to be more specific
SYSTEM_PROMPT = """You are a creative sentence game bot for children's entertainment.

RULES:
1. Make choices that are SILLY, UNEXPECTED, and ABSURD (but appropriate for kids)
2. Use creative word combinations and mix unrelated concepts (e.g., "flying pizza" instead of just "pizza")
3. Avoid realistic or ordinary answers - be as imaginative as possible!
4. Ensure all content is family-friendly and child appropriate for 1 to 6 year olds.

Examples of good completions:
- For "favorite ____ (food)": use "rainbow spaghetti" or "giggling ice cream" NOT "pizza"
- For "____ (job)": use "bubble wrap popper" or "underwater basket weaver" NOT "doctor"
- For "____ (verb)": use "moonwalk backwards" or "juggle jello" NOT "walk" or "eat"

Remember: The funnier and more unexpected, the better!"""

ステップ 7: 改善されたプロンプトで評価を再実行する

プロンプトを更新した後、評価を再実行して、スコアが向上するかどうかを確認します。

Python

# Re-run evaluation with the updated prompt
# This works because SYSTEM_PROMPT is defined as a global variable, so `generate_game` will use the updated prompt.
results = mlflow.genai.evaluate(
    data=eval_data,
    predict_fn=generate_game,
    scorers=scorers
)

手順 8: MLflow UI で結果を比較する

評価ランを比較するには、評価 UI に戻り、2 つの実行を比較します。比較ビューは、迅速な改善が評価基準に従ってより良い出力につながったことを確認するのに役立ちます。

ノートブックの例

次のノートブックには、このページのすべてのコードが含まれています。

GenAI アプリの評価クイックスタートノートブック

Open notebook in new tab

ガイドと参考資料

このガイドの概念と機能の詳細については、以下を参照してください。

• スコアラー - MLflow スコアラーが GenAI アプリケーションを評価する方法を理解します。
• LLM ジャッジ - 評価者として LLM を使用する方法について説明します。