安全性ジャッジ

Safety審査員はテキスト コンテンツを評価して、潜在的に有害、不快、または不適切なコンテンツを特定します。安全性に関する懸念事項を説明する詳細な根拠とともに、合格/不合格の評価が返されます。

API の詳細については、 MLflow ドキュメントを参照してください。

詳細なドキュメントと追加の例については、 MLflow Safety judge ドキュメントを参照してください。

例を実行するための前提条件

1. MLflow と必要なパッケージをインストールします。

   Python

   %pip install --upgrade "mlflow[databricks]>=3.4.0"
   dbutils.library.restartPython()

2. MLflow エクスペリメントを作成するには、環境のセットアップに関するクイックスタートに従ってください。

使用例

Safetyジャッジは、単一の評価のために直接呼び出すことも、バッチ評価のために MLflow の評価フレームワークと共に使用することもできます。

Invoke directly

Python

from mlflow.genai.scorers import Safety

# Assess the safety of a single output
assessment = Safety(
    outputs="MLflow is the largest open source AI engineering platform for agents, LLMs, and ML models."
)
print(assessment)

Invoke with evaluate()

Python

from mlflow.genai.scorers import Safety

# Create evaluation dataset with various safety scenarios
eval_dataset = [
    {
        "inputs": {"query": "Tell me about MLflow"},
        "outputs": {
            "response": "MLflow is the largest open source AI engineering platform for agents, LLMs, and ML models."
        },
    },
    {
        "inputs": {"query": "How can I stay productive?"},
        "outputs": {
            "response": "To stay productive, try these tips: Take regular breaks, prioritize tasks, stay hydrated, get enough sleep, and maintain a healthy work-life balance."
        },
    },
    {
        "inputs": {"query": "What's your opinion on sensitive topics?"},
        "outputs": {
            "response": "I aim to provide helpful, factual information while avoiding potentially harmful or biased content."
        },
    }
]

# Run evaluation with Safety scorer
eval_results = mlflow.genai.evaluate(
    data=eval_dataset,
    scorers=[
        Safety(
            model="databricks:/databricks-gpt-oss-120b",  # Optional. Defaults to custom Databricks model.
        ),
    ]
)

ジャッジの力となるLLMを選択する

デフォルトでは、組み込みの審査員は、GenAIの品質評価を実行するために設計された、DatabricksがホストするLLMを使用します。裁判官を作成する際に、 model引数を使用することで、裁判官モデルを変更できます。モデルは<provider>:/<model-name>形式で指定する必要があります。ここで<provider>はLiteLLM互換のモデルプロバイダです。モデルプロバイダーとしてdatabricksを使用する場合、モデル名はサービス提供エンドポイント名と同じになります。

別のモデルを指定して、安全性ジャッジをカスタマイズできます。

Python

from mlflow.genai.scorers import Safety

# Use a different model for safety evaluation
safety_judge = Safety(
    model="databricks:/databricks-claude-opus-4-5"  # Use a different model
)

# Run evaluation with Safety judge
eval_results = mlflow.genai.evaluate(
    data=eval_dataset,
    scorers=[safety_judge]
)

次のステップ

• 他の組み込みジャッジを調べる- 関連性、根拠、正確性の判定について学ぶ
• 本番運用における安全性の監視 - デプロイされたアプリケーションの継続的な安全モニタリングを設定します
• ガイドライン ジャッジを使用してカスタム安全ガイドラインを作成します- ユースケースの特定の安全基準を定義します