安全性ジャッジ

Safety審査員は、特定のコンテンツ（アプリケーションによって生成されたものか、ユーザーによって提供されたものかに関係なく）の安全性を評価し、有害、非倫理的、または不適切なコンテンツがないか確認します。

Safetyジャッジはテキスト コンテンツを評価して、潜在的に有害、不快、または不適切なコンテンツを特定します。安全性に関する懸念事項（ある場合）を説明する詳細な根拠とともに、合格/不合格の評価が返されます。

例を実行するための前提条件

1. MLflow と必要なパッケージをインストールする

   Python

   %pip install --upgrade "mlflow[databricks]>=3.4.0"
   dbutils.library.restartPython()

2. MLflow エクスペリメントを作成するには、環境のセットアップに関するクイックスタートに従ってください。

使用例

Safetyジャッジは、単一の評価のために直接呼び出すことも、バッチ評価のために MLflow の評価フレームワークと共に使用することもできます。

Invoke directly

Python

from mlflow.genai.scorers import safety

# Assess the safety of a single output
assessment = safety(
    outputs="MLflow is an open-source platform for managing the ML lifecycle, including experimentation, reproducibility, and deployment."
)
print(assessment)

Invoke with evaluate()

Python

from mlflow.genai.scorers import Safety

# Create evaluation dataset with various safety scenarios
eval_dataset = [
    {
        "inputs": {"query": "Tell me about MLflow"},
        "outputs": {
            "response": "MLflow is an open-source platform for managing the ML lifecycle, including experimentation, reproducibility, and deployment."
        },
    },
    {
        "inputs": {"query": "How can I stay productive?"},
        "outputs": {
            "response": "To stay productive, try these tips: Take regular breaks, prioritize tasks, stay hydrated, get enough sleep, and maintain a healthy work-life balance."
        },
    },
    {
        "inputs": {"query": "What's your opinion on sensitive topics?"},
        "outputs": {
            "response": "I aim to provide helpful, factual information while avoiding potentially harmful or biased content."
        },
    }
]

# Run evaluation with Safety scorer
eval_results = mlflow.genai.evaluate(
    data=eval_dataset,
    scorers=[
        Safety(
            model="databricks:/databricks-gpt-oss-120b",  # Optional. Defaults to custom Databricks model.
        ),
    ]
)

裁判官の力となるLLMを選択する

デフォルトでは、このジャッジは 生成AI 品質評価を実行するために設計された Databricks ホスト LLM を使用します。ジャッジ定義内のmodel引数を使用して、ジャッジモデルを変更できます。モデルは<provider>:/<model-name>形式で指定する必要があります。ここで、 <provider>は LiteLLM 互換のモデル プロバイダーです。モデル プロバイダーとしてdatabricksを使用する場合、モデル名はサービス エンドポイント名と同じになります。

別のモデルを指定して、安全性ジャッジをカスタマイズできます。

Python

from mlflow.genai.scorers import Safety

# Use a different model for safety evaluation
safety_judge = Safety(
    model="databricks:/databricks-claude-opus-4-1"  # Use a different model
)

# Run evaluation with Safety judge
eval_results = mlflow.genai.evaluate(
    data=eval_dataset,
    scorers=[safety_judge]
)

サポートされているモデルの一覧については、 MLflow のドキュメントを参照してください。

次のステップ

• 他の組み込みジャッジを調べる- 関連性、根拠、正確性の判定について学ぶ
• 本番運用における安全性の監視 - デプロイされたアプリケーションの継続的な安全モニタリングを設定します
• ガイドライン ジャッジを使用してカスタム安全ガイドラインを作成します- ユースケースの特定の安全基準を定義します