本番運用でのモニタリング
ヒント
コーディングエージェントのクイックスタート
コーディングエージェントを使用していますか？このプロンプトを貼り付けます：
Read the documentation at https://docs.databricks.com/aws/en/mlflow3/genai/eval-monitor/monitor-in-production and set up production quality monitoring for my agent.
オプションで、MLflow とのより深い統合のために mlflow/skills をインストールします。
本番運用モニタリングでは、ライブ本番運用トレースのサンプルに対して MLflow スコアラーが継続的に実行され、結果がフィードバックとしてアタッチされるため、デプロイ後に品質の問題が自動的に表面化します。これによりループが閉じられます。評価中に構築したのと同じスコアラーが本番運用を監視するようになります。
クイック概要：本番運用のトレースをスコアリングする
1つの組み込みスコアラーを登録し、サンプリング構成で起動します：
Python
from mlflow.genai.scorers import Safety, ScorerSamplingConfig
# Register a built-in scorer against your experiment, then start monitoring
safety = Safety().register(name="safety")
safety = safety.start(sampling_config=ScorerSamplingConfig(sample_rate=1.0))
次に結果を表示します：
- MLflow エクスペリメントに移動します。
- [トレース] tabを開いて、サンプリングされたトレースにアタッチされたスコアラーのフィードバックを確認します。
- モニタリングダッシュボードを使用して、経時的な品質の傾向を追跡します。
クイック概要では、1 つの組み込みスコアラーを使用して本番運用トレースのスコア付けが行われました。以下のセクションでは、複数のカスタムスコアラーの登録、サンプリングとコストの制御、および大規模なモニタリングの運用について説明します。
次のステップ
- 本番運用モニタリングのセットアップ — 本番運用モニタリングをセットアップします。
- 本番運用スコアラーの管理 — 本番運用スコアラーを管理します。
- エージェントの可観測性レシピ — エージェント用のレシピ。