Surveiller en production
Guide de démarrage rapide de l'agent de codage
Vous utilisez un agent de codage ? Collez cette invite :
Read the documentation at https://docs.databricks.com/aws/en/mlflow3/genai/eval-monitor/monitor-in-production and set up production quality monitoring for my agent.
Si vous le souhaitez, installez mlflow/skills pour une intégration plus poussée avec MLflow.
Le monitoring de la production exécute en continu des évaluateurs MLflow sur un échantillon de vos traces de production en direct et associe les résultats en tant que commentaires, de sorte que les problèmes de qualité apparaissent automatiquement après le déploiement. La boucle est bouclée : les mêmes évaluateurs que vous avez créés lors de l'évaluation surveillent désormais la production.
Aperçu rapide : évaluez vos traces de production
Enregistrez un évaluateur intégré et start-le avec une configuration d’échantillonnage :
from mlflow.genai.scorers import Safety, ScorerSamplingConfig
# Register a built-in scorer against your experiment, then start monitoring
safety = Safety().register(name="safety")
safety = safety.start(sampling_config=ScorerSamplingConfig(sample_rate=1.0))
Affichez ensuite les résultats :
- Accédez à l'expérimentation MLflow.
- Ouvrez l'onglet Traces pour afficher les commentaires de l'évaluateur associés aux traces échantillonnées.
- Utilisez les tableaux de bord de monitoring pour suivre l’évolution des tendances de qualité au fil du temps.
Si vos traces sont stockées dans Unity Catalog, vous devez d'abord configurer un SQL warehouse pour que le monitoring fonctionne. Voir Configurer un SQL warehouse pour les traces Unity Catalog.
L'aperçu rapide a noté les traces de production à l'aide d'un évaluateur intégré. Les sous-sections ci-dessous abordent l'enregistrement de plusieurs évaluateurs et d'évaluateurs personnalisés, le contrôle de l'échantillonnage et des coûts, ainsi que l'exploitation du monitoring à grande échelle.
Étapes suivantes
- Configurer le monitoring de la production — Configurez le monitoring de la production.
- Gérer les évaluateurs de production — Gérer les évaluateurs de production.
- Recettes d’observabilité des agents — Recettes pour les agents.