Recettes d’observabilité des agents

Recettes de bout en bout pour les tâches courantes d’observabilité et de qualité des agents — connectez votre agent de codage, puis évaluez-le et améliorez-le.

Connectez votre agent de codage

Donnez à votre agent de codage une connaissance des APIs de MLflow et un accès en direct à vos traces, afin qu'il rédige une instrumentation précise et réponde aux questions concernant votre agent depuis votre IDE.

• • Configurer un agent de codage
  • Installez les compétences MLflow afin que Claude Code, Cursor, VS Code ou OpenCode génèrent du code de traçage et d’évaluation précis.
• • Configurer le serveur MLflow MCP
  • Configurez le serveur MCP MLflow pour que votre agent de codage puisse accéder à vos traces et à vos expérimentations.
• • Interroger des traces à partir d’un agent de codage
  • Utilisez le serveur MCP MLflow pour rechercher, inspecter et annoter les traces sans quitter votre IDE.

Évaluer et améliorer

Évaluez votre agent selon vos propres critères, d’une simple simulation de bout en bout à des juges LLM personnalisés.

• • Évaluer et améliorer un agent
  • Exécutez mlflow.genai.evaluate() sur un dataset d’évaluation pour noter un agent de bout en bout et comparer les versions.
• • Créer un juge LLM basé sur des directives
  • Transformez des critères de réussite/d’échec en langage naturel en un évaluateur — aucun code d’évaluation requis.
• • Créer un juge personnalisé
  • Créez un juge sur mesure avec make_judge(), y compris des juges basés sur les traces qui analysent l’exécution.