Receitas de observabilidade de agentes

Receitas de ponta a ponta para tarefas comuns de observabilidade e qualidade de agentes — conecte seu agente de código, avalie-o e melhore-o.

Conecte seu agente de codificação

Dê ao seu agente de programação conhecimento das APIs do MLflow e acesso em tempo real aos seus rastreamentos, para que ele escreva uma instrumentação precisa e responda a perguntas sobre o seu agente diretamente da sua IDE.

• • Configurar um agente de programação
  • Instale as habilidades do MLflow para que o Claude Code, Cursor, VS Code ou OpenCode gerem códigos precisos de rastreamento e avaliação.
• • Configure o servidor MCP do MLflow
  • Configure the MLflow MCP server so your coding agent can reach your traces and experiments.
• • Consultar rastreamentos de um agente de código
  • Use o servidor MCP do MLflow para pesquisar, inspecionar e anotar rastreamentos sem sair do seu ambiente de desenvolvimento integrado (IDE).

Avaliar e melhorar

Avalie o seu agente com base nos seus próprios critérios, desde uma rápida simulação de ponta a ponta até juízes de LLM dedicados.

• • Avaliar e aprimorar um agente
  • Execute mlflow.genai.evaluate() em um conjunto de dados de avaliação para pontuar um agente de ponta a ponta e comparar versões.
• • Criar um juiz de LLM de diretrizes
  • Transforme critérios de linguagem natural de aprovação/reprovação em um avaliador — sem necessidade de código de avaliação.
• • Criar um juiz personalizado
  • Crie um juiz especializado com make_judge(), incluindo juízes baseados em rastreamento que analisam a execução.