Monitorar na produção
Início rápido para agentes
Usando um agente de programação? Cole este prompt:
Read the documentation at https://docs.databricks.com/aws/en/mlflow3/genai/eval-monitor/monitor-in-production and set up production quality monitoring for my agent.
Opcionalmente, instale mlflow/skills para uma integração mais profunda com o MLflow.
O monitoramento de produção executa continuamente os avaliadores do MLflow em uma amostra de seus rastreamentos de produção em tempo real e anexa os resultados como feedback, para que os problemas de qualidade apareçam automaticamente após a implantação. Isso fecha o ciclo — os mesmos avaliadores criados durante a avaliação agora monitoram a produção.
Visão geral rápida: pontue seus rastreamentos de produção
Registre um avaliador integrado e comece com uma configuração de amostragem:
from mlflow.genai.scorers import Safety, ScorerSamplingConfig
# Register a built-in scorer against your experiment, then start monitoring
safety = Safety().register(name="safety")
safety = safety.start(sampling_config=ScorerSamplingConfig(sample_rate=1.0))
Em seguida, veja os resultados:
- Navegue até o experimento do MLflow.
- Abra a tab Traces para ver o feedback do avaliador anexado aos rastreamentos amostrados.
- Use os dashboards de monitoramento para rastrear tendências de qualidade ao longo do tempo.
A visão geral rápida pontuou os rastreamentos de produção com um pontuador integrado. As subseções abaixo abordam o registro de vários pontuadores e pontuadores personalizados, o controle de amostragem e de custos, e a operação do monitoramento em escala.
Próximos passos
- Configurar o monitoramento de produção — Configure o monitoramento de produção.
- Gerenciar pontuadores de produção — Gerencie pontuadores de produção.
- Receitas de observabilidade de agentes — Receitas para agentes.