Pular para o conteúdo principal
Última atualização em

Monitorar na produção

dica

Início rápido do agente de codificação

Usando um agente de programação? Cole este prompt:

Read the documentation at https://docs.databricks.com/aws/en/mlflow3/genai/eval-monitor/monitor-in-production and set up production quality monitoring for my agent.

Opcionalmente, instale mlflow/skills para uma integração mais profunda com o MLflow.

O monitoramento de produção executa continuamente os avaliadores do MLflow em uma amostra de seus rastreamentos de produção em tempo real e anexa os resultados como feedback, para que os problemas de qualidade apareçam automaticamente após a implantação. Isso fecha o ciclo — os mesmos avaliadores criados durante a avaliação agora monitoram a produção.

Visão geral rápida: pontue seus rastreamentos de produção​

Registre um avaliador integrado e comece com uma configuração de amostragem:

Python
from mlflow.genai.scorers import Safety, ScorerSamplingConfig

# Register a built-in scorer against your experiment, then start monitoring
safety = Safety().register(name="safety")
safety = safety.start(sampling_config=ScorerSamplingConfig(sample_rate=1.0))

Em seguida, veja os resultados:

  1. Navegue até o experimento do MLflow.
  2. Abra a tab Traces para ver o feedback do avaliador anexado aos rastreamentos amostrados.
  3. Use os dashboards de monitoramento para rastrear tendências de qualidade ao longo do tempo.

Se seus rastreamentos estiverem armazenados no Unity Catalog, primeiro você deverá configurar um SQL warehouse para que o monitoramento funcione. See Configure a SQL warehouse for Unity Catalog traces.

A visão geral rápida pontuou os rastreamentos de produção com um pontuador integrado. As subseções abaixo abordam o registro de vários pontuadores e pontuadores personalizados, o controle de amostragem e de custos, e a operação do monitoramento em escala.

Próximos passos​

Nesta página