Rastreamento com Databricks servindo modelo

Quando o senhor implanta aplicativos ou agentes GenAI que foram instrumentados com o MLflow Tracing por meio do Mosaic AI Agent Framework, o MLflow Tracing funciona automaticamente sem nenhuma configuração adicional.

Coleção Automatic Trace

Quando implantado, seu aplicativo instrumentado emitirá automaticamente traços para o MLflow Experiments. Isso significa:

• Não é necessária nenhuma configuração adicional - se o seu código usar decoradores, gerenciadores de contexto ou autologging do MLflow Tracing, os rastreamentos serão capturados automaticamente na produção
• Mesmo código para desenvolvimento e produção - A mesma instrumentação de rastreamento funciona perfeitamente em todos os ambientes
• Os traços aparecem no MLflow Experiments - Os traços de produção são armazenados junto com os traços de desenvolvimento para facilitar a comparação

Visualizando traços de produção

Depois de implantado, o senhor pode view rastrear o agente de produção na UI do MLflow Experiments, assim como os rastreamentos do desenvolvimento. Esses traços de produção fornecem percepções valiosas sobre:

• Consultas reais de usuários e respostas de agentes - Veja exatamente o que os usuários estão perguntando e como seu agente responde
• Percepções de qualidade a partir do feedback do usuário - veja as classificações de polegar para cima/para baixo, comentários e outros feedbacks anexados aos traços de produção
• Taxas de erro e padrões de falha - Identifique quando e por que seu agente falha
• Padrões comportamentais - Entenda como os usuários interagem com seu agente e identifique oportunidades de melhoria
• Latência e desempenho métricas - Monitore os tempos de resposta e o desempenho do sistema na produção
• Uso de recurso e custos - Acompanhe o consumo de tokens e os custos associados

Próximas etapas

Continue sua jornada com estas ações recomendadas e o tutorial.

• pacote code for Databricks servindo modelo - Aprenda como fazer o pacote de seus aplicativos para implantação no servindo modelo
• Observabilidade da produção com rastreamento - Aprenda estratégias abrangentes de rastreamento da produção
• Configurar o monitoramento da produção - Configurar verificações de qualidade automatizadas para o agente implantado

Guia de referência

Explore a documentação detalhada dos conceitos e recursos mencionados neste guia.

• Acompanhamento da versão do aplicativo - Entenda como rastrear as versões do aplicativo implantado
• Monitoramento da produção - Saiba mais sobre o monitoramento contínuo da qualidade
• Modelo de dados de rastreamento - Entenda como os rastreamentos de produção são estruturados