Mosaic AI Início rápido da avaliação de agentes
info
Visualização
Esse recurso está em Public Preview.
Mosaic AI Caderno de início rápido da avaliação de agentes
O Notebook a seguir demonstra como avaliar um aplicativo do gênero AI usando os juízes proprietários do Agent Evaluation LLM, métricas personalizadas e rótulo de especialistas no domínio. Isso demonstra o seguinte:
- Como carregar a produção logs (traces) em uma avaliação dataset.
- Como executar uma avaliação e fazer uma análise de causa raiz.
- Como criar métricas personalizadas para detectar automaticamente problemas de qualidade.
- Como enviar a produção logs para PMEs para rótulo e evoluir a avaliação dataset.
Para preparar seu agente para a pré-produção, consulte o Mosaic AI agent demo Notebook. Para obter informações gerais, consulte O que é Mosaic AI Agent Evaluation?