Mosaic AI Avaliação do agente Notebook ( 2) tutorial MLflow
important
A Databricks recomenda o uso do MLflow 3. No MLflow 3, as APIs de avaliação do agente estão incluídas no pacote mlflow. Para obter MLflow 3 informações sobre esse tópico, consulte Evaluate & Monitor.
Esta página descreve a avaliação do agente usando o MLflow 2.
O Notebook a seguir demonstra como avaliar um aplicativo do gênero AI usando os juízes proprietários do Agent Evaluation LLM, métricas personalizadas e rótulo de especialistas no domínio. Isso demonstra o seguinte:
- Como carregar a produção logs (traces) em uma avaliação dataset.
- Como executar uma avaliação e fazer uma análise de causa raiz.
- Como criar métricas personalizadas para detectar automaticamente problemas de qualidade.
- Como enviar a produção logs para PMEs para rótulo e evoluir a avaliação dataset.
Para preparar seu agente para a pré-produção, consulte o Mosaic AI agent demo Notebook. Para obter informações gerais, consulte Mosaic AI Agent Evaluation (MLflow 2).