O que é o monitoramento de lakehouse para o site generativo AI? (legado)
Beta
Esse recurso está na versão beta.
Versão legada do MLflow
Esta página descreve a Avaliação do agente <0.22 com o MLflow <2.x. A Databricks recomenda o uso do MLflow 3, que é integrado à Avaliação de agentes >1.0. Os métodos do SDK de avaliação de agentes agora são expostos por meio do SDK mlflow.
Para obter informações sobre esse tópico, consulte Monitoramento da qualidade da produção (execução automática de scorers).
Esta página descreve como monitorar aplicativos generativos AI usando o lakehouse monitoramento for GenAI. O monitoramento da lakehouse é totalmente integrado à Avaliação de agentes, de modo que o senhor pode usar a mesma configuração de avaliação (LLM judges e métricas personalizadas) na avaliação off-line e no monitoramento on-line.
O senhor pode monitorar os aplicativos AI implantados usando o Mosaic AI Agent Framework ou aqueles implantados fora do Databricks.
O lakehouse monitoramento for gen AI ajuda o senhor a rastrear métricas operacionais como volume, latência, erros e custo, bem como métricas de qualidade como correção e adesão às diretrizes, usando os juízes doMosaic AI Agent Evaluation AI.
Visão geral do produto
O lakehouse monitoramento para GenAI usa MLflow Tracing, um padrão aberto para observabilidade GenAI baseado em Open Telemetry, para instrumentar e capturar a produção logs de seu aplicativo GenAI. Para usar o monitoramento, primeiro instale seu aplicativo GenAI com o MLflow Tracing.
O monitoramento é projetado para:
-
Ajudá-lo a identificar problemas de qualidade e desempenho (custo, latência) em seu agente de produção
- Executar automaticamente LLM juízes para avaliar a qualidade de seu agente de produção
- visualizar um painel de controle com métricas sobre a qualidade de seu agente de produção
- Analise rastreamentos individuais (por exemplo, solicitações de usuários)
-
Transfira os traços de baixo desempenho para seu ciclo de desenvolvimento para testar iterativamente as correções dos problemas identificados
- Adicionar traços individuais a um conjunto de dados de avaliação para usar com a Avaliação de agentes
- Envie traços individuais para o Review App para coletar o rótulo de verdade dos especialistas no assunto
O diagrama abaixo ilustra o fluxo de trabalho possibilitado pelo monitoramento.
Esse fluxo de trabalho também se aplica a aplicativos de pré-produção que são usados por testadores beta.
Requisitos
Para monitorar aplicativos implantados usando o Mosiac AI Agent Framework:
- O trabalho sem servidor deve estar ativado.
- Para usar o LLM Judge métricas, os parceiros-powered AI recurso assistivo devem estar ativados. Outras métricas, como a latência, são suportadas independentemente dessa configuração.
Limitações
- O monitoramento on-line está atualmente em fase beta. Somente determinados espaços de trabalho podem usar o Beta produto.
- No momento, os seguintes recursos não estão disponíveis na versão Beta pública:
- Registro de feedback do usuário
- Métricas personalizadas
Se o senhor precisar usar esses recursos OU se o seu site workspace não estiver ativado para o monitoramento Beta, entre em contato com o representante Databricks account para obter acesso.
Configurar o monitoramento
O monitoramento de agentes é compatível com agentes implantados usando o Mosaic AI Agent Framework e aplicativos gen AI implantados fora do Databricks. As etapas que você segue dependem do tipo de aplicativo que você precisa monitorar. Para obter detalhes, consulte o seguinte:
- Para configurar o monitoramento de aplicativos implantados usando o Mosaic AI Agent Framework, consulte Monitorar aplicativos implantados usando o Agent Framework (legado).
- Para configurar o monitoramento de aplicativos implantados fora do site Databricks, consulte Monitorar aplicativos implantados fora do site Databricks (legado).