O que é o monitoramento de lakehouse para o site generativo AI?

info

Beta

Esse recurso está na versão beta.

Esta página descreve como monitorar aplicativos generativos AI usando o lakehouse monitoramento for GenAI. O monitoramento da lakehouse é totalmente interligado à Avaliação de agentes, de modo que o senhor pode usar a mesma configuração de avaliação (LLM judges e métricas personalizadas) na avaliação off-line e no monitoramento on-line.

O senhor pode monitorar os aplicativos AI implantados usando o Mosaic AI Agent Framework ou aqueles implantados fora do Databricks.

O lakehouse monitoramento for gen AI ajuda o senhor a rastrear métricas operacionais como volume, latência, erros e custo, bem como métricas de qualidade como correção e adesão às diretrizes, usando os juízes doMosaic AI Agent Evaluation AI.

Visão geral do produto

O lakehouse monitoramento para GenAI usa MLflow Tracing, um padrão aberto para observabilidade GenAI baseado em Open Telemetry, para instrumentar e capturar a produção logs de seu aplicativo GenAI. Para usar o monitoramento, primeiro instale seu aplicativo GenAI com o MLflow Tracing.

O monitoramento é projetado para:

1. Ajudá-lo a identificar problemas de qualidade e desempenho (custo, latência) em seu agente de produção

   • Executar automaticamente LLM juízes para avaliar a qualidade de seu agente de produção
   • visualizar um painel de controle com métricas sobre a qualidade de seu agente de produção
   • Analise rastreamentos individuais (por exemplo, solicitações de usuários)

2. Transfira os traços de baixo desempenho para seu ciclo de desenvolvimento para testar iterativamente as correções dos problemas identificados

   • Adicionar traços individuais a um conjunto de dados de avaliação para usar com a Avaliação de agentes
   • Envie traços individuais para o Review App para coletar o rótulo de verdade dos especialistas no assunto

O diagrama abaixo ilustra o fluxo de trabalho possibilitado pelo monitoramento.

nota

Esse fluxo de trabalho também se aplica a aplicativos de pré-produção que são usados por testadores beta.

Requisitos

Para monitorar aplicativos implantados usando o Mosiac AI Agent Framework:

• O trabalho sem servidor deve estar ativado.
• Para usar o LLM Judge métricas, os parceiros-powered AI recurso assistivo devem estar ativados. Outras métricas, como a latência, são suportadas independentemente dessa configuração.

Limitações

important

• O monitoramento on-line está atualmente em fase beta. Somente determinados espaços de trabalho podem usar o Beta produto.
• No momento, os seguintes recursos não estão disponíveis na versão Beta pública:
  • Registro de feedback do usuário
  • Métricas personalizadas

Se o senhor precisar usar esses recursos OU se o seu site workspace não estiver ativado para o monitoramento Beta, entre em contato com o representante Databricks account para obter acesso.

Configurar o monitoramento

O monitoramento de agentes é compatível com agentes implantados usando o Mosaic AI Agent Framework e aplicativos gen AI implantados fora do Databricks. As etapas que você segue dependem do tipo de aplicativo que você precisa monitorar. Para obter detalhes, consulte o seguinte:

• Para configurar o monitoramento de aplicativos implantados usando o Mosaic AI Agent Framework, consulte Monitorar aplicativos implantados usando o Agent Framework.
• Para configurar o monitoramento de aplicativos implantados fora do site Databricks, consulte Monitorar aplicativos implantados fora do site Databricks.