o passo 5 (recuperação). Como depurar a qualidade da recuperação

Esta página descreve como identificar a causa raiz dos problemas de recuperação. Use esta página quando a análise da causa raiz indicar uma causa raiz Improve Retrieval.

A qualidade da recuperação é sem dúvida o componente mais importante de um aplicativo RAG. Se os blocos mais relevantes não forem retornados para uma determinada consulta, o site LLM não terá acesso às informações necessárias para gerar uma resposta de alta qualidade. Uma recuperação deficiente pode levar a uma produção irrelevante, incompleta ou alucinada. Esse passo requer esforço manual para analisar os dados subjacentes. Mosaic AI O Agent Framework, com sua forte integração entre a plataforma de dados (incluindo Unity Catalog e Vector Search) e o acompanhamento de experimentos com MLflow (incluindo LLM evaluation e MLflow Tracing), facilita muito a solução de problemas.

Instruções

Siga estes passos para resolver os problemas de qualidade da recuperação:

Abra o Notebook B_quality_iteration/01_root_cause_quality_issues.
Use as consultas para carregar os traços do MLflow dos registros que tiveram problemas de qualidade de recuperação.
Para cada registro, examine manualmente os blocos recuperados. Se disponíveis, compare-os com os documentos de recuperação da verdade fundamental.
Procure padrões ou problemas comuns entre as consultas com baixa qualidade de recuperação. Por exemplo:
- As informações relevantes estão totalmente ausentes do banco de dados de vetores.
- Número insuficiente de blocos ou documentos retornados para uma consulta de recuperação.
- Os blocos são muito pequenos e não têm contexto suficiente.
- Os blocos são muito grandes e contêm vários tópicos não relacionados.
- O modelo de incorporação falha em capturar a semelhança semântica para termos específicos do domínio.
Com base no problema identificado, crie uma hipótese sobre as possíveis causas e as correções correspondentes. Para obter orientação, consulte Motivos comuns para a baixa qualidade da recuperação.
Siga os passos em implementar e avaliar mudanças para implementar e avaliar uma possível correção. Isso pode envolver a modificação do pipeline de dados (por exemplo, ajustar o tamanho do bloco ou tentar um modelo de incorporação diferente) ou modificar a cadeia RAG (por exemplo, implementar a pesquisa híbrida ou recuperar mais blocos).
Se a qualidade da recuperação ainda não for satisfatória, repita os passos 4 e 5 para as próximas correções mais promissoras até que o desempenho desejado seja alcançado.
Reexecutar a análise da causa raiz para determinar se a cadeia geral tem alguma causa raiz adicional que deva ser abordada.

Razões comuns para a baixa qualidade da recuperação

A tabela a seguir lista a depuração dos passos e as possíveis correções para problemas comuns de recuperação. As correções são categorizadas por componente:

O componente define quais passos o senhor deve seguir na implementação e avaliação das mudanças.

Problema de recuperação	depuração os passos	Possível correção
Os pedaços são muito pequenos	Examine os blocos para obter informações de corte incompletas.	Aumente o tamanho do pedaço ou a sobreposição. Experimente uma estratégia de fragmentação diferente.
Os pedaços são muito grandes	Verifique se os blocos recuperados contêm vários tópicos não relacionados.	Diminua o tamanho do pedaço. Melhore a estratégia de fragmentação para evitar a mistura de tópicos não relacionados (por exemplo, fragmentação semântica).
Os trechos não têm informações suficientes sobre o texto do qual foram retirados	Avalie se a falta de contexto para cada fragmento está causando confusão ou ambigüidade nos resultados recuperados.	Experimente adicionar metadados e títulos a cada bloco (por exemplo, títulos de seção). Recupere mais blocos e use um LLM com tamanho de contexto maior.
O modelo de incorporação não entende com precisão o domínio ou key frases nas consultas do usuário	Verifique se partes semanticamente semelhantes estão sendo recuperadas para a mesma consulta.	Experimente diferentes modelos de incorporação. Experimente a pesquisa híbrida. Busque resultados de recuperação em excesso e classifique novamente. Alimentar apenas os resultados mais bem classificados no contexto do LLM. Ajuste o modelo de incorporação em dados específicos do domínio.
Informações relevantes ausentes no banco de dados de vetores	Verifique se algum documento ou seção relevante está faltando no banco de dados vetorial.	Adicione documentos mais relevantes ao banco de dados vetoriais. Melhore a análise de documentos e a extração de metadados.
As consultas de recuperação estão mal formuladas	Se as consultas do usuário estiverem sendo usadas diretamente para pesquisa semântica, analise essas consultas e verifique se há ambigüidade ou falta de especificidade. Isso pode acontecer facilmente em conversas de vários turnos, nas quais a consulta bruta do usuário faz referência a partes anteriores da conversa, tornando-a inadequada para uso direto como uma consulta de recuperação. Verifique se os termos da consulta correspondem à terminologia usada no corpus de pesquisa.	Adicione abordagens de expansão ou transformações de consultas (por exemplo, dada uma consulta do usuário, transforme a consulta antes da pesquisa semântica). Adicionar a compreensão da consulta para identificar a intenção e as entidades (por exemplo, usar um LLM para extrair propriedades a serem usadas na filtragem de metadados).

Próximo passo

Se o senhor também identificou problemas com a qualidade da geração, continue com o passo 5 (geração). Como depurar a qualidade da geração.

Se o senhor achar que resolveu todos os problemas identificados, continue com o passo 6. Implemente iterativamente & avalie as correções de qualidade.