o passo 5 (recuperação). Como depurar a qualidade da recuperação

Esta página descreve como identificar a causa principal dos problemas de recuperação. Use esta página quando a análise da causa raiz indicar uma causa raiz Improve Retrieval.

A qualidade da recuperação é, sem dúvida, o componente mais importante de um aplicativo RAG. Se os blocos mais relevantes não forem retornados para uma determinada consulta, o site LLM não terá acesso às informações necessárias para gerar uma resposta de alta qualidade. A recuperação deficiente pode levar a resultados irrelevantes, incompletos ou alucinados. Esse passo requer esforço manual para analisar os dados subjacentes. Mosaic AI O Agent Framework, com sua forte integração entre a plataforma de dados (incluindo Unity Catalog e Vector Search) e o acompanhamento de experimentos com MLflow (incluindo LLM evaluation e MLflow Tracing), facilita muito a solução de problemas.

Instruções

Siga estes passos para resolver os problemas de qualidade da recuperação:

Abra o arquivo B_quality_iteration/01_root_cause_quality_issues Notebook.
Use as consultas para carregar os traços do MLflow dos registros que tiveram problemas de qualidade de recuperação.
Para cada registro, examine manualmente os blocos recuperados. Se disponível, compare-os com os documentos de recuperação da verdade básica.
Procure padrões ou problemas comuns entre as consultas com baixa qualidade de recuperação. Por exemplo:
- As informações relevantes estão totalmente ausentes do banco de dados de vetores.
- Número insuficiente de pedaços ou documentos retornados para uma consulta de recuperação.
- Os blocos são muito pequenos e não têm contexto suficiente.
- Os blocos são muito grandes e contêm vários tópicos não relacionados.
- O modelo de incorporação não consegue capturar a similaridade semântica para termos específicos de domínio.
Com base no problema identificado, levante a hipótese de possíveis causas principais e correções correspondentes. Para obter orientação, consulte Razões comuns para a baixa qualidade da recuperação.
Siga os passos em implementar e avaliar mudanças para implementar e avaliar uma possível correção. Isso pode envolver a modificação do pipeline de dados (por exemplo, ajustar o tamanho do bloco ou tentar um modelo de incorporação diferente) ou modificar a cadeia RAG (por exemplo, implementar a pesquisa híbrida ou recuperar mais blocos).
Se a qualidade da recuperação ainda não for satisfatória, repita os passos 4 e 5 para as próximas correções mais promissoras até que o desempenho desejado seja alcançado.
Reexecutar a análise da causa raiz para determinar se a cadeia geral tem alguma causa raiz adicional que deva ser abordada.

Motivos comuns para a baixa qualidade da recuperação

A tabela a seguir lista a depuração dos passos e as possíveis correções para problemas comuns de recuperação. As correções são categorizadas por componente:

O componente define quais passos o senhor deve seguir na implementação e avaliação das mudanças.

Problema de recuperação	depuração os passos	Correção em potencial
Os pedaços são muito pequenos	Examine os blocos para obter informações de corte incompletas.	Aumentar o tamanho do bloco ou a sobreposição. Tente uma estratégia de fragmentação diferente.
Os pedaços são muito grandes	Verificar se os blocos recuperados contêm vários tópicos não relacionados.	Diminuir o tamanho do bloco. Aprimorar a estratégia de fragmentação para evitar a mistura de tópicos não relacionados (por exemplo, fragmentação semântica).
Os trechos não têm informações suficientes sobre o texto do qual foram retirados	Avalie se a falta de contexto para cada bloco está causando confusão ou ambiguidade nos resultados recuperados.	Tente adicionar metadados e títulos a cada bloco (por exemplo, títulos de seção). Recupere mais blocos e use um LLM com tamanho de contexto maior.
O modelo de incorporação não entende com precisão o domínio ou key frases nas consultas do usuário	Verifique se pedaços semanticamente semelhantes estão sendo recuperados para a mesma consulta.	Experimente diferentes modelos de incorporação. Tente a pesquisa híbrida. Buscar resultados de recuperação em excesso e classificar novamente. Alimentar apenas os resultados mais bem classificados no contexto do LLM. Ajuste fino do modelo de incorporação em dados específicos do domínio.
Informações relevantes ausentes no banco de dados de vetores	Verifique se algum documento ou seção relevante está faltando no banco de dados de vetores.	Adicionar mais documentos relevantes ao banco de dados de vetores. Melhorar a análise de documentos e a extração de metadados.
As consultas de recuperação são mal formuladas	Se as consultas do usuário estiverem sendo usadas diretamente para a pesquisa semântica, analise essas consultas e verifique se há ambiguidade ou falta de especificidade. Isso pode acontecer facilmente em conversas com vários turnos, em que a consulta bruta do usuário faz referência a partes anteriores da conversa, tornando-a inadequada para uso direto como consulta de recuperação. Verificar se os termos da consulta correspondem à terminologia usada no corpus de pesquisa.	Adicione abordagens de expansão ou transformações de consultas (por exemplo, dada uma consulta do usuário, transforme a consulta antes da pesquisa semântica). Adicionar a compreensão da consulta para identificar a intenção e as entidades (por exemplo, usar um LLM para extrair propriedades a serem usadas na filtragem de metadados).

Próximo passo

Se o senhor também identificou problemas com a qualidade da geração, continue com o passo 5 (geração). Como depurar a qualidade da geração.

Se o senhor achar que resolveu todos os problemas identificados, continue com o passo 6. Implemente iterativamente & avalie as correções de qualidade.