o passo 5 (recuperação). Como depurar a qualidade da recuperação

Esta página descreve como identificar a causa raiz dos problemas de recuperação. Use esta página quando a análise da causa raiz indicar uma causa raiz Improve Retrieval.

A qualidade da recuperação é sem dúvida o componente mais importante de um aplicativo RAG. Se os blocos mais relevantes não forem retornados para uma determinada consulta, o site LLM não terá acesso às informações necessárias para gerar uma resposta de alta qualidade. Uma recuperação deficiente pode levar a uma produção irrelevante, incompleta ou alucinada. Esse passo requer esforço manual para analisar os dados subjacentes. Mosaic AI O Agent Framework, com sua forte integração entre a plataforma de dados (incluindo Unity Catalog e Vector Search) e o acompanhamento de experimentos com MLflow (incluindo LLM evaluation e MLflow Tracing), facilita muito a solução de problemas.

Instruções

Siga estes passos para resolver os problemas de qualidade da recuperação:

Abra o Notebook B_quality_iteration/01_root_cause_quality_issues.
Use as consultas para carregar os traços do MLflow dos registros que tiveram problemas de qualidade de recuperação.
Para cada registro, examine manualmente os blocos recuperados. Se disponíveis, compare-os com os documentos de recuperação da verdade fundamental.
Procure padrões ou problemas comuns entre as consultas com baixa qualidade de recuperação. Por exemplo:
- As informações relevantes estão totalmente ausentes do banco de dados de vetores.
- Número insuficiente de blocos ou documentos retornados para uma consulta de recuperação.
- Os blocos são muito pequenos e não têm contexto suficiente.
- Os blocos são muito grandes e contêm vários tópicos não relacionados.
- O modelo de incorporação falha em capturar a semelhança semântica para termos específicos do domínio.
Com base no problema identificado, crie uma hipótese sobre as possíveis causas e as correções correspondentes. Para obter orientação, consulte Motivos comuns para a baixa qualidade da recuperação.
Siga os passos em implementar e avaliar mudanças para implementar e avaliar uma possível correção. Isso pode envolver a modificação do pipeline de dados (por exemplo, ajustar o tamanho do bloco ou tentar um modelo de incorporação diferente) ou modificar a cadeia RAG (por exemplo, implementar a pesquisa híbrida ou recuperar mais blocos).
Se a qualidade da recuperação ainda não for satisfatória, repita os passos 4 e 5 para as próximas correções mais promissoras até que o desempenho desejado seja alcançado.
Reexecutar a análise da causa raiz para determinar se a cadeia geral tem alguma causa raiz adicional que deva ser abordada.

Razões comuns para a baixa qualidade da recuperação

A tabela a seguir lista a depuração dos passos e as possíveis correções para problemas comuns de recuperação. As correções são categorizadas por componente:

pipeline de dados
Configuração da cadeia
Código da cadeia

O componente define quais passos o senhor deve seguir na implementação e avaliação das mudanças.

Problema de recuperação	depuração os passos	Possível correção
Os pedaços são muito pequenos	Examine os blocos para obter informações de corte incompletas.	pipeline de dados Aumentar o tamanho do bloco ou a sobreposição. pipeline de dados Tente uma estratégia de fragmentação diferente.
Os pedaços são muito grandes	Verifique se os blocos recuperados contêm vários tópicos não relacionados.	pipeline de dados Diminuir o tamanho do bloco. pipeline de dados Melhorar a estratégia de fragmentação para evitar a mistura de tópicos não relacionados (por exemplo, fragmentação semântica).
Os trechos não têm informações suficientes sobre o texto do qual foram retirados	Avalie se a falta de contexto para cada fragmento está causando confusão ou ambigüidade nos resultados recuperados.	pipeline de dados Tente adicionar metadados e títulos a cada bloco (por exemplo, títulos de seção). Configuração de cadeia Recupere mais blocos e use um LLM com tamanho de contexto maior.
O modelo de incorporação não entende com precisão o domínio ou key frases nas consultas do usuário	Verifique se partes semanticamente semelhantes estão sendo recuperadas para a mesma consulta.	pipeline de dados Experimente diferentes modelos de incorporação. Configuração da cadeia Experimente a pesquisa híbrida. Código em cadeia: extraia resultados de recuperação e renomeie. Alimentar apenas os resultados mais bem classificados no contexto do LLM. pipeline de dados Ajuste fino do modelo de incorporação em dados específicos do domínio.
Informações relevantes ausentes no banco de dados de vetores	Verifique se algum documento ou seção relevante está faltando no banco de dados vetorial.	pipeline de dados Adicione mais documentos relevantes ao banco de dados de vetores. pipeline de dados Melhorar a análise de documentos e a extração de metadados.
As consultas de recuperação estão mal formuladas	Se as consultas do usuário estiverem sendo usadas diretamente para pesquisa semântica, analise essas consultas e verifique se há ambigüidade ou falta de especificidade. Isso pode acontecer facilmente em conversas de vários turnos, nas quais a consulta bruta do usuário faz referência a partes anteriores da conversa, tornando-a inadequada para uso direto como uma consulta de recuperação. Verifique se os termos da consulta correspondem à terminologia usada no corpus de pesquisa.	Código de cadeia Adicione abordagens de expansão de consulta ou transformações (por exemplo, dada uma consulta do usuário, transforme a consulta antes da pesquisa semântica). Código de cadeia Adicione o entendimento da consulta para identificar a intenção e as entidades (por exemplo, use um LLM para extrair propriedades a serem usadas na filtragem de metadados).

Próximo passo

Se o senhor também identificou problemas com a qualidade da geração, continue com o passo 5 (geração). Como depurar a qualidade da geração.

Se o senhor achar que resolveu todos os problemas identificados, continue com o passo 6. Faça e avalie as correções de qualidade no agente AI .

< Anterior: o passo 5 Identificar as causas básicas dos problemas de qualidade

Próximo: o passo 5.2. Qualidade de geração de depuração >