Melhorar a qualidade dos aplicativos RAG

Este artigo oferece uma visão geral de como o senhor pode refinar cada componente para aumentar a qualidade do seu aplicativo de geração aumentada de recuperação (RAG).

Há uma infinidade de "botões" a serem ajustados em cada ponto do pipeline de dados off-line e da cadeia RAG on-line. Embora existam inúmeros outros, o artigo se concentra nos botões mais importantes que têm o maior impacto sobre a qualidade do seu aplicativo RAG. A Databricks recomenda começar com esses botões.

Dois tipos de considerações de qualidade

Do ponto de vista conceitual view, é útil view os botões de qualidade do RAG através das lentes dos dois key tipos de problemas de qualidade:

• Qualidade da recuperação: O senhor está recuperando as informações mais relevantes para uma determinada consulta de recuperação?

  É difícil gerar um resultado RAG de alta qualidade se o contexto fornecido para o site LLM não contiver informações importantes ou contiver informações supérfluas.

• Qualidade da geração: Considerando as informações recuperadas e a consulta original do usuário, o site LLM está gerando a resposta mais precisa, coerente e útil possível?

  Os problemas aqui podem se manifestar como alucinações, saída inconsistente ou falha em abordar diretamente a consulta do usuário.

Os aplicativos RAG têm dois componentes que podem ser iterados para enfrentar os desafios de qualidade: o pipeline de dados e a cadeia. É tentador supor uma divisão clara entre problemas de recuperação (basta atualizar o pipeline de dados) e problemas de geração (atualizar a cadeia RAG). No entanto, a realidade é mais matizada. A qualidade da recuperação pode ser influenciada tanto pelo pipeline de dados (por exemplo, estratégia de análise/chunking, estratégia de metadados, modelo de incorporação) quanto pela cadeia RAG (por exemplo, transformações de consulta do usuário, número de chunks recuperados, reclassificação). Da mesma forma, a qualidade da geração será invariavelmente afetada pela recuperação deficiente (por exemplo, informações irrelevantes ou ausentes que afetam a saída do modelo).

Essa sobreposição sublinhou a necessidade de uma abordagem holística para o aprimoramento da qualidade do RAG. Ao entender quais componentes devem ser alterados na cadeia do pipeline de dados e do RAG e como essas alterações afetam as soluções gerais, o senhor pode fazer atualizações direcionadas para melhorar a qualidade do resultado do RAG.

Considerações sobre a qualidade do pipeline de dados

key considerações sobre o site pipeline de dados:

• A composição do corpus de dados de entrada.

• Como os dados brutos são extraídos e transformados em um formato utilizável (por exemplo, análise de um documento PDF).

• Como os documentos são divididos em partes menores e como essas partes são formatadas (por exemplo, estratégia de divisão em partes e tamanho da parte).

• Os metadados (como título da seção ou título do documento) extraídos sobre cada documento e/ou bloco. Como esses metadados são incluídos (ou não incluídos) em cada bloco.

• O modelo de incorporação usado para converter texto em representações vetoriais para pesquisa de similaridade.

Cadeia RAG

• A escolha do LLM e seus parâmetros (por exemplo, temperatura e tokens máximos).

• Os parâmetros de recuperação (por exemplo, o número de pedaços ou documentos recuperados).

• A abordagem de recuperação (por exemplo, palavra-chave vs. pesquisa híbrida vs. pesquisa semântica, reescrever a consulta do usuário, transformar a consulta do usuário em filtros ou reclassificar).

• Como formatar o prompt com o contexto recuperado para orientar o LLM em direção a um resultado de qualidade.