o passo 5 (geração). Como depurar a qualidade da geração

Esta página descreve como identificar a causa raiz dos problemas de geração. Use esta página quando a análise da causa raiz indicar uma causa raiz Improve Generation.

Mesmo com a recuperação ideal, se o componente LLM de uma cadeia RAG não puder utilizar efetivamente o contexto recuperado para gerar respostas precisas, coerentes e relevantes, a qualidade do resultado final será prejudicada. Algumas das maneiras pelas quais os problemas com a qualidade da geração podem aparecer são alucinações, inconsistências ou falha em abordar de forma concisa a consulta do usuário.

Instruções

Siga estes passos para resolver os problemas de qualidade da geração:

Abra o Notebook B_quality_iteration/01_root_cause_quality_issues.
Use as consultas para carregar os rastreamentos do MLflow dos registros que tiveram problemas de qualidade de geração.
Para cada registro, examine manualmente a resposta gerada e compare-a com o contexto recuperado e a resposta verdadeira.
Procure padrões ou problemas comuns entre as consultas com qualidade de baixa geração. Por exemplo:
- Geração de informações não presentes no contexto recuperado.
- Geração de informações que não são consistentes com o contexto recuperado (alucinação).
- Falha em abordar diretamente a consulta do usuário, considerando o contexto recuperado fornecido.
- Gerar respostas excessivamente detalhadas, difíceis de entender ou sem coerência lógica.
Com base no problema identificado, crie uma hipótese sobre as possíveis causas e as correções correspondentes. Para obter orientação, consulte Motivos comuns para a baixa qualidade da geração.
Siga os passos em implementar e avaliar mudanças para implementar e avaliar uma possível correção. Isso pode envolver a modificação da cadeia RAG (por exemplo, ajustar o padrão do prompt ou tentar um LLM diferente) ou o pipeline de dados (por exemplo, ajustar a estratégia de chunking para fornecer mais contexto).
Se a qualidade da geração ainda não for satisfatória, repita os passos 4 e 5 para a próxima correção mais promissora até que o desempenho desejado seja alcançado.
Reexecutar a análise da causa raiz para determinar se a cadeia geral tem alguma causa raiz adicional que deva ser abordada.

Razões comuns para a baixa qualidade da geração

A tabela a seguir lista a depuração dos passos e as possíveis correções para problemas comuns de geração. As correções são categorizadas por componente:

Configuração da cadeia
Código da cadeia

O componente define quais passos o senhor deve seguir na implementação e avaliação das mudanças.

Importante

A Databricks recomenda que o senhor use a engenharia imediata para iterar na qualidade dos resultados do seu aplicativo. A maioria dos passos a seguir usa o prompt engenharia.

Problema de geração	depuração os passos	Possível correção
As informações geradas não estão presentes no contexto recuperado (como alucinações).	Compare as respostas geradas com o contexto recuperado para identificar informações alucinadas. Avalie se certos tipos de consultas ou contexto recuperado são mais propensos a alucinações.	O padrão de prompt do Chain config Update enfatiza a confiança no contexto recuperado. Configuração da cadeia Use um LLM mais capaz. Código de cadeia Implemente uma verificação de fatos ou um passo a passo pós-geração.
Falha em abordar diretamente a consulta do usuário ou fornecer respostas excessivamente genéricas	Compare as respostas geradas às consultas dos usuários para avaliar a relevância e a especificidade. Verificar se determinados tipos de consultas resultam na recuperação do contexto correto, mas o LLM produz resultados de baixa qualidade.	Configuração de cadeia Melhore o padrão de solicitação para incentivar respostas diretas e específicas. Configuração da cadeia Recupere um contexto mais direcionado melhorando o processo de recuperação. Código de cadeia Classifique novamente os resultados da recuperação para colocar os blocos mais relevantes em primeiro lugar e forneça-os apenas ao LLM. Configuração da cadeia Use um LLM mais capaz.
As respostas geradas são difíceis de entender ou carecem de fluxo lógico	Avalie a saída quanto ao fluxo lógico, à correção gramatical e à compreensibilidade. Analise se a incoerência ocorre com mais frequência com certos tipos de consultas ou quando determinados tipos de contexto são recuperados.	Configuração de cadeia Altere o padrão do prompt para incentivar uma resposta coerente e bem estruturada. Configuração de cadeia Fornece mais contexto ao LLM, recuperando pedaços adicionais relevantes. Configuração da cadeia Use um LLM mais capaz.
As respostas geradas não estão no formato ou estilo desejado	Compare a saída com as diretrizes de formato e estilo esperadas. Avalie se certos tipos de consultas ou contexto recuperado têm maior probabilidade de resultar em desvios de formato ou estilo.	Chain config Update solicita ao padrão que especifique o formato e o estilo de saída desejados. Código de cadeia Implemente um passo a passo de pós-processamento para converter a resposta gerada no formato desejado. Código de cadeia Adicione um passo a passo para validar a estrutura e o estilo da saída e, se necessário, gerar uma resposta fallback. Configuração de cadeia Use um LLM que seja ajustado para fornecer saídas em um formato ou estilo específico.

Próximo passo

Se o senhor também identificou problemas com a qualidade da recuperação, continue com o passo 5 (recuperação). Como depurar a qualidade da recuperação.

Se o senhor achar que resolveu todos os problemas identificados, continue com o passo 6. Faça e avalie as correções de qualidade no agente AI .

< Anterior: o passo 5.1. Qualidade de recuperação de depuração

Próximo: o passo 6. corrigir iterativamente os problemas de qualidade >