o passo 5 (geração). Como depurar a qualidade da geração

Esta página descreve como identificar a causa raiz dos problemas de geração. Use esta página quando a análise da causa raiz indicar uma causa raiz Improve Generation.

Mesmo com a recuperação ideal, se o componente LLM de uma cadeia RAG não puder utilizar efetivamente o contexto recuperado para gerar respostas precisas, coerentes e relevantes, a qualidade do resultado final será prejudicada. Algumas das maneiras pelas quais os problemas com a qualidade da geração podem aparecer são alucinações, inconsistências ou falha em abordar de forma concisa a consulta do usuário.

Instruções

Siga estes passos para resolver os problemas de qualidade da geração:

1. Abra o Notebook B_quality_iteration/01_root_cause_quality_issues.

2. Use as consultas para carregar os rastreamentos do MLflow dos registros que tiveram problemas de qualidade de geração.

3. Para cada registro, examine manualmente a resposta gerada e compare-a com o contexto recuperado e a resposta verdadeira.

4. Procure padrões ou problemas comuns entre as consultas com qualidade de baixa geração. Por exemplo:

   • Geração de informações não presentes no contexto recuperado.

   • Geração de informações que não são consistentes com o contexto recuperado (alucinação).

   • Falha em abordar diretamente a consulta do usuário, considerando o contexto recuperado fornecido.

   • Gerar respostas excessivamente detalhadas, difíceis de entender ou sem coerência lógica.

5. Com base no problema identificado, crie uma hipótese sobre as possíveis causas e as correções correspondentes. Para obter orientação, consulte Motivos comuns para a baixa qualidade da geração.

6. Siga os passos em implementar e avaliar mudanças para implementar e avaliar uma possível correção. Isso pode envolver a modificação da cadeia RAG (por exemplo, ajustar o padrão do prompt ou tentar um LLM diferente) ou o pipeline de dados (por exemplo, ajustar a estratégia de chunking para fornecer mais contexto).

7. Se a qualidade da geração ainda não for satisfatória, repita os passos 4 e 5 para a próxima correção mais promissora até que o desempenho desejado seja alcançado.

8. Reexecutar a análise da causa raiz para determinar se a cadeia geral tem alguma causa raiz adicional que deva ser abordada.

Razões comuns para a baixa qualidade da geração

A tabela a seguir lista a depuração dos passos e as possíveis correções para problemas comuns de geração. As correções são categorizadas por componente:

• 
• 
• 

O componente define quais passos o senhor deve seguir na implementação e avaliação das mudanças.

Importante

A Databricks recomenda que o senhor use a engenharia imediata para iterar na qualidade dos resultados do seu aplicativo. A maioria dos passos a seguir usa o prompt engenharia.

Problema de geração	depuração os passos	Possível correção
As informações geradas não estão presentes no contexto recuperado (como alucinações).	Compare as respostas geradas com o contexto recuperado para identificar informações alucinadas. Avalie se certos tipos de consultas ou contexto recuperado são mais propensos a alucinações.	Atualizar o padrão do prompt para enfatizar a confiança no contexto recuperado. Use um LLM mais capacitado. Implemente uma verificação ou checagem de fatos no passo pós-geração.
Falha em abordar diretamente a consulta do usuário ou fornecer respostas excessivamente genéricas	Compare as respostas geradas às consultas dos usuários para avaliar a relevância e a especificidade. Verificar se determinados tipos de consultas resultam na recuperação do contexto correto, mas o LLM produz resultados de baixa qualidade.	Aprimore o padrão do prompt para incentivar respostas diretas e específicas. Recupere um contexto mais direcionado melhorando o processo de recuperação. Classificar novamente os resultados da recuperação para colocar os blocos mais relevantes em primeiro lugar e fornecê-los apenas ao LLM. Use um LLM mais capacitado.
As respostas geradas são difíceis de entender ou carecem de fluxo lógico	Avalie a saída quanto ao fluxo lógico, à correção gramatical e à compreensibilidade. Analise se a incoerência ocorre com mais frequência com certos tipos de consultas ou quando determinados tipos de contexto são recuperados.	Altere o padrão do prompt para incentivar uma resposta coerente e bem estruturada. Fornecer mais contexto para o LLM, recuperando pedaços adicionais relevantes. Use um LLM mais capacitado.
As respostas geradas não estão no formato ou estilo desejado	Compare a saída com as diretrizes de formato e estilo esperadas. Avalie se certos tipos de consultas ou contexto recuperado têm maior probabilidade de resultar em desvios de formato ou estilo.	Atualizar o prompt padrão para especificar o formato e o estilo de saída desejados. Implemente um passo a passo de pós-processamento para converter a resposta gerada no formato desejado. Adicione um passo a passo para validar a estrutura e o estilo da saída e, se necessário, enviar uma resposta para fallback. Use um LLM que seja ajustado para fornecer resultados em um formato ou estilo específico.

Próximo passo

Se o senhor também identificou problemas com a qualidade da recuperação, continue com o passo 5 (recuperação). Como depurar a qualidade da recuperação.

Se o senhor achar que resolveu todos os problemas identificados, continue com o passo 6. Implemente iterativamente & avalie as correções de qualidade.