Filosofia do produto

A filosofia do produto RAG Studio é sustentada pelos seguintes princípios.

Medindo a qualidade

  • Qualidade através de métricas: As métricas objetivas são a pedra angular da avaliação da qualidade. As métricas fornecem indicadores para avaliar a qualidade e o desempenho de custo/latência do aplicativo RAG e, assim, identificar áreas de melhoria.

  • Registro abrangente “sempre ativo”: as métricas funcionam melhor se puderem ser computadas para qualquer invocação do aplicativo RAG. Portanto, toda invocação do app, tanto em desenvolvimento quanto em produção, deve ser logs. Os logs devem capturar todas as entradas e saídas, bem como os passos detalhados que transformam as entradas em saídas.

  • Feedback Humano como Referência: Coletar feedback humano é caro, mas seu valor como medida de qualidade é incomparável. O RAG Studio foi projetado para tornar a coleta de feedback humano o mais eficiente possível.

  • Feedback da escala de juízes LLM: utilizar juízes RAG LLM em conjunto com feedback humano acelera o ciclo de desenvolvimento, permitindo ciclos de desenvolvimento mais rápidos sem aumentar posteriormente o número de avaliadores humanos. No entanto, os juízes RAG LLM não são um substituto, mas sim um acréscimo ao feedback humano.

Ciclo de vida de desenvolvimento

  • Iteração Rápida: O ciclo de criação e teste de novas versões de um aplicativo RAG deve ser rápido

  • Gerenciamento de versões sem esforço: o acompanhamento e o gerenciamento de versões devem ser contínuos, reduzindo a carga cognitiva e permitindo que os desenvolvedores se concentrem em aprimorar a aplicação e não em tarefas administrativas.

  • Desenvolvimento e produção são unificados: As ferramentas, esquemas e processos usados no desenvolvimento devem ser consistentes com aqueles em ambientes de produção, garantindo um fluxo de trabalho consistente para melhoria da qualidade no desenvolvimento até a implantação com a mesma base de código.

Oportunidades de qualidade

O RAG Studio foi criado com base na crença de que existem oportunidades de qualidade em todo o aplicativo RAG - os modelos, o pipeline de processamento de dados e as cadeias. O RAG Studio reconhece a natureza interconectada desses componentes: embora os componentes individuais possam e devam ser otimizados isoladamente, o impacto dessas alterações deve ser avaliado dentro do contexto de todo o aplicativo RAG.

Arquitetura de aplicativo RAG completa