Conceitos-chave do RAG Studio

Visualização

Este recurso está na visualização privada. Para experimentar, entre em contato com seu contato do Databricks.

Procurando um documento RAG Studio diferente? Vá para o índice de documentação RAG

Exploração madeireira

O núcleo do RAG Studio está sempre ativo em registros 📝 Trace . Cada vez que seu aplicativo é invocado, o RAG Studio captura automaticamente registros detalhados e passo a passo de cada ação realizada dentro do 🔗 Chain, salvando-os no 🗂️ Request Log que é simplesmente uma tabela Delta.

Este registro é baseado na funcionalidade de Tabelas de Inferência do modelo instalado.

view o esquema 🗂️ Request Log para obter mais detalhes.

Avaliações

Para cada 🗂️ Request Log, você pode associar um 👍 Assessment & Evaluation Results Log a esses registros. Uma avaliação representa feedback sobre isso 📝 Trace Por exemplo, os documentos recuperados foram relevantes? a resposta estava correta? etc. Cada 📝 Trace pode ter diversas avaliações de fontes diferentes: uma de suas 🧠 Expert Users, 👤 End Users ou uma 🤖 LLM Judge

view o esquema 👍 Assessment & Evaluation Results Log para obter mais detalhes.

Avaliações on-line

🗂️ Request Log e 👍 Assessment & Evaluation Results Log são usados para compute métricas que permitem compreender a qualidade, o custo e a latência do seu aplicativo RAG com base no feedback coletado de 👤 End Users e 🧠 Expert Users. Os cálculos de métricas são adicionados à tabela 👍 Assessment & Evaluation Results Log e podem ser acessados por meio de 🕵️‍♀️ Exploration & Investigation UI.

view as métricas calculadas pelo RAG Studio para obter mais detalhes.

Avaliações off-line

As avaliações off-line permitem que você selecione 📖 Evaluation Sets que são 🗂️ Request Log (opcionalmente vinculados à resposta verdadeira de um 👍 Assessment & Evaluation Results Log) que contêm consultas representativas que seu aplicativo RAG suporta. Você usa um 📖 Evaluation Set para compute as mesmas métricas das avaliações on-line; no entanto, a avaliação off-line normalmente é feita para avaliar a qualidade, o custo e a latência de uma nova versão antes de implantar o aplicativo RAG para seus usuários.

Versões

Para criar aplicativos RAG que forneçam respostas precisas, você deve ser capaz de criar e comparar rapidamente AMBAS as versões ponta a ponta do seu aplicativo RAG e versões dos componentes individuais (🗃️ Data Processor, 🔗 Chain, etc) que fazem crie seu aplicativo RAG. Por exemplo, você pode querer ver como chunk_size = 500 se compara a chunk_size = 1000. O RAG Studio oferece suporte a versões de registro - cada versão representa o código e a configuração dos componentes individuais.

Esquemas unificados online e offline

Um conceito central do RAG Studio é que toda a infraestrutura e esquemas de dados sejam unificados entre desenvolvimento e produção. Isso permite testar rapidamente uma nova versão com 🧠 Expert Users e, em seguida, implantá-la na produção depois de validada, usando o mesmo código de instrumentação e medindo as mesmas métricas em ambos os ambientes.

Ambientes

No entanto, ter a mesma infraestrutura e esquemas no desenvolvimento e na produção pode criar uma linha tênue entre esses ambientes. O RAG Studio oferece suporte a vários ambientes porque é extremamente importante que os desenvolvedores mantenham uma separação clara entre esses ambientes.

view os ambientes para mais detalhes.

Terminologia chave

Configuração do aplicativo

  • ⚙️ Global Configuration: o nome workspace do aplicativo, o do Databricks onde o aplicativo é implantado, o Unity Catalog esquema onde os ativos estão armazenados e (opcionalmente) o experimento MLflow e de pesquisa vetorial endpoint.

  • Configuração🤖 LLM Judge : configuração de como 🤖 LLM Judges são executados pelo RAG Studio.

Código e configuração do componente

  • 📥 Data Ingestor: um pipeline de dados que ingere documentos não estruturados brutos de uma fonte de dados bruta de terceiros (como Confluence, Google Drive etc.) em um volume UC. Cada 📥 Data Ingestor pode ser associado a qualquer número de 🗃️ Data Processor.

  • 🗃️ Data Processor: um pipeline de dados que analisa, fragmenta e incorpora documentos não estruturados de um 📥 Data Ingestor em fragmentos armazenados em um índice vetorial. Um 🗃️ Data Processor está associado a 1+ 📥 Data Ingestor.

  • 🔍 Retriever: lógica que recupera partes relevantes de um índice vetorial. Dadas as dependências entre a lógica de processamento e a lógica de recuperação, um 🔍 Retriever está associado a 1+ 🗃️ Data Processors. Um 🔍 Retriever pode ser uma simples chamada para um Índice vetorial ou uma série mais complexa de passos, incluindo um reclassificador.*

  • 🔗 Chain: o código de orquestração que une 🔍 Retriever e modelos de IA generativos para transformar uma consulta (pergunta) do usuário em resposta (resposta) do bot. Cada 🔗 Chain está associado a 1+ 🔍 Retrievers.

Dados gerados pelo RAG Studio

  • 🗂️ Request Log: o passo a passo 📝 Trace de cada invocação 🔗 Chain , por exemplo, cada consulta do usuário e resposta do bot, juntamente com rastreamentos detalhados dos passos seguidos pelo 🔗 Chain para gerar essa resposta.

  • 👍 Assessment & Evaluation Results Log: feedback fornecido pelo usuário ou 🤖 LLM Judge (polegar para cima/não, respostas editadas do bot, etc.) que está vinculado a um 📝 Trace. Os resultados das avaliações de computação do RAG Studio (também conhecidas como métricas) são adicionados a cada linha desta tabela.

Dados selecionados por 👩‍💻 RAG App Developer

  • 📖 Evaluation Set: 🗂️ Request Log, opcionalmente com 👍 Assessment & Evaluation Results Log associado, que contém perguntas/respostas representativas usadas para avaliação off-line do Aplicativo RAG.

  • 📋 Review Set: 🗂️ Request Log que são selecionados pelo desenvolvedor para fins de coleta de feedback de 🧠 Expert Userspara criar 📖 Evaluation Sets.

Interfaces de usuário do RAG Studio

  • 💬 Review UI: um aplicativo da web baseado em bate-papo para solicitar feedback de 🧠 Expert Users ou para um 👩‍💻 RAG App Developer testar o aplicativo.

  • 🕵️‍♀️ Exploration & Investigation UI: uma UI, integrada ao Databricks, para visualizar avaliações de computação (métricas) sobre uma versão do aplicativo RAG e investigar 🗂️ Request Logse 👍 Assessment & Evaluation Results Logs individuais.