Estúdio RAG

Visualização

Este recurso está na visualização privada. Para experimentar, entre em contato com seu contato do Databricks.

Importante

Para navegar na documentação do RAG Studio, retorne a esta página de índice. A documentação de visualização privada não inclui links de navegação no painel lateral.

Visão geral

O RAG Studio fornece ferramentas e um fluxo de trabalho opinativo para desenvolver, avaliar e iterar aplicativos de geração aumentada de recuperação (RAG), a fim de criar aplicativos que forneçam respostas consistentes e precisas. O RAG Studio é construído com base no MLflow e está totalmente integrado às ferramentas e infraestrutura do Databricks.

Leia mais sobre a filosofia de produto do RAG Studio sobre o desenvolvimento de aplicativos RAG.

Fluxo de trabalho de desenvolvimento

A abordagem do RAG Studio para melhorar a qualidade é tornar mais fácil para os desenvolvedores:

  1. Ajuste vários botões nos 📥 Data Ingestor, 🗃️ Data Processor, 🔍 Retriever e 🔗 Chain do aplicativo RAG para criar um novo Version

  2. Teste o Version off-line com um 📖 Evaluation Set e 🤖 LLM Judges

  3. implantado o Version no 💬 Review UI para coletar feedback do 🧠 Expert Users

  4. Revise 📈 Evaluation Results para determinar se as alterações tiveram um impacto positivo na qualidade, no custo e/ou na latência

  5. Investigue os detalhes em 🗂️ Request Log e 👍 Assessment & Evaluation Results Log para identificar hipóteses sobre como melhorar a qualidade, o custo e/ou a latência

  6. Se necessário, obtenha feedback adicional sobre 🗂️ Request Logs específicos de 🧠 Expert Users usando o 💬 Review UI

  7. Repita até atingir suas metas de qualidade/custo/latência!

  8. implantou a aplicação em produção

Observação

É importante ressaltar que o mesmo fluxo de trabalho de desenvolvimento acima se aplica ao tráfego de produção! O modelo de dados RAG Studio para logs, avaliações e métricas é totalmente unificado entre desenvolvimento e produção.

Tutoriais

O tutorial demonstra como fazer o fluxo de trabalho do desenvolvedor key mencionado acima, com base no aplicativo RAG de amostra com todos os recursos incluído no RAG Studio - um bot de perguntas e respostas sobre a documentação do Databricks.

Importante

A Databricks sugere que o senhor comece a trabalhar com este tutorial. Seguindo os tutoriais nº 1 e nº 2, o senhor implantará uma UI de bate-papo totalmente funcional para o aplicativo de amostra. Embora o senhor possa fazer esses tutoriais em qualquer ordem, eles foram criados para serem feitos em sequência.

  1. Inicialize um aplicativo RAG

  2. Ingerir ou conectar dados brutos

  3. implantou uma versão de um aplicativo RAG

  4. view logs e avaliações

  5. avaliação offline de execução com um 📖 Conjunto de avaliação

  6. Colete feedback de 🧠 usuários especialistas

  7. Crie um 📖 Conjunto de avaliação

  8. Crie versões do seu aplicativo RAG para iterar na qualidade do aplicativo

    • Crie uma versão do 🗃️ Data Processor

    • Crie uma versão do 🔍 Retriever

    • Crie uma versão do 🔗 Chain

  9. Colete feedback sobre 🗂️ Solicitar logs de usuários especialistas

  10. implementei uma aplicação RAG para produção

Guia de conceito

Para se aprofundar nos conceitos e na arquitetura do RAG Studio, leia estes guias.

Referência adicional

Esses documentos fornecem material de referência adicional vinculado ao guia acima.