o passo 2. implantado POC para coletar feedback das partes interessadas

Ao final deste passo, o senhor terá implantado o Agent Evaluation Review App, que permite que as partes interessadas testem e forneçam feedback sobre seu POC. O logs detalhado do uso de seus participantes e o feedback deles fluirão para as tabelas Delta em sua casa do lago.

Prova de conceito do aplicativo RAG

Requisitos

Consulte o repositório do GitHub para obter o código de amostra nesta seção.

Aplicação RAG de prova de conceito

O primeiro passo no desenvolvimento orientado por avaliação é criar uma prova de conceito (POC). Um POC oferece os seguintes benefícios:

  • Fornece um direcionamento view sobre a viabilidade de seu caso de uso com o RAG

  • Permite coletar feedback inicial das partes interessadas, o que, por sua vez, permite criar a primeira versão do seu Conjunto de Avaliação

  • Estabelece uma medida básica de qualidade para começar a iterar a partir dela

Databricks recomenda que o senhor crie seu POC usando a arquitetura RAG mais simples e Databricks o padrão recomendado para cada parâmetro.

Essa recomendação ocorre porque existem centenas de combinações possíveis de parâmetros que você pode ajustar em seu aplicativo RAG. Você pode facilmente passar semanas ajustando-os, mas se fizer isso antes de poder avaliar sistematicamente seu RAG, você acabará no que é chamado de ciclo destrutivo do POC— iterando as configurações, mas sem como saber objetivamente se você fez uma melhoria — enquanto suas partes interessadas aguardam impacientemente a análise.

O padrão POC deste livro de receitas foi projetado tendo em mente a iteração de qualidade. Eles são parametrizados com base no que a equipe de pesquisa da Databricks demonstrou ser importante ajustar para melhorar a qualidade do RAG. Esses padrões não são "3 linhas de código que magicamente criam um RAG", mas são um aplicativo RAG bem estruturado que pode ser ajustado quanto à qualidade nos passos seguintes de um fluxo de trabalho de desenvolvimento orientado por avaliação.

Isso permite que o senhor implante rapidamente um POC, mas faça uma transição rápida para a iteração de qualidade sem precisar reescrever o código.

abaixo é a arquitetura técnica do aplicativo POC:

Arquitetura de aplicativos POC

Observação

Em default, o POC usa os modelos de código aberto disponíveis em Mosaic AI Foundation servindo modelo. No entanto, como o POC usa Mosaic AI Model Serving, que suporta qualquer modelo de fundação, é fácil usar um modelo diferente - basta configurar esse modelo em servindo modelo e, em seguida, substituir o embedding_endpoint_name e o llm_endpoint_name no 00_config Notebook.

os passos para implantar um POC para coletar feedback

Os passos a seguir mostram como executar e implantar um aplicativo de AI generativo POC. Depois de implantado, o senhor recebe um URL para o aplicativo de avaliação que pode ser compartilhado com as partes interessadas para coletar feedback.

  1. Abra a pasta do código POC em a_POC_app com base no seu tipo de dados:

    Se seus dados não atenderem a um dos requisitos acima, o senhor poderá personalizar a função de análise (parser_udf) em 02_poc_data_pipeline nos diretórios POC acima para trabalhar com seus tipos de arquivo.

    Dentro da pasta POC, o senhor vê o seguinte Notebook:

    Arquivos de notebook

    Observação

    Esses Notebooks são relativos ao POC específico que o senhor escolheu. Por exemplo, se o senhor vir uma referência a 00_config e tiver escolhido pdf_uc_volume, poderá encontrar o 00_config Notebook relevante em A_POC_app/pdf_uc_volume/00_config. Notebook relevante em A_POC_app/pdf_uc_volume/00_config.

  2. Opcionalmente, revise os parâmetros do site default.

    Abra o 00_config Notebook no diretório da POC que o senhor escolheu acima para view os aplicativos da POC default parâmetros para a cadeia pipeline de dados e RAG.

    Importante

    Os parâmetros recomendados pelo site Databricks default não pretendem ser perfeitos, mas são um ponto de partida. Os próximos passos deste fluxo de trabalho orientam o senhor na iteração desses parâmetros.

  3. Valide a configuração.

    Execute o 01_validate_config para verificar se sua configuração é válida e se todos os recursos estão disponíveis. O arquivo rag_chain_config.yaml aparece no seu diretório e é usado para implantar o aplicativo.

  4. execução do pipeline de dados.

    O POC pipeline de dados é um notebook Databricks baseado em Apache Spark. Abra o 02_poc_data_pipeline Notebook e pressione Executar tudo para executar o pipeline. O pipeline faz o seguinte:

    • Carrega os documentos brutos do volume UC

    • Analisa cada documento, salvando os resultados em uma tabela Delta

    • Divide cada documento em partes, salvando os resultados em uma tabela Delta

    • Incorpora os documentos e cria um índice vetorial usando o Mosaic AI Vector Search

    Metadados, como tabelas de saída e configuração, sobre o pipeline de dados são registrados em MLflow:

    GIF para mostrar o pipeline de dados

    O senhor pode inspecionar os resultados procurando os links para as tabelas Delta ou os índices vetoriais na parte inferior do Notebook:

    Vector index: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>_poc_chunked_docs_gold_index

Output tables:

Bronze Delta Table w/ raw files: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>__poc_raw_files_bronze
Silver Delta Table w/ parsed files: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>__poc_parsed_docs_silver
Gold Delta Table w/ chunked files: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>__poc_chunked_docs_gold

  5. implantado a cadeia POC para o aplicativo Review.

    A corrente default POC é uma corrente RAG de conversação de várias voltas construída usando LangChain.

    Observação

    A cadeia POC usa o registro baseado em código MLflow. Para entender mais sobre o registro baseado em código, consulte Registro baseado em código versus registro baseado em serialização.

    1. Abrir o 03_deploy_poc_to_review_app Notebook

    2. execução de cada célula do Notebook.

    3. O rastreamento do MLflow mostra ao senhor como o aplicativo POC funciona. Ajuste a pergunta de entrada para uma que seja relevante para o seu caso de uso e reexecute a célula para "verificar a vibração" do aplicativo.

      GIF mostrando o MLflow Tracing

    4. Modifique as instruções do site default para que sejam relevantes para seu caso de uso. Eles são exibidos no aplicativo Review.

         instructions_to_reviewer = f"""## Instructions for Testing the {RAG_APP_NAME}'s Initial Proof of Concept (PoC)

   Your inputs are invaluable for the development team. By providing detailed feedback and corrections, you help us fix issues and improve the overall quality of the application. We rely on your expertise to identify any gaps or areas needing enhancement.

   1. **Variety of Questions**:
      - Please try a wide range of questions that you anticipate the end users of the application will ask. This helps us ensure the application can handle the expected queries effectively.

   2. **Feedback on Answers**:
      - After asking each question, use the feedback widgets provided to review the answer given by the application.
      - If you think the answer is incorrect or could be improved, please use "Edit Answer" to correct it. Your corrections will enable our team to refine the application's accuracy.

   3. **Review of Returned Documents**:
      - Carefully review each document that the system returns in response to your question.
      - Use the thumbs up/down feature to indicate whether the document was relevant to the question asked. A thumbs up signifies relevance, while a thumbs down indicates the document was not useful.

   Thank you for your time and effort in testing {RAG_APP_NAME}. Your contributions are essential to delivering a high-quality product to our end users."""

   print(instructions_to_reviewer)

    5. Execute a célula de implantação para obter um link para o aplicativo Review.

      Review App URL: https://<your-workspace-url>.databricks.com/ml/review/<uc-catalog>.<uc-schema>.<uc-model-name>/<uc-model-version>

  6. Conceda permissões a usuários individuais para acessar o aplicativo Review.

    O senhor pode conceder acesso a usuários que não sejam doDatabricks seguindo os passos em Configurar permissões para o aplicativo de revisão workspace.

  7. Teste o aplicativo de avaliação fazendo algumas perguntas você mesmo e fornecendo feedback.

    Observação

    Os MLflow Traces e o feedback do usuário do Review App aparecem em Delta Tables no esquema de catálogo que o senhor configurou. Os registros podem levar até 2 horas para aparecer nas tabelas do site Delta.

  8. Compartilhe o aplicativo Review com as partes interessadas

    Agora você pode compartilhar seu aplicativo POC RAG com as partes interessadas para obter feedback.

    Importante

    A Databricks sugere distribuir seu POC para pelo menos três partes interessadas e pedir que cada uma delas faça de 10 a 20 perguntas. É importante que várias partes interessadas testem seu POC para que você possa ter um conjunto diversificado de perspectivas para incluir em seu conjunto de avaliação.