Use o Agent Bricks: Knowledge Assistant para criar um chatbot de alta qualidade sobre seus documentos

info

Beta

Esse recurso está na versão beta.

Esta página descreve como usar o Agent Bricks: Knowledge Assistant para criar um chatbot de perguntas e respostas sobre seus documentos e melhorar sua qualidade com base no feedback em linguagem natural de seus especialistas no assunto.

O Agent Bricks oferece uma abordagem simples para construir e otimizar sistemas de agentes de inteligência artificial ( AI ) específicos para cada domínio e de alta qualidade para casos de uso comuns de inteligência artificial ( AI ).

O que é Agent Bricks: Knowledge Assistant?

Use o Agent Bricks: Knowledge Assistant para criar um chatbot com o qual você pode fazer perguntas em seus documentos e receber respostas de alta qualidade com citações. O Knowledge Assistant usa o site AI avançado e segue uma abordagem de geração aumentada por recuperação (RAG) para fornecer respostas precisas e confiáveis com base no conhecimento especializado no domínio que o senhor fornece.

O Agent Bricks: O Knowledge Assistant é ideal para oferecer suporte aos seguintes casos de uso:

• Responda às perguntas dos usuários com base na documentação do produto.
• Responda às perguntas dos funcionários relacionadas às políticas de RH.
• Responda às perguntas dos clientes com base nas bases de conhecimento de suporte.

O Assistente de Conhecimento permite que você melhore a qualidade do agente de bate-papo e ajuste seu comportamento com base no feedback em linguagem natural de seus especialistas no assunto. Forneça perguntas para uma sessão de rótulo e envie-a para especialistas revisarem no aplicativo Review. Suas respostas fornecem dados de rótulo que ajudam a otimizar o desempenho do agente.

Bricks de agente: O Knowledge Assistant cria um endpoint de agente RAG de ponta a ponta que o senhor pode usar posteriormente em seus aplicativos. Por exemplo, a imagem abaixo mostra como o senhor pode interagir com o endpoint conversando com ele no AI Playground. Faça perguntas ao agente relacionadas aos seus documentos e o agente responderá com citações.

Requisitos

• Um workspace que inclui o seguinte:

  • Mosaic AI Agent Bricks Preview (Beta) ativado. Veja gerenciar Databricks Previews.
  • Monitoramento da produção para MLflow (Beta) ativado. Isso é necessário para que o rastreamento funcione. Veja gerenciar Databricks Previews.
  • sem servidor compute ativado. Consulte os requisitos do compute sem servidor.
  • Unity Catalog habilitado. Consulte Ativar um workspace para Unity Catalog.
  • parceiros-powered AI recurso assistivo ativado.
  • Acesso ao Mosaic AI Model Serving.
  • Acesso a modelos básicos no Unity Catalog por meio do esquema system.ai.
  • Acesso a uma política orçamentáriaserverless com um orçamento diferente de zero.

• Um workspace em uma das regiões compatíveis: us-east-1 ou us-west-2.

• Você deve ter os dados de entrada prontos para uso. Você pode optar por fornecer:

  • Arquivos em um volume ou diretório de volume do Unity Catalog. Os tipos de arquivo suportados são txt, pdf, md, ppt/pptx e doc/docx.
  • Um índice de pesquisa vetorial que usa databricks-gte-large-en como modelo de incorporação. Consulte Criar um índice de pesquisa vetorial.

Crie um agente assistente de conhecimento

Acesse Agents no painel de navegação esquerdo de seu site workspace e clique em Knowledge Assistant.

Etapa 1: configurar seu agente

Em Configure (Configurar ) tab, configure seu agente e forneça fontes de conhecimento que ele usará para responder às perguntas.

1. No campo Nome , insira um nome para seu agente.

2. No campo Descrição , descreva o que seu agente pode fazer.

3. No painel Fonte de conhecimento , adicione sua fonte de conhecimento. O senhor pode optar por fornecer arquivos do Unity Catalog ou um índice de pesquisa de vetores.

UC Files

Para arquivos UC, os seguintes tipos de arquivo são suportados: txt, pdf, md, ppt/pptx e doc/docx. Arquivos maiores que 50 MB são automaticamente ignorados durante a ingestão e não serão incluídos na base de conhecimento.

1. Em Tipo , selecione Arquivos UC .
2. No campo Source (Origem ), selecione o volume ou diretório do volume do Unity Catalog que contém seus arquivos.
3. No campo Nome , insira um nome para sua fonte de conhecimento.
4. Em Descreva o conteúdo , descreva o conteúdo da fonte de conhecimento para auxiliar o agente a compreender quando utilizar esta fonte de dados.

Vector Search Index

nota

Vector search indexes are only supported if the index uses databricks-gte-large-en as its embedding model. When creating your vector search index, ensure you select this embedding model. For more information, see Create a vector search index.

1. Em Tipo , selecione Índice de pesquisa vetorial .
2. No campo Fonte , selecione o índice de pesquisa vetorial que você deseja fornecer ao agente.
3. Na coluna Doc URI , selecione a coluna com um link ou referência de onde a informação veio. O agente usará isso em suas citações.
4. No campo Coluna de texto , especifique a coluna que contém o texto bruto que você deseja que o agente recupere.
5. No campo Nome , insira um nome para sua fonte de conhecimento.
6. Em Descreva o conteúdo , descreva o conteúdo da fonte de conhecimento para auxiliar o agente a compreender quando utilizar esta fonte de dados.

4. (Opcional) Se você quiser adicionar mais fontes de conhecimento, clique em Adicionar fonte de conhecimento . Você pode fornecer até 10 fontes de conhecimento.

5. (Opcional) No campo Instruções , especifique as diretrizes de como o agente deve responder.

   

6. Clique em Criar agente .

Pode levar algumas horas para criar seu agente e sincronizar as fontes de conhecimento que você forneceu. O painel do lado direito será atualizado com links para o agente implantado, o experimento e as fontes de conhecimento sincronizadas.

Etapa 2: teste seu agente

Depois que o agente terminar de ser construído, o senhor pode testá-lo no AI Playground. O agente deve responder com citações para perguntas relacionadas às suas fontes de conhecimento.

1. Em Deployed agent (Agente implantado ), no painel do lado direito, clique em Try in Playground (Testar no Playground ). Isso abre o AI Playground com seu endpoint de agente conectado. Aqui, você pode conversar com seu agente e analisar suas respostas.

   

2. Se o senhor tiver o recurso de assistência AI ativado, poderá ativar o AI Judge e a geração de perguntas sintéticas para ajudá-lo a avaliar seu agente.

3. Insira uma pergunta para seu agente.

4. Avalie sua resposta:

   

   1. Clique em visualizar pensamentos para ver como seu agente abordou a resposta à pergunta.
   2. Clique na caixa em Fontes para ver quais arquivos o agente está citando. Isso abre o arquivo em um painel lateral para você revisar.
   3. O AI Judge pode ajudar a avaliar rapidamente a resposta quanto à fundamentação, segurança e relevância.
   4. Analise as perguntas sugeridas para ver outras perguntas a serem feitas ao seu agente.

Se o senhor estiver satisfeito com o desempenho do seu agente, continue usando-o como está. Em default, o ponto de extremidade do Agent Bricks é zerado após 3 dias de inatividade, portanto, o senhor só será cobrado pelo tempo de atividade.

Etapa 3: melhorar a qualidade

Agent Bricks: O Knowledge Assistant pode ajustar o comportamento do agente com base no feedback em linguagem natural. Obtenha feedback humano por meio de uma sessão de rótulo para melhorar a qualidade do seu agente. A coleta de dados de rótulo para seu agente pode melhorar sua qualidade. O Agent Bricks treinará novamente e otimizará o agente a partir dos novos dados.

Na seção Melhorar a qualidade tab, adicione perguntas e comece a sessão de rótulo. Como alternativa, o senhor também pode importar dados de rótulos diretamente de uma tabela do site Unity Catalog.

1. Adicione perguntas para incluir em sua sessão de rótulo:

   1. Clique em + Adicionar para adicionar uma pergunta.
   2. No modal Adicionar uma pergunta , insira sua pergunta.
   3. Clique em Adicionar . A pergunta deve aparecer na interface do usuário.
   4. Repita até adicionar todas as perguntas que você deseja avaliar.
   5. Para excluir uma pergunta, clique no menu kebab e depois em Excluir.

   Databricks recomenda acrescentar pelo menos 20 perguntas em uma sessão de rótulo para garantir que sejam coletados dados suficientes sobre o rótulo.

   

2. Depois que o senhor terminar de adicionar suas perguntas, envie-as para especialistas para que as analisem e o ajudem a criar um rótulo de alta qualidade dataset. À direita, clique em começar rótulo session .

   Quando sua sessão de rótulo estiver pronta, a interface do usuário será atualizada conforme mostrado abaixo.

   

3. Compartilhe o aplicativo de avaliação com especialistas para obter feedback.

   Para saber mais sobre as sessões de rótulo e o aplicativo de revisão, consulte Use o aplicativo de revisão para revisões humanas de um aplicativo gen AI (MLflow 2).

nota

Para que os especialistas acessem a sessão de rótulo, o senhor precisa conceder a eles as seguintes permissões:

• CAN QUERY permissão para o endpoint

• Permissão de edição para o experimento

• Permissões USE CATALOG, USE SCHEMA e SELECT para o esquema

4. Para rotular os dados por conta própria, clique em Open rótulo session (Abrir sessão de rótulo ).

   Isso abre o aplicativo de avaliação em um novo tab. Como revisor:

   1. Clique em começar review . Para cada pergunta, o revisor verá a pergunta e a resposta do agente.

   2. No lado esquerdo, revise a pergunta e a resposta. O senhor pode clicar em visualizar pensamentos para ver como o agente está pensando sobre a pergunta.

   3. No lado direito, em Expectativas , revise todas as diretrizes existentes e adicione mais conforme achar necessário.

      1. Para adicionar uma diretriz, clique em + Adicionar entrada .
      2. Insira a diretriz na caixa de texto exibida.
      3. Clique em Salvar .

   4. Em Feedback , insira seu feedback e clique em Salvar .

   5. Quando terminar de revisar uma pergunta, clique em Próxima > não revisada no canto superior direito para passar para a próxima.

   6. Quando terminar de revisar todas as perguntas, basta sair do aplicativo de avaliação.

      

5. Quando os avaliadores terminarem as sessões de rótulo, retorne à seção Melhorar a qualidade do seu agente tab.

6. Clique em merge para merge feedback dos especialistas para seu rótulo dataset. A tabela de perguntas no lado direito será atualizada com o feedback da mesclagem.

   

7. Revise os registros de feedback.

8. Teste o agente novamente no AI Playground para ver o desempenho aprimorado. Se necessário, comece outra sessão de rótulo para coletar mais dados de rótulo.

(Opcional) Importar e exportar dados da sessão do rótulo

Para importar novas perguntas e comentários diretamente de uma tabela do Unity Catalog:

1. Clique em Importar .

2. No campo Source (Fonte ), selecione a tabela Unity Catalog que contém os dados do rótulo.

   A tabela deve ter o seguinte esquema:

   • eval_id: string

   • request: string

   • guidelines: array

     • items: string

   • feedback_records: array

     • items: string

   • metadata: string

   • tags: string

3. Clique em Importar .

Novas perguntas e registros de feedback são mesclados na tabela de dados do rótulo à direita.

Para exportar dados de feedback da sessão de rótulo como uma tabela Unity Catalog:

1. Clique em Exportar .
2. No campo Schema (Esquema ), selecione o local do esquema do Unity Catalog para salvar os dados.
3. No campo Nome da tabela , insira um nome para a tabela.
4. Clique em Exportar.

Uma nova tabela é criada com os dados de feedback da sessão de rótulo.

Consultar o agente endpoint

Há várias maneiras de consultar o assistente de conhecimento criado endpoint. Use os exemplos de código fornecidos no AI Playground como ponto de partida.

1. No site Configure tab, clique em Open in playground (Abrir no playground ).
2. No Playground, clique em Obter código .
3. Escolha como o senhor deseja usar o endpoint:
   • Selecione Aplicar nos dados para criar uma consulta SQL que aplique o agente a uma coluna específica da tabela.
   • Selecione Curl API para obter um exemplo de código para consultar o endpoint usando curl.
   • Selecione Python API para obter um exemplo de código para interagir com o endpoint usando Python.

Limitações

• Arquivos maiores que 50 MB são automaticamente ignorados durante a ingestão e não são incluídos na base de conhecimento.
• Os espaços de trabalho que possuem Segurança Avançada e conformidade ativadas não são suportados.
• Não há suporte para as tabelas do Unity Catalog.
• Somente índices de pesquisa vetorial que usam databricks-gte-large-en como modelo de incorporação são suportados.
• Para que o rastreamento funcione, o senhor deve ativar o monitoramento de produção para o MLflow (Beta). Veja gerenciar Databricks Previews.