Use o Agent Bricks: Knowledge Assistant para criar um chatbot de alta qualidade sobre seus documentos

Esta página descreve como usar o Agent Bricks: Knowledge Assistant para criar um chatbot de perguntas e respostas sobre seus documentos e melhorar sua qualidade com base no feedback em linguagem natural de seus especialistas no assunto.

O Agent Bricks oferece uma abordagem simples para construir e otimizar sistemas de agentes de inteligência artificial ( AI ) específicos para cada domínio e de alta qualidade para casos de uso comuns de inteligência artificial ( AI ).

O que é Agent Bricks: Knowledge Assistant?

Utilize o Agent Bricks: Knowledge Assistant para criar um chatbot capaz de responder a perguntas sobre seus documentos e fornecer respostas de alta qualidade com citações. O Knowledge Assistant utiliza AI avançada e segue uma abordagem de Recuperação Instruída para superar as limitações da abordagem tradicional de geração aumentada por recuperação (RAG) e fornecer respostas da mais alta qualidade com base na documentação fornecida.

O Agent Bricks: O Knowledge Assistant é ideal para oferecer suporte aos seguintes casos de uso:

• Responda às perguntas dos usuários com base na documentação do produto.
• Responda às perguntas dos funcionários relacionadas às políticas de RH.
• Responda às perguntas dos clientes com base nas bases de conhecimento de suporte.

O Assistente de Conhecimento permite que você melhore a qualidade do agente de chat e ajuste seu comportamento com base no feedback em linguagem natural de seus especialistas no assunto. Forneça perguntas e orientações diretamente na experiência e compartilhe seu agente para permitir que outros colaborem e melhorem o desempenho do agente.

Agent Bricks: O Knowledge Assistant cria um endpoint de agente que você pode usar posteriormente em seus aplicativos. Por exemplo, a imagem abaixo mostra como você pode interagir com o endpoint conversando com ele no AI Playground. Faça perguntas ao agente relacionadas aos seus documentos, e ele responderá com citações.

O Agent Bricks utiliza o armazenamentodefault para guardar transformações de dados temporárias, pontos de verificação do modelo e metadados internos que alimentam cada agente. Ao excluir um agente, todos os dados associados a ele são removidos do armazenamento default .

Requisitos

• Um workspace que inclui o seguinte:

  • Monitoramento de produção para MLflow (Beta) habilitado. Isso é necessário para que o rastreamento funcione. Veja as prévias do gerenciar Databricks.
  • sem servidor compute ativado. Consulte os requisitos do compute sem servidor.
  • Unity Catalog habilitado. Consulte Ativar um workspace para Unity Catalog.
  • Acesso ao Mosaic AI Model Serving.
  • Acesso a modelos básicos no Unity Catalog por meio do esquema system.ai.
  • Acesso a uma política orçamentáriaserverless com um orçamento diferente de zero.

• Um workspace em uma das regiões suportadas: us-east-1, us-east-2, us-west-2, ca-central-1, eu-central-1, eu-west-1, ap-southeast-1 (requer processamento entre regiões geográficas) ou ap-southeast-2 (requer processamento entre regiões geográficas).

• Para espaços de trabalho com Segurança Aprimorada e conformidade ativadas, a versão prévia do Assistente de Conhecimento deve estar habilitada. Veja as prévias do Gerenciador Databricks.

• O endpoint do modelo de incorporação databricks-gte-large-en deve ter os Guardrails AI e os limites de taxa desabilitados. Consulte Configurar AI Gateway no endpoint do modelo de operação.

• Você deve ter os dados de entrada prontos para uso. Você pode optar por fornecer:

  • Arquivos em um volume ou diretório de volume do Unity Catalog. Os tipos de arquivo suportados são txt, pdf, md, ppt/pptx e doc/docx.
  • Um índice de pesquisa vetorial que usa databricks-gte-large-en como modelo de incorporação. Consulte Criar um índice de pesquisa vetorial.

Crie um agente assistente de conhecimento

Vá para Agentes no painel de navegação à esquerda do seu workspace. No bloco Assistente de Conhecimento , clique em Criar .

Etapa 1: configurar seu agente

Na tab "Construir" , configure seu agente e forneça as fontes de conhecimento para que ele possa usar ao responder às perguntas.

1. No campo Nome , insira um nome para seu agente.

2. No campo Descrição , descreva o que seu agente pode fazer.

3. No painel Fonte de conhecimento , adicione sua fonte de conhecimento. O senhor pode optar por fornecer arquivos do Unity Catalog ou um índice de pesquisa de vetores.

UC Files

Para arquivos UC, os seguintes tipos de arquivo são suportados: txt, pdf, md, ppt/pptx e doc/docx. Arquivos maiores que 50 MB são automaticamente ignorados durante a ingestão e não serão incluídos na base de conhecimento.

1. Em Tipo , selecione Arquivos UC .
2. No campo Source (Origem ), selecione o volume ou diretório do volume do Unity Catalog que contém seus arquivos.
3. No campo Nome , insira um nome para sua fonte de conhecimento.
4. Em Descreva o conteúdo , descreva o conteúdo da fonte de conhecimento para auxiliar o agente a compreender quando utilizar esta fonte de dados.

Vector Search Index

nota

Vector search indexes are only supported if the index uses databricks-gte-large-en as its embedding model. When creating your vector search index, ensure you select this embedding model. For more information, see Create a vector search index.

1. Em Tipo , selecione Índice de pesquisa vetorial .
2. No campo Fonte , selecione o índice de pesquisa vetorial que você deseja fornecer ao agente.
3. No campo Nome , insira um nome para sua fonte de conhecimento.
4. Na coluna Doc URI , selecione a coluna com um link ou referência de onde a informação veio. O agente usará isso em suas citações.
5. No campo Coluna de texto , especifique a coluna que contém o texto bruto que você deseja que o agente recupere.
6. Em Descreva o conteúdo , descreva o conteúdo da fonte de conhecimento para auxiliar o agente a compreender quando utilizar esta fonte de dados.

4. (Opcional) Se você quiser adicionar mais fontes de conhecimento, clique em Adicionar fonte de conhecimento . Você pode fornecer até 10 fontes de conhecimento.

5. (Opcional) No campo Instruções , especifique as diretrizes de como o agente deve responder.

6. Clique em Criar agente .

A criação do seu agente e a sincronização das fontes de conhecimento que você forneceu podem levar algumas horas. Quando o agente estiver pronto, o painel lateral direito exibirá as fontes de conhecimento sincronizadas.

importante

Se você atualizar ou adicionar arquivos às suas fontes de conhecimento, clique em Sincronize para que o agente detecte as alterações. A sincronização é feita de forma incremental. Por exemplo, se você adicionar um novo arquivo a um volume Unity Catalog previamente sincronizado, a sincronização processará apenas o arquivo recém-adicionado.

Somente o criador do assistente de conhecimento pode sincronizar as fontes de conhecimento.

Etapa 2: teste seu agente

Após a conclusão da criação do seu agente, teste-o conversando com ele. O agente deve responder com citações para perguntas relacionadas às suas fontes de conhecimento.

1. Comece a conversar com seu agente diretamente na tab Criar .
2. (Opcional) Você também pode clicar em Abrir no Playground para conversar com ele no AI Playground. Se você tiver o recurso de assistência AI ativado, poderá habilitar o JuizAI e a geração de perguntas sintéticas para ajudar na avaliação do seu agente.
3. Insira uma pergunta para seu agente.
4. Avalie sua resposta:
   1. Clique em visualizar pensamentos para ver como seu agente abordou a resposta à pergunta.
   2. Clique em "Ver rastreamento" para visualizar o rastreamento completo. Você pode adicionar rótulos aos rastreamentos na interface do usuário para acompanhar as avaliações de qualidade durante o processo de desenvolvimento.
   3. Clique em " Exibir fontes" para ver quais arquivos o agente cita como referências. Isso abre um painel lateral com uma lista de fontes para você revisar.

Se você estiver satisfeito com o desempenho do seu agente, continue usando os serviços dele normalmente.

Etapa 3: melhorar a qualidade

O Agent Bricks: Knowledge Assistant pode ajustar o comportamento do agente com base no feedback em linguagem natural. Obtenha feedback de especialistas através da página de configuração para melhorar a qualidade do seu agente. Coletar dados de rótulos para seu agente pode melhorar sua qualidade e comportamento.

Na tab Exemplos , adicione perguntas que seus usuários farão ou perguntas que seu agente já respondeu incorretamente. Alternativamente, você também pode importar dados de rótulo diretamente de uma tabela Unity Catalog .

1. Adicionar perguntas ao rótulo:

   1. Clique em + Adicionar para adicionar uma pergunta.
   2. No modal Adicionar uma pergunta , insira sua pergunta.
   3. Clique em Adicionar . A pergunta deve aparecer na interface do usuário.
   4. Repita até adicionar todas as perguntas que você deseja avaliar.
   5. Para excluir uma pergunta, clique no menu kebab e depois em Excluir.

2. Depois de adicionar suas perguntas, você pode compartilhar o agente com outras pessoas para que elas revisem e ajudem a criar um dataset de rótulos de alta qualidade. No canto superior direito, clique no menu de kebabs. para gerenciar permissões.

   Para que os especialistas possam acessar e fornecer feedback, você precisa conceder a eles as seguintes permissões:

   • Permissão CAN_MANAGE da página de configuração do agente

3. Compartilhe um link para a sua página de configuração do Agent Bricks: Knowledge Assistant para coletar feedback de especialistas.

4. Para etiquetar os dados, clique em uma pergunta e adicione as diretrizes no painel que aparece. As diretrizes entram em vigor imediatamente após serem salvas.

5. Teste o agente novamente na página de configuração ou no AI Playground para verificar seu desempenho aprimorado. Se necessário, adicione mais perguntas e orientações para continuar a melhorar o comportamento.

(Opcional) Importar e exportar dados de rótulos

Para importar novas perguntas e comentários diretamente de uma tabela do Unity Catalog:

1. Clique em Importar .

2. No campo Source (Fonte ), selecione a tabela Unity Catalog que contém os dados do rótulo.

   A tabela deve ter o seguinte esquema:

   • eval_id: string

   • request: string

   • guidelines: array

     • items: string

   • metadata: string

   • tags: string

3. Clique em Importar .

Novas perguntas e diretrizes foram incorporadas à tabela de dados de rótulos à direita.

Para exportar dados de rótulo como uma tabela Unity Catalog :

1. Clique em Exportar .
2. No campo Schema (Esquema ), selecione o local do esquema do Unity Catalog para salvar os dados.
3. No campo Nome da tabela , insira um nome para a tabela.
4. Clique em Exportar.

Uma nova tabela é criada com os dados do rótulo.

gerenciar permissões

Por default, somente os autores do Agent Bricks e os administradores workspace têm permissões para acessar o agente. Para permitir que outros usuários editem ou consultem seu agente, você precisa conceder-lhes permissão explicitamente.

Para gerenciar as permissões do seu agente:

1. Abra sua agência no Agent Bricks.

2. Na parte superior, clique em Cardápio de kebabs.

3. Clique em gerenciar permissões .

4. Na janela Configurações de Permissão , selecione o usuário, grupo ou entidade de serviço.

5. Selecione a permissão que deseja conceder:

   • Gerenciar : Permite gerenciar os Agent Bricks, incluindo definir permissões, editar a configuração do agente e melhorar sua qualidade.
   • Permissão para consulta : Permite consultar o endpoint do Agent Bricks no AI Playground e por meio da API. Usuários com apenas essa permissão não podem view ou editar o agente no Agent Bricks.

6. Clique em Adicionar .

7. Clique em Salvar .

importante

Somente o criador do assistente de conhecimento pode sincronizar as fontes de conhecimento.

Consultar o agente endpoint

Na página do agente, clique Consulte o status do agente no canto superior direito para obter o endpoint do agente implantado e visualizar os detalhes do endpoint.

Existem várias maneiras de consultar o endpoint do assistente de conhecimento criado. Utilize os exemplos de código fornecidos no AI Playground como ponto de partida:

1. Na tab Construir , clique em Abrir no playground .
2. No Playground, clique em Obter código .
3. Escolha como o senhor deseja usar o endpoint:
   • Selecione Curl API para obter um exemplo de código para consultar o endpoint usando curl.
   • Selecione Python API para obter um exemplo de código para interagir com o endpoint usando Python.

Avalie seu assistente de conhecimento

Este Notebook demonstra como avaliar um Databricks Knowledge Assistant usando um conjunto de dados de avaliação selecionado e pontuadores personalizados.

Notebook

Open notebook in new tab

Limitações

• Arquivos maiores que 50 MB são automaticamente ignorados durante a ingestão e não são incluídos na base de conhecimento.

• Arquivos com nomes que começam com um sublinhado (_) ou ponto (.) são automaticamente ignorados durante a ingestão e não são incluídos na base de conhecimento.

• Não há suporte para as tabelas do Unity Catalog.

• Somente índices de pesquisa vetorial que usam databricks-gte-large-en como modelo de incorporação são suportados.

• Os guardrails e limites de taxa AI devem ser desabilitados no endpoint do modelo databricks-gte-large-en . Consulte Configurar AI Gateway no endpoint do modelo de operação.

• Para que o rastreamento funcione, você deve habilitar o monitoramento de produção para o MLflow (Beta). Veja as prévias do gerenciar Databricks.