Use o AI Builder: Especialização de modelo para criar um agente gen AI para texto

info

Beta

Esse recurso está na versão beta.

Este artigo descreve como criar um agente generativo AI para tarefas personalizadas baseadas em texto usando o AI Builder: Especialização em modelos.

AI O Builder oferece uma abordagem simples e sem código para criar e otimizar sistemas de agentes AI de alta qualidade e específicos do domínio para casos de uso comuns do AI.

O que você pode fazer com a especialização em modelos?

Use o AI Builder: Especialização de modelos para gerar resultados de alta qualidade para qualquer tarefa específica de domínio, como sumarização, classificação, transformações de texto e geração de conteúdo.

Exemplos de especialização de modelos incluem:

• Resumindo o problema e a resolução das chamadas do cliente.
• Analisando o sentimento das avaliações dos clientes.
• Classificação de trabalhos de pesquisa por tópico.
• Geração de comunicados à imprensa para novos recursos.

Com instruções e exemplos de alto nível, o AI Builder: A especialização do modelo otimiza os prompts em nome dos usuários, infere automaticamente os critérios de avaliação, avalia o sistema a partir dos dados fornecidos e implanta o modelo como um produto produzível endpoint.

AI Builder: A especialização de modelos aproveita os recursos de avaliação automatizada, incluindo MLflow e Agent Evaluation, para permitir uma avaliação rápida da relação custo-qualidade para sua tarefa de extração específica. Essa avaliação permite que o senhor tome decisões informadas sobre o equilíbrio entre precisão e investimento em recursos.

Requisitos

• sem suporte de servidor workspace que inclui o seguinte:

  • Unity Catalog habilitado em seu site workspace.
  • parceiros-powered AI recurso assistivo ativado em seu workspace.
  • Um workspace em uma das regiões compatíveis: us-east-1 ou us-west-2.
  • Acesso ao Mosaic AI Model Serving.
  • Acesso a modelos básicos no Unity Catalog por meio do esquema system.ai.
  • Acesso a uma política orçamentáriaserverless com um orçamento diferente de zero.

• Capacidade de usar a funçãoai_query SQL.

• Você deve ter os dados de entrada prontos para uso. Você pode optar por fornecer:

  • Uma tabela do Unity Catalog. O nome da tabela não pode conter nenhum caractere especial (como -).
  • Pelo menos 3 exemplos de entradas e saídas. Se escolher essa opção, o senhor precisará especificar um caminho de destino do esquema do Unity Catalog para o agente e deverá ter as permissões CREATE REGISTERED MODEL e CREATE TABLE para esse esquema.

• Se quiser otimizar seu agente, o senhor precisa de pelo menos 100 entradas (100 linhas em uma tabela do Unity Catalog ou 100 exemplos fornecidos manualmente).

Crie um agente de especialização de modelos​

Acesse AI Builder no painel de navegação esquerdo do site workspace e clique em Model Specialization .

Etapa 1: configurar seu agente

Em Configure (Configurar ) tab, clique em Show an example (Mostrar um exemplo ) > para expandir um exemplo de entrada e resposta de modelo para um agente de especialização de modelo.

No painel abaixo, configure seu agente:

1. Em Describe your task (Descreva sua tarefa ), insira uma descrição clara e detalhada de sua tarefa de especialização, incluindo sua finalidade e o resultado desejado.

2. Forneça um rótulo dataset, um dataset não rotulado ou alguns exemplos para usar na criação de seu agente.

   Os seguintes tipos de dados são suportados: string, int e double.

   tab :::tab-item[rótulo dataset] Se o senhor selecionar o rótulo dataset :

   

   1. Em Select dataset as UC table (Selecionar conjunto de dados como tabela UC ), clique em Browse (Procurar ) para selecionar a tabela no Unity Catalog que o senhor deseja usar. O nome da tabela não pode conter nenhum caractere especial (como -).

      Veja a seguir um exemplo:

      main.model_specialization.customer_call_transcripts

   2. No campo Coluna de entrada , selecione a coluna que você deseja usar como texto de entrada. O menu dropdown é preenchido automaticamente com as colunas da tabela selecionada.

   3. Na coluna Output (opcional) , selecione a coluna que o senhor deseja fornecer como exemplo de saída para as transformações esperadas. Fornecer esses dados ajuda a configurar seu agente para se adaptar com mais precisão às necessidades específicas do seu domínio. :::

   :::tab-item[Unlabeled dataset] Se o senhor selecionar Unlabeled dataset :

   1. Em Select dataset as UC table (Selecionar conjunto de dados como tabela UC ), clique em Browse (Procurar ) para selecionar a tabela no Unity Catalog que o senhor deseja usar. O nome da tabela não pode conter nenhum caractere especial (como -).

   2. No campo Coluna de entrada , selecione a coluna que você deseja usar como texto de entrada. O menu dropdown é preenchido automaticamente com as colunas da tabela selecionada. :::

   :::tab-item[A few examples] Se o senhor selecionar A few examples :

   1. Forneça pelo menos 3 exemplos de entradas e saídas esperadas para sua tarefa de especialização. Fornecer exemplos de alta qualidade ajuda a configurar seu agente especializado para entender melhor seus requisitos.
   2. Para adicionar mais exemplos, clique em + Adicionar.
   3. Em Agent destination (Destino do agente ), selecione o esquema do Unity Catalog no qual o AI Builder ajudará o senhor a criar uma tabela com dados de avaliação. O senhor deve ter as permissões CREATE REGISTERED MODEL e CREATE TABLE para esse esquema. ::: ::::

3. Dê um nome ao seu agente.

4. Clique em Criar agente .

Etapa 2: Crie e melhore seu agente

No site Build tab, o senhor pode analisar as recomendações para aprimorar seu agente, analisar os resultados de modelos de amostra e ajustar as instruções de tarefa e os critérios de avaliação.

No painel Recomendação , a Databricks fornece recomendações para ajudá-lo a definir métricas de avaliação para seu agente e avaliar respostas de amostra como boas ou ruins.

1. Analise as recomendações da Databricks para otimizar o desempenho do agente.

2. Revise os critérios de avaliação sugeridos. Esses critérios de avaliação recomendados são automaticamente inferidos para ajudar você a otimizar seu agente.

   

   Para cada recomendação:

   • Para aceitar a recomendação, selecione Sim. Isso adiciona os critérios de avaliação no painel de configuração do agente .
   • Para rejeitar os critérios, selecione Não .
   • Você também pode optar por Ignorar a recomendação.

3. Analise as entradas e saídas do modelo de amostra e forneça feedback humano opcional. Essa avaliação ajuda a melhorar as respostas do modelo.

   

   Para cada amostra, selecione se foi ou não uma boa resposta. Se não , forneça feedback opcional sobre a resposta e clique em Salvar para passar para a próxima.

4. Depois de terminar de revisar as recomendações, revise o painel de configuração do agente .

   1. O senhor pode ajustar as instruções da tarefa para que sejam mais específicas e melhorar o desempenho do modelo.
   2. Analise os critérios de avaliação que você adicionou nas recomendações. Você pode remover os critérios clicando em X.
   3. Se você quiser adicionar mais critérios de avaliação, clique em + Adicionar para adicionar os seus.

5. Clique em Atualizar agente para salvar essas alterações em seu agente. Os exemplos em Revisar a saída do modelo são atualizados para mostrar novos exemplos de saídas do modelo.

Etapa 3: experimente e otimize seu agente

Experimente seu agente em fluxo de trabalho em Databricks.

Em Use tab,

1. Clique em Try in SQL para abrir o editor SQL e use ai_query para enviar solicitações ao seu novo agente de especialização de modelo.

2. (Opcional) Clique em Otimizar se quiser otimizar seu agente em termos de custos.

   • A otimização requer pelo menos 100 entradas. Se o senhor forneceu um Unity Catalog dataset, a tabela deve conter pelo menos 100 linhas. Se o senhor não tiver fornecido um dataset, precisará fornecer pelo menos 100 exemplos.
   • A otimização pode levar cerca de uma hora.
   • Fazer alterações em seu agente atualmente ativo é bloqueado quando a otimização está em andamento.

Quando a otimização for concluída, o senhor será direcionado para o site Review tab para view uma comparação entre o agente atualmente ativo e um agente otimizado para custo. Consulte (Opcional) Etapa 4: Revisar e implantar um agente otimizado.

(Opcional) Etapa 4: Revisar e implantar um agente otimizado

A Databricks recomenda pelo menos 100 entradas (100 linhas na tabela do Unity Catalog ou 100 exemplos fornecidos manualmente) para otimizar seu agente. Quando você adiciona mais insumos, a base de conhecimento com a qual o agente pode aprender aumenta, o que melhora a qualidade do agente e sua precisão de resposta.

Quando o senhor seleciona Optimize em Use tab, Databricks compara várias estratégias de otimização diferentes para criar e implantar um agente otimizado. Essas estratégias incluem o ajuste fino do Foundation Model, que usa o Databricks Geos.

No site Review tab,

1. Em Resultados da avaliação , o senhor pode revisar as métricas de avaliação do agente otimizado. Para realizar a avaliação, o site Databricks usa métricas com base nos critérios de avaliação que o senhor definiu no Build tab
2. Clique em uma solicitação para abrir mais detalhes. Aqui, o senhor pode ver uma avaliação detalhada de cada métrica de avaliação, incluindo a justificativa para a aprovação ou reprovação. Isso usa o Databricks integrado AI judges. Você também pode inspecionar a entrada e a resposta.
3. Depois de analisar esses resultados, você pode usar seu agente otimizado.

Limitações

• A Databricks recomenda pelo menos 100 entradas (100 linhas na tabela do Unity Catalog ou 100 amostras fornecidas manualmente) para otimizar seu agente. Quando você adiciona mais insumos, a base de conhecimento com a qual o agente pode aprender aumenta, o que melhora a qualidade do agente e sua precisão de resposta.
• Se o senhor fornecer uma tabela do Unity Catalog, o nome da tabela não poderá conter nenhum caractere especial (como -).
• Somente os seguintes tipos de dados são suportados como entradas: string, int e double.
• Atualmente, a capacidade de uso está limitada a 100 mil tokens de entrada e saída por minuto.
• que usam o PrivateLink, incluindo o armazenamento por trás do PrivateLink, não são suportados.