Pular para o conteúdo principal
Última atualização em

Use o Custom LLM para criar um agente AI genérico para texto (legado).

info

Beta

Este recurso está em versão Beta. Os administradores do espaço de trabalho podem controlar o acesso a este recurso na página de Pré-visualizações . Veja as prévias do Gerenciador Databricks.

Este artigo descreve como criar um agente AI generativo para tarefas personalizadas baseadas em texto usando o Custom LLM.

O que o senhor pode fazer com o LLM personalizado?​

Utilize o Custom LLM para gerar resultados de alta qualidade para qualquer tarefa específica de domínio, como sumarização, classificação, transformações de texto e geração de conteúdo.

O LLM personalizado é ideal para os seguintes casos de uso:

  • Resumindo o problema e a resolução das chamadas do cliente.
  • Analisando o sentimento das avaliações dos clientes.
  • Classificação de trabalhos de pesquisa por tópico.
  • Geração de comunicados à imprensa para novos recursos.

Com base em instruções e exemplos de alto nível, o Custom LLM otimiza as solicitações em nome dos usuários, infere automaticamente os critérios de avaliação, avalia o sistema a partir dos dados fornecidos e implanta o modelo como um endpoint pronto para produção.

O Custom LLM aproveita recursos de avaliação automatizada, incluindo MLflow e Agent Evaluation, para permitir uma avaliação rápida da relação custo-benefício para sua tarefa de extração específica. Esta avaliação permite que você tome decisões informadas sobre o equilíbrio entre precisão e investimento em recursos.

LLM personalizado usa o armazenamentodefault para guardar transformações de dados temporárias, pontos de verificação do modelo e metadados internos que alimentam cada agente. Ao excluir um agente, todos os dados associados a ele são removidos do armazenamento default .

Requisitos​

  • Um workspace que inclui o seguinte:

  • Um workspace em uma das regiões suportadas.

  • Capacidade de usar a funçãoai_query SQL.

  • Você deve ter os dados de entrada prontos para uso. Você pode optar por fornecer:

    • Uma tabela do Unity Catalog. O nome da tabela não pode conter nenhum caractere especial (como -).

    • Pelo menos 3 exemplos de entradas e saídas. Se escolher essa opção, o senhor precisará especificar um caminho de destino do esquema do Unity Catalog para o agente e deverá ter as permissões CREATE REGISTERED MODEL e CREATE TABLE para esse esquema.

  • Se quiser otimizar seu agente, o senhor precisa de pelo menos 100 entradas (100 linhas em uma tabela do Unity Catalog ou 100 exemplos fornecidos manualmente).

Criar um agente LLM personalizado​​

Vá para Ícone de agentes. Agentes no painel de navegação à esquerda do seu workspace. No bloco LLM personalizado , clique em Construir .

Etapa 1: configurar seu agente​

Na tab Construir , clique em Mostrar um exemplo > para expandir um exemplo de entrada e resposta do modelo para um agente LLM personalizado.

No painel abaixo, configure seu agente:

  1. Em Describe your task (Descreva sua tarefa ), insira uma descrição clara e detalhada de sua tarefa de especialização, incluindo sua finalidade e o resultado desejado.

  2. Forneça um rótulo dataset, um dataset não rotulado ou alguns exemplos para usar na criação de seu agente.

    Se você quiser usar PDFs, primeiro converta-os em uma tabela Unity Catalog . Consulte a seção "Usar PDFs no LLM personalizado".

    Os seguintes tipos de dados são suportados: string, int e double.

Se você selecionar rótulo dataset :

CL: select rótulo dataset.

  1. Em Select dataset as UC table (Selecionar conjunto de dados como tabela UC ), clique em Browse (Procurar ) para selecionar a tabela no Unity Catalog que o senhor deseja usar. O nome da tabela não pode conter nenhum caractere especial (como -).

    Veja a seguir um exemplo:

    main.model_specialization.customer_call_transcripts

  2. No campo Coluna de entrada , selecione a coluna que você deseja usar como texto de entrada. O menu dropdown é preenchido automaticamente com as colunas da tabela selecionada.

  3. Na coluna Output , selecione a coluna que o senhor deseja fornecer como exemplo de saída para as transformações esperadas. Fornecer esses dados ajuda a configurar seu agente para se adaptar com mais precisão às necessidades específicas do seu domínio.

  1. Dê um nome ao seu agente.

  2. Clique em Criar agente .

Etapa 2: Crie e melhore seu agente​

Na tab Construir , revise as recomendações para aprimorar seu agente, examine exemplos de saídas do modelo e ajuste as instruções da sua tarefa e os critérios de avaliação.

  1. No painel de Recomendações , o Databricks fornece sugestões para ajudar você a otimizar e avaliar as respostas de amostra como boas ou ruins.

    1. Analise as recomendações da Databricks para otimizar o desempenho do agente.
    2. Forneça feedback para melhorar as respostas. Para cada resposta, responda: Esta é uma boa resposta? Com Sim ou Não . Caso a resposta seja "Não" , forneça um feedback opcional e clique em "Salvar" para prosseguir para a próxima.
    3. Você também pode optar por Ignorar a recomendação.

  2. À direita, em Diretrizes , defina orientações claras para ajudar seu agente a produzir o resultado correto. Esses dados também serão usados para avaliar a qualidade automaticamente.

    1. Analise as diretrizes sugeridas. As sugestões de diretrizes são inferidas automaticamente para ajudar você a otimizar seu agente. Você pode refiná-los ou excluí-los.
    2. O programa Custom LLM pode propor diretrizes adicionais. Selecione Aceitar para adicionar a nova diretriz, Rejeitar para rejeitá-la ou clique no texto para editar a diretriz primeiro.
    3. Para adicionar suas próprias diretrizes, clique aqui. Ícone de mais (+). Adicionar .
    4. Clique em Salvar e atualizar para atualizar o agente.

  3. (Opcional) No lado direito, em Instruções , descreva sua tarefa. Adicione quaisquer instruções adicionais que o agente deva seguir ao gerar suas respostas. Clique em Salvar e atualizar para aplicar as instruções.

  4. Após a atualização do agente, novas respostas de amostra são geradas. Analise e forneça feedback sobre essas respostas.

o passo 3: Avalie seu agente​

Um relatório de qualidade contendo um pequeno conjunto de resultados de avaliação é gerado automaticamente a partir de suas diretrizes. Analise este relatório na tab Qualidade .

Cada diretriz aceita é usada como métrica de avaliação. Para cada solicitação gerada, a resposta é avaliada de acordo com as diretrizes e recebe uma classificação de aprovado/reprovado. Essas avaliações são usadas para gerar as pontuações de avaliação exibidas na parte superior. Clique em um resultado de avaliação para ver os detalhes completos.

Utilize o relatório de qualidade para ajudá-lo a decidir se o agente precisa de otimizações adicionais.

(Opcional) Otimize seu agente​

Um modelo personalizado de gestão de litígios (LLM) pode ajudar a otimizar o custo para o seu agente. Databricks recomenda pelo menos 100 entradas (sejam 100 linhas na sua tabela Unity Catalog ou 100 exemplos fornecidos manualmente) para otimizar seu agente. Ao adicionar mais entradas, a base de conhecimento da qual o agente pode aprender aumenta, o que melhora a qualidade do agente e a precisão de suas respostas.

Ao otimizar seu agente, Databricks compara diversas estratégias de otimização diferentes para construir e implantar um agente otimizado. Essas estratégias incluem o ajuste fino do modelo Foundation, que utiliza o Databricks Geos.

Para otimizar seu agente:

  1. Clique em Otimizar .

  2. Clique em Iniciar otimização .

    A otimização pode levar algumas horas. Fazer alterações no agente atualmente ativo é bloqueado quando a otimização está em andamento.

  3. Quando a otimização estiver concluída, revise a comparação entre seu agente atualmente ativo e o agente otimizado em termos de custo.

  4. Depois de analisar esses resultados, selecione o melhor modelo em implantado best model to an endpoint e clique em implantado .

o passo 4: Use seu agente​

Experimente seu agente em fluxo de trabalho em Databricks.

Para começar a usar seu agente, clique em Usar . Você tem as seguintes opções:

  • Clique em Try in SQL para abrir o editor SQL e use ai_query para enviar solicitações ao seu novo agente LLM personalizado.

  • Clique em Criar pipeline para implantar um pipeline que será executado em intervalos agendados para usar seu agente em novos dados. Consulte o pipeline declarativoLakeFlow Spark para obter mais informações sobre o pipeline.

  • Clique em Abrir no Playground para testar seu agente em um ambiente de bate-papo com o AI Playground.

gerenciar permissões​

Por default, somente os autores do agente e os administradores workspace têm permissões para acessar o agente. Para permitir que outros usuários editem ou consultem seu agente, você precisa conceder-lhes permissão explicitamente.

Para gerenciar as permissões do seu agente:

  1. Acesse o perfil do seu agente na página de Agentes .

  2. Na parte superior, clique em Ícone do menu Kebab. Cardápio de kebabs.

  3. Clique em gerenciar permissões .

  4. Na janela Configurações de Permissão , selecione o usuário, grupo ou entidade de serviço.

  5. Selecione a permissão que deseja conceder:

    • Gerenciar : Permite gerenciar o agente, incluindo definir permissões, editar a configuração do agente e melhorar sua qualidade.
    • Pode consultar : Permite consultar o endpoint do agente no AI Playground e por meio da API. Usuários com apenas essa permissão não podem view ou editar o agente na página Agentes.

  6. Clique em Adicionar .

  7. Clique em Salvar .

nota

Para endpoints de agente criados antes de 16 de setembro de 2025 , você pode conceder permissões de "Pode consultar" ao endpoint na página "Endpoint de serviço" .

Consultar o agente endpoint​

Na página do agente, clique servindo modelo ícone. Consulte o status do agente no canto superior direito para obter o endpoint do agente implantado e visualizar os detalhes do endpoint.

Existem várias maneiras de consultar o endpoint do agente criado. Utilize os exemplos de código fornecidos no AI Playground como ponto de partida:

  1. Na página do agente, clique em Usar .
  2. Clique em Abrir no playground .
  3. No Playground, clique em Obter código .
  4. Escolha como o senhor deseja usar o endpoint:
    • Selecione Aplicar nos dados para criar uma consulta SQL que aplique o agente a uma coluna específica da tabela.
    • Selecione Curl API para obter um exemplo de código para consultar o endpoint usando curl.
    • Selecione Python API para obter um exemplo de código para interagir com o endpoint usando Python.

Utilizar PDFs no LLM personalizado​

PDFs ainda não são suportados nativamente em extração de informações e LLM personalizado. No entanto, você pode usar o UI fluxo de trabalho para converter uma pasta de arquivos PDF em Markdown e, em seguida, usar a tabela Unity Catalog resultante como entrada ao construir seu agente. Este fluxo de trabalho usa ai_parse_document para a conversão. Siga estes passos:

  1. Clique em Agentes no painel de navegação à esquerda.

  2. Nos casos de uso de Extração de informações ou LLM personalizado, clique em Usar PDFs .

  3. No painel lateral que se abre, preencha os seguintes campos para criar um novo fluxo de trabalho para converter seus PDFs:

    1. Selecione a pasta com PDFs ou imagens : selecione a pasta Unity Catalog que contém os PDFs que você deseja usar.
    2. Selecione a tabela de destino : Selecione o esquema de destino para a tabela de remarcação para baixo convertida e, opcionalmente, ajuste o nome da tabela no campo abaixo.
    3. Select active SQL warehouse : Selecione o site SQL warehouse para executar o fluxo de trabalho.

    Configure o fluxo de trabalho para usar PDFs.

  4. Clique em começar a importar .

  5. O senhor será redirecionado para o All fluxo de trabalho tab, que lista todos os seus fluxos de trabalho em PDF. Use o site tab para monitorar o status do seu trabalho.

    Analise o estado do fluxo de trabalho para utilizar PDFs.

    Se o fluxo de trabalho falhar, clique no nome do trabalho para abri-lo e view mensagens de erro para ajudá-lo a depurar.

  6. Quando o fluxo de trabalho for concluído com êxito, clique no nome do trabalho para abrir a tabela no Catalog Explorer e explorar e entender as colunas.

  7. Utilize a tabela Unity Catalog como dados de entrada ao configurar seu agente.

Limitações​

  • A Databricks recomenda pelo menos 100 entradas (100 linhas na tabela do Unity Catalog ou 100 amostras fornecidas manualmente) para otimizar seu agente. Quando você adiciona mais insumos, a base de conhecimento com a qual o agente pode aprender aumenta, o que melhora a qualidade do agente e sua precisão de resposta.
  • Se o senhor fornecer uma tabela do Unity Catalog, o nome da tabela não poderá conter nenhum caractere especial (como -).
  • Somente os seguintes tipos de dados são suportados como entradas: string, int e double.
  • Atualmente, a capacidade de uso está limitada a 100 mil tokens de entrada e saída por minuto.
  • Os espaços de trabalho que possuem Segurança Avançada e conformidade ativadas não são suportados.
  • A otimização pode falhar em espaços de trabalho que tenham políticas de rede de controle de saídaserverless com modo de acesso restrito.