Use o Custom LLM para criar um agente AI genérico para texto (legado).

info

Beta

Este recurso está em versão Beta. Os administradores do espaço de trabalho podem controlar o acesso a este recurso na página de Pré-visualizações . Veja as prévias do Gerenciador Databricks.

Este artigo descreve como criar um agente AI generativo para tarefas personalizadas baseadas em texto usando o Custom LLM.

O que o senhor pode fazer com o LLM personalizado?

Utilize o Custom LLM para gerar resultados de alta qualidade para qualquer tarefa específica de domínio, como sumarização, classificação, transformações de texto e geração de conteúdo.

O LLM personalizado é ideal para os seguintes casos de uso:

• Resumindo o problema e a resolução das chamadas do cliente.
• Analisando o sentimento das avaliações dos clientes.
• Classificação de trabalhos de pesquisa por tópico.
• Geração de comunicados à imprensa para novos recursos.

Com base em instruções e exemplos de alto nível, o Custom LLM otimiza as solicitações em nome dos usuários, infere automaticamente os critérios de avaliação, avalia o sistema a partir dos dados fornecidos e implanta o modelo como um endpoint pronto para produção.

O Custom LLM aproveita recursos de avaliação automatizada, incluindo MLflow e Agent Evaluation, para permitir uma avaliação rápida da relação custo-benefício para sua tarefa de extração específica. Esta avaliação permite que você tome decisões informadas sobre o equilíbrio entre precisão e investimento em recursos.

LLM personalizado usa o armazenamentodefault para guardar transformações de dados temporárias, pontos de verificação do modelo e metadados internos que alimentam cada agente. Ao excluir um agente, todos os dados associados a ele são removidos do armazenamento default .

Requisitos

Criar um agente LLM personalizado​

Vá para Agentes no painel de navegação à esquerda do seu workspace. No bloco LLM personalizado , clique em Construir .

Etapa 1: configurar seu agente

Na tab Construir , clique em Mostrar um exemplo > para expandir um exemplo de entrada e resposta do modelo para um agente LLM personalizado.

No painel abaixo, configure seu agente:

1. Em Describe your task (Descreva sua tarefa ), insira uma descrição clara e detalhada de sua tarefa de especialização, incluindo sua finalidade e o resultado desejado.

2. Forneça um rótulo dataset, um dataset não rotulado ou alguns exemplos para usar na criação de seu agente.

   Se você quiser usar PDFs, primeiro converta-os em uma tabela Unity Catalog . Consulte a seção "Usar PDFs no LLM personalizado".

   Os seguintes tipos de dados são suportados: string, int e double.

Labeled dataset

Se você selecionar rótulo dataset :

1. Em Select dataset as UC table (Selecionar conjunto de dados como tabela UC ), clique em Browse (Procurar ) para selecionar a tabela no Unity Catalog que o senhor deseja usar. O nome da tabela não pode conter nenhum caractere especial (como -).

   Veja a seguir um exemplo:

   main.model_specialization.customer_call_transcripts

2. No campo Coluna de entrada , selecione a coluna que você deseja usar como texto de entrada. O menu dropdown é preenchido automaticamente com as colunas da tabela selecionada.

3. Na coluna Output , selecione a coluna que o senhor deseja fornecer como exemplo de saída para as transformações esperadas. Fornecer esses dados ajuda a configurar seu agente para se adaptar com mais precisão às necessidades específicas do seu domínio.

Unlabeled dataset

Se você selecionar Sem rótulo dataset :

1. Em Select dataset as UC table (Selecionar conjunto de dados como tabela UC ), clique em Browse (Procurar ) para selecionar a tabela no Unity Catalog que o senhor deseja usar. O nome da tabela não pode conter nenhum caractere especial (como -).

2. No campo Coluna de entrada , selecione a coluna que você deseja usar como texto de entrada. O menu dropdown é preenchido automaticamente com as colunas da tabela selecionada.

A few examples

Se você selecionar Alguns exemplos :

1. Forneça pelo menos 3 exemplos de entradas e saídas esperadas para sua tarefa de especialização. Fornecer exemplos de alta qualidade ajuda a configurar seu agente especializado para entender melhor seus requisitos.
2. Para adicionar mais exemplos, clique em + Adicionar.
3. Em Destino do agente , selecione o esquema Unity Catalog onde você gostaria que o Custom LLM ajudasse a criar uma tabela com dados de avaliação. Você precisa ter as permissões CREATE REGISTERED MODEL e CREATE TABLE para este esquema.

3. Dê um nome ao seu agente.

4. Clique em Criar agente .

Etapa 2: Crie e melhore seu agente

Na tab Construir , revise as recomendações para aprimorar seu agente, examine exemplos de saídas do modelo e ajuste as instruções da sua tarefa e os critérios de avaliação.

1. No painel de Recomendações , o Databricks fornece sugestões para ajudar você a otimizar e avaliar as respostas de amostra como boas ou ruins.

   1. Analise as recomendações da Databricks para otimizar o desempenho do agente.
   2. Forneça feedback para melhorar as respostas. Para cada resposta, responda: Esta é uma boa resposta? Com Sim ou Não . Caso a resposta seja "Não" , forneça um feedback opcional e clique em "Salvar" para prosseguir para a próxima.
   3. Você também pode optar por Ignorar a recomendação.

2. À direita, em Diretrizes , defina orientações claras para ajudar seu agente a produzir o resultado correto. Esses dados também serão usados para avaliar a qualidade automaticamente.

   1. Analise as diretrizes sugeridas. As sugestões de diretrizes são inferidas automaticamente para ajudar você a otimizar seu agente. Você pode refiná-los ou excluí-los.
   2. O programa Custom LLM pode propor diretrizes adicionais. Selecione Aceitar para adicionar a nova diretriz, Rejeitar para rejeitá-la ou clique no texto para editar a diretriz primeiro.
   3. Para adicionar suas próprias diretrizes, clique aqui. Adicionar .
   4. Clique em Salvar e atualizar para atualizar o agente.

3. (Opcional) No lado direito, em Instruções , descreva sua tarefa. Adicione quaisquer instruções adicionais que o agente deva seguir ao gerar suas respostas. Clique em Salvar e atualizar para aplicar as instruções.

4. Após a atualização do agente, novas respostas de amostra são geradas. Analise e forneça feedback sobre essas respostas.

o passo 3: Avalie seu agente

Um relatório de qualidade contendo um pequeno conjunto de resultados de avaliação é gerado automaticamente a partir de suas diretrizes. Analise este relatório na tab Qualidade .

Cada diretriz aceita é usada como métrica de avaliação. Para cada solicitação gerada, a resposta é avaliada de acordo com as diretrizes e recebe uma classificação de aprovado/reprovado. Essas avaliações são usadas para gerar as pontuações de avaliação exibidas na parte superior. Clique em um resultado de avaliação para ver os detalhes completos.

Utilize o relatório de qualidade para ajudá-lo a decidir se o agente precisa de otimizações adicionais.

(Opcional) Otimize seu agente

Um modelo personalizado de gestão de litígios (LLM) pode ajudar a otimizar o custo para o seu agente. Databricks recomenda pelo menos 100 entradas (sejam 100 linhas na sua tabela Unity Catalog ou 100 exemplos fornecidos manualmente) para otimizar seu agente. Ao adicionar mais entradas, a base de conhecimento da qual o agente pode aprender aumenta, o que melhora a qualidade do agente e a precisão de suas respostas.

Ao otimizar seu agente, Databricks compara diversas estratégias de otimização diferentes para construir e implantar um agente otimizado. Essas estratégias incluem o ajuste fino do modelo Foundation, que utiliza o Databricks Geos.

Para otimizar seu agente:

1. Clique em Otimizar .

2. Clique em Iniciar otimização .

   A otimização pode levar algumas horas. Fazer alterações no agente atualmente ativo é bloqueado quando a otimização está em andamento.

3. Quando a otimização estiver concluída, revise a comparação entre seu agente atualmente ativo e o agente otimizado em termos de custo.

4. Depois de analisar esses resultados, selecione o melhor modelo em implantado best model to an endpoint e clique em implantado .

o passo 4: Use seu agente

Experimente seu agente em fluxo de trabalho em Databricks.

Para começar a usar seu agente, clique em Usar . Você tem as seguintes opções:

• Clique em Try in SQL para abrir o editor SQL e use ai_query para enviar solicitações ao seu novo agente LLM personalizado.

• Clique em Criar pipeline para implantar um pipeline que será executado em intervalos agendados para usar seu agente em novos dados. Consulte o pipeline declarativoLakeFlow Spark para obter mais informações sobre o pipeline.

• Clique em Abrir no Playground para testar seu agente em um ambiente de bate-papo com o AI Playground.

gerenciar permissões

Por default, somente os autores do agente e os administradores workspace têm permissões para acessar o agente. Para permitir que outros usuários editem ou consultem seu agente, você precisa conceder-lhes permissão explicitamente.

Para gerenciar as permissões do seu agente:

1. Acesse o perfil do seu agente na página de Agentes .

2. Na parte superior, clique em Cardápio de kebabs.

3. Clique em gerenciar permissões .

4. Na janela Configurações de Permissão , selecione o usuário, grupo ou entidade de serviço.

5. Selecione a permissão que deseja conceder:

   • Gerenciar : Permite gerenciar o agente, incluindo definir permissões, editar a configuração do agente e melhorar sua qualidade.
   • Pode consultar : Permite consultar o endpoint do agente no AI Playground e por meio da API. Usuários com apenas essa permissão não podem view ou editar o agente na página Agentes.

6. Clique em Adicionar .

7. Clique em Salvar .

nota

Para endpoints de agente criados antes de 16 de setembro de 2025 , você pode conceder permissões de "Pode consultar" ao endpoint na página "Endpoint de serviço" .

Consultar o agente endpoint

Na página do agente, clique Consulte o status do agente no canto superior direito para obter o endpoint do agente implantado e visualizar os detalhes do endpoint.

Existem várias maneiras de consultar o endpoint do agente criado. Utilize os exemplos de código fornecidos no AI Playground como ponto de partida:

1. Na página do agente, clique em Usar .
2. Clique em Abrir no playground .
3. No Playground, clique em Obter código .
4. Escolha como o senhor deseja usar o endpoint:
   • Selecione Aplicar nos dados para criar uma consulta SQL que aplique o agente a uma coluna específica da tabela.
   • Selecione Curl API para obter um exemplo de código para consultar o endpoint usando curl.
   • Selecione Python API para obter um exemplo de código para interagir com o endpoint usando Python.

Utilizar PDFs no LLM personalizado

PDFs ainda não são suportados nativamente em extração de informações e LLM personalizado. No entanto, você pode usar o UI fluxo de trabalho para converter uma pasta de arquivos PDF em Markdown e, em seguida, usar a tabela Unity Catalog resultante como entrada ao construir seu agente. Este fluxo de trabalho usa ai_parse_document para a conversão. Siga estes passos:

1. Clique em Agentes no painel de navegação à esquerda.

2. Nos casos de uso de Extração de informações ou LLM personalizado, clique em Usar PDFs .

3. No painel lateral que se abre, preencha os seguintes campos para criar um novo fluxo de trabalho para converter seus PDFs:

   1. Selecione a pasta com PDFs ou imagens : selecione a pasta Unity Catalog que contém os PDFs que você deseja usar.
   2. Selecione a tabela de destino : Selecione o esquema de destino para a tabela de remarcação para baixo convertida e, opcionalmente, ajuste o nome da tabela no campo abaixo.
   3. Select active SQL warehouse : Selecione o site SQL warehouse para executar o fluxo de trabalho.

   

4. Clique em começar a importar .

5. O senhor será redirecionado para o All fluxo de trabalho tab, que lista todos os seus fluxos de trabalho em PDF. Use o site tab para monitorar o status do seu trabalho.

   

   Se o fluxo de trabalho falhar, clique no nome do trabalho para abri-lo e view mensagens de erro para ajudá-lo a depurar.

6. Quando o fluxo de trabalho for concluído com êxito, clique no nome do trabalho para abrir a tabela no Catalog Explorer e explorar e entender as colunas.

7. Utilize a tabela Unity Catalog como dados de entrada ao configurar seu agente.

Limitações