Pular para o conteúdo principal
Última atualização em

Conceitos: AI Generativa no Databricks

Um aplicativo GenAI é um aplicativo que usa modelos AI generativa (como grandes modelos de linguagem, modelos de geração de imagens e modelos de conversão de texto em fala) para criar novas saídas, automatizar tarefas complexas ou realizar interações inteligentes com base na entrada do usuário.

Um aplicativo GenAI pode ser alimentado por chamadas simples a LLMs ou outros modelos GenAI, ou por agentes AI complexos. Leia mais sobre níveis de complexidade.

Agentes, ferramentas, avaliações, modelos e outros aspectos dos aplicativos GenAI podem ser personalizados com seus dados proprietários. Essa personalização data-driven leva à inteligência de dados, permitindo que você vá além da inteligência geral oferecida por modelos AI predefinidos.

Aplicações GenAI​

Uma aplicação GenAI voltada para o usuário pode assumir diversas formas, tais como:

O sucesso com aplicações de IA GenAI geralmente requer dois conjuntos de habilidades: desenvolvimento de aplicações e avaliação AI . O desenvolvimento de aplicativos GenAI é muito semelhante ao desenvolvimento de aplicativos que nãoAI , exigindo habilidades software que dependem do tipo de aplicativo. No entanto, a avaliação de aplicações de IA GenAI requer ferramentas e técnicas especializadas para lidar com a complexidade e as respostas abertas da IA GenAI.

Para saber mais sobre como criar aplicativos GenAI específicos para cada setor na Databricks, consulte:

Avaliação GenAI​

Os modelos, agentes e aplicações da GenAI frequentemente apresentam comportamentos complexos e de final aberto. Os usuários podem ser autorizados a inserir qualquer consulta. Um agente AI pode ser autorizado a coletar texto, imagens e muito mais durante a execução. O resultado pode ser texto, imagens ou outros tipos de mídia, e pode haver muitas respostas "boas".

Essas complicações dificultam a avaliação da GenAI. Uma avaliação adequada requer:

  • Automação usando AI para avaliar AI
  • Feedback humano de especialistas e usuários para coletar dados reais e calibrar a avaliação automatizada.
  • Analisando a fundo agentes complexos para entender e depurar comportamentos.

Databricks-gerenciar MLflow e ferramentas relacionadas fornecem a base para a avaliação do GenAI:

Agentes​

Um agente ou sistema de agentes é um sistema baseado emAIque pode perceber, decidir e agir autonomamente em um ambiente para atingir objetivos . Ao contrário de um modelo GenAI independente que só produz uma saída quando solicitado, um sistema de agentes possui um certo grau de autonomia . Os agentes AI modernos usam um modelo GenAI como o "cérebro" de um sistema que:

  1. Recebe solicitações de usuários ou mensagens de outro agente.
  2. Razões para decidir como proceder: quais dados buscar, qual lógica aplicar, quais ferramentas utilizar ou se é necessário solicitar mais informações do usuário.
  3. Executa um plano e possivelmente utiliza várias ferramentas ou delega tarefas a subagentes.
  4. Retorna uma resposta ou solicita ao usuário esclarecimentos adicionais.

Ao integrar a inteligência geral (as capacidades pré-treinadas do modelo GenAI) e a inteligência de dados (o conhecimento especializado e APIs específicas para o seu negócio), os sistemas de agentes possibilitam casos de uso empresariais de alto impacto, como fluxos avançados de atendimento ao cliente, bots analíticos ricos em dados e orquestração multiagente para tarefas operacionais complexas.

Existe um espectro contínuo que vai desde modelos GenAI simples até agentes complexos. Para saber mais, consulte Padrões de projeto de sistemas de agentes.

O Databricks oferece uma variedade de opções para a criação de agentes, desde totalmente guiados até totalmente personalizados:

  • O Agent Bricks fornece construtores de agentes guiados para aplicações key , como assistentes de conhecimento e extração de informações.

  • O AI Playground fornece uma interface de usuário para prototipagem de agentes que chamam ferramentas, a partir da qual você pode exportar o código do agente gerado.

  • O Agent Framework permite criar e implantar agentes usando código personalizado ou uma biblioteca de autoria de agentes de terceiros.

Ferramentas​

Agentes AI podem acionar ferramentas para coletar informações ou executar ações. As ferramentas são funções de interação única que um LLM pode invocar para realizar uma tarefa bem definida. O modelo AI normalmente gera parâmetros para cada chamada da ferramenta, e a ferramenta fornece uma interação direta de entrada e saída.

As categorias comuns de ferramentas incluem:

  • Ferramentas que recuperam ou analisam dados

    • Recuperação semântica : Consultar um índice vetorial para localizar texto relevante ou outros dados não estruturados.
    • Recuperação estruturada : execução de consultas SQL ou utilização APIs para recuperação de informação estruturada.
    • Ferramenta de busca na Web : Pesquise na internet ou em um conjunto de dados internos da Web.
    • Modelos clássicos ML : Invoque modelos de machine learning para realizar classificação, regressão ou outras previsões.
    • Modelos GenAI : Geram saídas especializadas, como código ou imagens.

  • Ferramentas que modificam o estado de um sistema externo.

    • ChamadaAPI : Chamada para o endpoint do CRM, serviço interno ou outras integrações de terceiros.
    • Integração com aplicativos de e-mail ou mensagens : Publique uma mensagem ou envie uma notificação.

  • Ferramentas que fazem lógica de execução ou realizam uma tarefa específica

    • Execução de código : execução de código fornecido pelo usuário ou gerado LLMem um sandbox.

As ferramentas podem ser integradas à lógica agentiva ou acessadas por meio de interfaces padronizadas como o MCP.

Ferramentas versus agentes:

  • As ferramentas executam uma única operação bem definida. Os agentes podem executar tarefas mais abertas.
  • As ferramentas geralmente não possuem estado e não mantêm um contexto contínuo além de cada invocação. Os agentes mantêm o estado enquanto resolvem a tarefa de forma iterativa.

Tratamento de erros e segurança das ferramentas:

Como cada chamada de ferramenta é uma operação externa, como uma chamada API , o sistema deve lidar com falhas de forma adequada. Tempos limite excedidos, respostas malformadas ou entradas inválidas não devem causar a falha completa do próprio agente. Em produção, limite o número de chamadas de ferramentas permitidas, tenha uma resposta fallback caso as chamadas de ferramentas falhem e aplique mecanismos de proteção para garantir que o sistema agente não tente repetidamente a mesma ação que falhou.

Saiba mais sobre as ferramentas AI no Databricks:

Modelos GenAI e LLMs​

Os Modelos de Linguagem de Grande Porte (LLMs, na sigla em inglês) são modelos AI treinados em conjuntos de dados textuais massivos, capazes de compreender, gerar e raciocinar sobre a linguagem humana. Os LLMs (Learning Learning Models) potencializam aplicações como chatbots, assistentes de código e ferramentas de geração de conteúdo, prevendo e produzindo texto contextualmente relevante com base em comandos de entrada.

De forma mais geral, os modelos GenAI ou modelos de base são treinados com grandes quantidades de dados em texto, imagem, vídeo, áudio ou outros formatos, a fim de aprender sobre modos além do texto. Os modelos multimodais aprendem a conectar a linguagem humana com imagens, áudio e outras mídias. Os LLMs são um tipo de GenAI ou modelo de fundação, embora esses termos sejam frequentemente usados de forma vaga e intercambiável.

Os modelos GenAI fornecem a inteligência por trás dos agentes e aplicativos GenAI. Aplicativos simples geralmente são construídos usando um único modelo personalizado com engenharia ágil.

Saiba mais sobre como usar os modelos GenAI no Databricks:

Engenharia rápida​

Os modelos GenAI geralmente recebem instruções, ou seja, comandos que indicam ao modelo como lidar com a entrada do usuário. Os comandos podem ser altamente personalizados com instruções detalhadas, conhecimento especializado, dados e outras informações.

O Databricks oferece maneiras flexíveis de realizar engenharia de forma ágil. Por exemplo:

  • A Agent Bricks automatiza a engenharia de resposta rápida nos bastidores, com base em seus dados e feedback.

  • O AI Playground fornece uma interface de usuário para engenharia de prompts manual e interativa.

  • MLflow Prompt Optimization e DSPy fornecem rotinas de otimização de prompts data-driven .

Modelos de ajuste fino​

Os modelos GenAI também podem ser personalizados por meio de ajuste fino, que adapta um modelo para um domínio ou aplicação específica usando seus dados personalizados.

O Databricks oferece maneiras flexíveis de ajustar modelos. Por exemplo:

O que é uma plataforma GenAI?​

A GenAI requer uma plataforma combinada de dados e AI . Tanto para desenvolvedores quanto para administradores, os componentes key do GenAI devem estar conectados e gerenciados em uma plataforma simples e unificada.

Os principais componentes incluem:

  • Atividade AI como modelos, agentes e aplicativos.
  • Dados ativos como arquivos, tabelas, pipeline de processamento, índices vetoriais e repositório de recursos
  • Implantações AI , como endpoints para modelos e agentes.
  • Ferramentas para construção e implantação AI e dados ativos

As principais competências de governança incluem:

Veja também as funcionalidades do Mosaic AI para a arquitetura GenAI e Databricks.

Saber mais​