Pular para o conteúdo principal
Última atualização em

Conceitos: AI no Databricks

Um aplicativo de AI é uma aplicação que usa modelos de AI (como grandes modelos de linguagem, modelos de geração de imagem e modelos de texto para fala) para criar novas saídas, automatizar tarefas complexas ou interagir de forma inteligente com base na entrada do usuário.

Um aplicativo de AI pode ser alimentado por chamadas simples para LLMs ou outros modelos de AI, ou por agentes complexos. Leia mais sobre níveis de complexidade.

Agentes, ferramentas, avaliação, modelos e outros aspectos de aplicativos de IA podem ser personalizados com dados proprietários. Esta personalização data-driven leva à inteligência de dados, permitindo ir além da inteligência geral oferecida por modelos de AI pré-fabricados.

Aplicações de AI​

Um aplicativo de AI voltado para o usuário pode assumir muitas formas, como:

O sucesso com aplicações de IA geralmente requer dois conjuntos de habilidades: desenvolvimento de aplicações e avaliação de IA. O desenvolvimento de aplicações de IA é muito parecido com o desenvolvimento de aplicações que não são de IA, exigindo habilidades de software que dependem do tipo de aplicação. No entanto, a avaliação para aplicações de AI requer ferramentas e técnicas especializadas para lidar com a complexidade e as respostas abertas da AI.

Para saber mais sobre a criação de aplicativos de AI específicos da indústria no Databricks, veja:

Avaliação de AI​

Modelos, agentes e aplicativos de AI geralmente apresentam comportamentos complexos e abertos. É permitido aos usuários inserir qualquer query. Um agente pode ser autorizado a coletar texto, imagens e muito mais durante a execução. A saída pode ser texto, imagens ou outras mídias arbitrárias, e pode haver muitas respostas "boas".

Essas complicações tornam desafiadora a avaliação de AI. A avaliação adequada requer:

  • Automação usando AI para avaliar AI
  • Feedback humano de especialistas e usuários para coletar dados reais e calibrar a avaliação automatizada.
  • Analisando a fundo agentes complexos para entender e depurar comportamentos.

O MLflow gerenciado pela Databricks e as ferramentas relacionadas fornecem as bases para a avaliação de IA:

Agentes​

Um agente ou sistema de agente é um sistema **orientado por AI que pode perceber, decidir e agir autonomamente em um ambiente para alcançar objetivos**. Ao contrário de um modelo de AI autônomo que só produz uma saída quando solicitado, um sistema de agente possui um certo grau de **agência**. Agentes modernos usam um modelo de AI como o "cérebro" de um sistema que:

  1. Recebe solicitações de usuários ou mensagens de outro agente.
  2. Razões para decidir como proceder: quais dados buscar, qual lógica aplicar, quais ferramentas utilizar ou se é necessário solicitar mais informações do usuário.
  3. Executa um plano e possivelmente utiliza várias ferramentas ou delega tarefas a subagentes.
  4. Retorna uma resposta ou solicita ao usuário esclarecimentos adicionais.

Ao unir inteligência geral (as capacidades pré-treinadas do modelo de AI) e a inteligência de dados (o conhecimento especializado e as APIs específicas para o seu negócio), os sistemas de agentes possibilitam casos de uso corporativos de alto impacto, como fluxos avançados de serviço ao cliente, bots de analítica ricos em dados e orquestração multiagente para tarefas operacionais complexas.

Existe um continuum de modelos de IA simples a agentes complexos. Para saber mais, consulte padrões de design de sistemas de agentes.

O Databricks oferece uma variedade de opções para a criação de agentes, desde totalmente guiados até totalmente personalizados:

  • O AI Playground fornece uma interface de usuário para prototipagem de agentes que chamam ferramentas, a partir da qual você pode exportar o código do agente gerado.
  • Agentes personalizados permitem que você crie e implante agentes usando código personalizado ou uma biblioteca de autoria de agentes de terceiros.

Ferramentas​

Os agentes podem chamar ferramentas para coletar informações ou realizar ações. Ferramentas são funções de interação única que um LLM pode invocar para realizar uma tarefa bem definida. O modelo de AI geralmente gera parâmetros para cada chamada de ferramenta, e a ferramenta oferece uma interação direta de entrada e saída.

As categorias comuns de ferramentas incluem:

  • Ferramentas que recuperam ou analisam dados

    • Recuperação semântica : Consultar um índice vetorial para localizar texto relevante ou outros dados não estruturados.
    • Recuperação estruturada : execução de consultas SQL ou utilização APIs para recuperação de informação estruturada.
    • Ferramenta de busca na Web : Pesquise na internet ou em um conjunto de dados internos da Web.
    • Modelos clássicos ML : Invoque modelos de machine learning para realizar classificação, regressão ou outras previsões.
    • Modelos de AI : geram saídas especializadas como código ou imagens.

  • Ferramentas que modificam o estado de um sistema externo.

    • ChamadaAPI : Chamada para o endpoint do CRM, serviço interno ou outras integrações de terceiros.
    • Integração com aplicativos de e-mail ou mensagens : Publique uma mensagem ou envie uma notificação.

  • Ferramentas que fazem lógica de execução ou realizam uma tarefa específica

    • Execução de código : execução de código fornecido pelo usuário ou gerado LLMem um sandbox.

As ferramentas podem ser integradas à lógica agentiva ou acessadas por meio de interfaces padronizadas como o MCP.

Ferramentas versus agentes:

  • As ferramentas executam uma única operação bem definida. Os agentes podem executar tarefas mais abertas.
  • As ferramentas geralmente não possuem estado e não mantêm um contexto contínuo além de cada invocação. Os agentes mantêm o estado enquanto resolvem a tarefa de forma iterativa.

Tratamento de erros e segurança das ferramentas:

Como cada chamada de ferramenta é uma operação externa, como uma chamada API , o sistema deve lidar com falhas de forma adequada. Tempos limite excedidos, respostas malformadas ou entradas inválidas não devem causar a falha completa do próprio agente. Em produção, limite o número de chamadas de ferramentas permitidas, tenha uma resposta fallback caso as chamadas de ferramentas falhem e aplique mecanismos de proteção para garantir que o sistema agente não tente repetidamente a mesma ação que falhou.

Saiba mais sobre as ferramentas AI no Databricks:

Modelos de AI e LLMs​

Os Modelos de Linguagem de Grande Porte (LLMs, na sigla em inglês) são modelos AI treinados em conjuntos de dados textuais massivos, capazes de compreender, gerar e raciocinar sobre a linguagem humana. Os LLMs (Learning Learning Models) potencializam aplicações como chatbots, assistentes de código e ferramentas de geração de conteúdo, prevendo e produzindo texto contextualmente relevante com base em comandos de entrada.

De forma mais geral, modelos de AI ou modelos de base são treinados em dados massivos de texto, imagem, vídeo, áudio ou outros dados para aprender sobre modos além do texto. Modelos multimodais aprendem a conectar a linguagem humana com imagens, áudio e outras mídias. LLMs são um tipo de AI ou modelo de base, embora esses termos sejam frequentemente usados de forma livre e intercambiável.

Modelos de AI fornecem a inteligência por trás de agentes e aplicativos. Aplicativos simples são frequentemente construídos usando um único modelo personalizado com engenharia de prompt.

Saiba mais sobre o uso de modelos de AI no Databricks:

Engenharia rápida​

Modelos de AI geralmente utilizam prompts, ou instruções que indicam ao modelo como lidar com a entrada do usuário. Prompts podem ser altamente personalizados com os passos detalhados, conhecimento especializado, dados e outra informação.

O Databricks oferece maneiras flexíveis de realizar engenharia de forma ágil. Por exemplo:

O que é uma plataforma de AI?​

AI requer uma plataforma combinada de dados + AI. Para desenvolvedores e administradores, os key componentes para AI devem ser conectados e governados em uma plataforma simples e unificada.

Os principais componentes incluem:

  • Atividade AI como modelos, agentes e aplicativos.
  • Dados ativos como arquivos, tabelas, pipeline de processamento, índices vetoriais e repositório de recursos
  • Implantações AI , como endpoints para modelos e agentes.
  • Ferramentas para construção e implantação AI e dados ativos

As principais competências de governança incluem:

Consulte também recursos de Databricks AI e arquitetura do Databricks.

Inteligência geral versus inteligência de dados​

Diagrama comparando inteligência geral com inteligência de dados.

  • A inteligência geral refere-se ao conhecimento inato adquirido pelo mestre em Direito (LLM) a partir de um amplo treinamento prévio em diversos tipos de texto. Isso é útil para a fluência na linguagem e o raciocínio em geral.
  • Inteligência de dados refere-se aos dados e APIs específicos do domínio da sua organização. Isso pode incluir registros de clientes, informações sobre produtos, bases de conhecimento ou documentos que reflitam o ambiente específico da sua empresa.

Sistemas de agente combinam estas duas fontes de conhecimento: eles começam com o conhecimento amplo e genérico de um LLM e então trazem dados em tempo real ou específicos do domínio para responder a perguntas detalhadas ou realizar ações especializadas. Com a Databricks, é possível incorporar inteligência de dados em aplicativos de AI em todos os níveis:

AI vs. ML vs. aprendizagem profunda​

Os limites entre AI, Machine Learning (ML) e aprendizagem profunda (DL) podem ser imprecisos. Este guia se concentra em AI, mas os seguintes recursos da plataforma Databricks suportam ML, aprendizagem profunda e AI:

Recursos adicionais​

Nesta página