IA generativa e grandes modelos de linguagem (LLMs) no Databricks

Este artigo fornece uma visão geral da IA generativa no Databricks e inclui links para notebooks e demonstrações de exemplo.

O que é IA generativa?

A IA generativa é um tipo de inteligência artificial focada na capacidade dos computadores de usar modelos para criar conteúdo como imagens, texto, código e dados sintéticos.

Os aplicativos de IA generativa são criados com base em modelos de IA generativa: grandes modelos de linguagem (LLMs) e modelos básicos.

  • Os LLMs são modelos de aprendizagem profunda que consomem e treinam em conjuntos de dados massivos para se destacar em tarefas de processamento de linguagem. Eles criam novas combinações de texto que imitam a linguagem natural com base em seus dados de treinamento.

  • Os modelos de base são grandes modelos de aprendizado de máquina pré-treinados com a intenção de serem ajustados para tarefas mais específicas de compreensão e geração de idiomas. Esses modelos são utilizados para discernir padrões nos dados de entrada.

Após esses modelos completarem seus processos de aprendizado, juntos eles geram saídas estatisticamente prováveis quando solicitados e podem ser utilizados para realizar várias tarefas, incluindo:

  • Geração de imagens com base em imagens existentes ou utilizando o estilo de uma imagem para modificar ou criar uma nova.

  • Tarefas de fala, como transcrição, tradução, geração de perguntas/respostas e interpretação da intenção ou significado do texto.

Importante

Embora muitos LLMs ou outros modelos de IA generativa tenham salvaguardas, ainda podem gerar informações prejudiciais ou imprecisas.

A IA generativa tem os seguintes padrões de design:

  • Engenharia de prompts: elaboração de prompts especializados para orientar o comportamento do LLM

  • Geração Aumentada por Recuperação (RAG): Combinar um LLM com recuperação de conhecimento externo

  • Ajuste fino: adaptando um LLM pré-treinado a conjuntos de dados ou domínios específicos

  • Pré-treinamento: treinando um LLM do zero

Desenvolva IA generativa e LLMs no Databricks

O Databricks unifica o ciclo de vida da IA, desde a coleta e preparação de dados, até o desenvolvimento de modelos e LLMOps, passando pelo serviço e monitoramento. Os seguintes recursos são especificamente otimizados para facilitar o desenvolvimento de aplicações de IA generativa:

Recursos adicionais