IA generativa e grandes modelos de linguagem (LLMs) no Databricks
Este artigo fornece uma visão geral da IA generativa no Databricks e inclui links para notebooks e demonstrações de exemplo.
O que é IA generativa?
A IA generativa é um tipo de inteligência artificial focada na capacidade dos computadores de usar modelos para criar conteúdo como imagens, texto, código e dados sintéticos.
Os aplicativos de IA generativa são criados com base em modelos de IA generativa: grandes modelos de linguagem (LLMs) e modelos básicos.
Os LLMs são modelos de aprendizagem profunda que consomem e treinam em conjuntos de dados massivos para se destacar em tarefas de processamento de linguagem. Eles criam novas combinações de texto que imitam a linguagem natural com base em seus dados de treinamento.
Os modelos de base são grandes modelos de aprendizado de máquina pré-treinados com a intenção de serem ajustados para tarefas mais específicas de compreensão e geração de idiomas. Esses modelos são utilizados para discernir padrões nos dados de entrada.
Após esses modelos completarem seus processos de aprendizado, juntos eles geram saídas estatisticamente prováveis quando solicitados e podem ser utilizados para realizar várias tarefas, incluindo:
Geração de imagens com base em imagens existentes ou utilizando o estilo de uma imagem para modificar ou criar uma nova.
Tarefas de fala, como transcrição, tradução, geração de perguntas/respostas e interpretação da intenção ou significado do texto.
Importante
Embora muitos LLMs ou outros modelos de IA generativa tenham salvaguardas, ainda podem gerar informações prejudiciais ou imprecisas.
A IA generativa tem os seguintes padrões de design:
Engenharia de prompts: elaboração de prompts especializados para orientar o comportamento do LLM
Geração Aumentada por Recuperação (RAG): Combinar um LLM com recuperação de conhecimento externo
Ajuste fino: adaptando um LLM pré-treinado a conjuntos de dados ou domínios específicos
Pré-treinamento: treinando um LLM do zero
Desenvolva IA generativa e LLMs no Databricks
O Databricks unifica o ciclo de vida da IA, desde a coleta e preparação de dados, até o desenvolvimento de modelos e LLMOps, passando pelo serviço e monitoramento. Os seguintes recursos são especificamente otimizados para facilitar o desenvolvimento de aplicações de IA generativa:
Unity Catalog para governança, descoberta, versionamento e controle de acesso para dados, recursos, modelos e funções.
MLflow para acompanhamento de desenvolvimento de modelos e avaliação de LLMs.
Mosaic AI Model Serving para a implantação de LLMs. Você pode configurar um endpoint de servindo modelo especificamente para acessar modelos de IA generativa:
LLMs abertos de última geração usando APIs do modelo básico.
Modelos de terceiros hospedados fora do Databricks. Consulte Modelos externos no Mosaic AI Model Serving.
O Mosaic AI Vector Search fornece um banco de dados vetoriais consultável que armazena vetores incorporados e pode ser configurado para ser sincronizado automaticamente com sua base de conhecimento.
Lakehouse Monitoring para monitoramento de dados e acompanhamento da qualidade e desvio de previsões de modelos usando o registro automático de carga útil com tabelas de inferência.
AI Playground para testar modelos generativos de IA em seu workspace da Databricks. Você pode solicitar, comparar e ajustar as configurações, como o prompt do sistema e os parâmetros de inferência.
Mosaic AI Model Training (anteriormente Foundation Model Training) para personalizar um modelo de base usando seus próprios dados para otimizar seu desempenho para sua aplicação específica.
Mosaic AI Estrutura de agentes para criar e implantar agentes com qualidade de produção, como os aplicativos Retrieval Augmented Generation (RAG).
Mosaic AI Agent Evaluation para avaliar a qualidade, o custo e a latência de aplicativos de IA generativa, incluindo aplicativos e cadeias RAG.
Recursos adicionais
Consulte O que é o Mosaic AI Agent Framework? .
Para informações sobre o uso de modelos Hugging Face no Databricks, veja Hugging Face Transformers.
O repo databricks-ml-examples no Github contém exemplos de implementações de LLMs de última geração (SOTA).