IA generativa e grandes modelos de linguagem (LLMs) no Databricks

Este artigo fornece uma visão geral da IA generativa no Databricks e inclui links para notebooks e demonstrações de exemplo.

O que é IA generativa?

A IA generativa é um tipo de inteligência artificial focada na capacidade dos computadores de usar modelos para criar conteúdo como imagens, texto, código e dados sintéticos.

Os aplicativos de IA generativa são criados com base em modelos de IA generativa: grandes modelos de linguagem (LLMs) e modelos básicos.

• Os LLMs são modelos de aprendizagem profunda que consomem e treinam em conjuntos de dados massivos para se destacar em tarefas de processamento de linguagem. Eles criam novas combinações de texto que imitam a linguagem natural com base em seus dados de treinamento.

• Os modelos de base são grandes modelos de aprendizado de máquina pré-treinados com a intenção de serem ajustados para tarefas mais específicas de compreensão e geração de idiomas. Esses modelos são utilizados para discernir padrões nos dados de entrada.

Após esses modelos completarem seus processos de aprendizado, juntos eles geram saídas estatisticamente prováveis quando solicitados e podem ser utilizados para realizar várias tarefas, incluindo:

• Geração de imagens com base em imagens existentes ou utilizando o estilo de uma imagem para modificar ou criar uma nova.

• Tarefas de fala, como transcrição, tradução, geração de perguntas/respostas e interpretação da intenção ou significado do texto.

Importante

Embora muitos LLMs ou outros modelos de IA generativa tenham salvaguardas, ainda podem gerar informações prejudiciais ou imprecisas.

A IA generativa tem os seguintes padrões de design:

• Engenharia de prompts: elaboração de prompts especializados para orientar o comportamento do LLM

• Geração Aumentada por Recuperação (RAG): Combinar um LLM com recuperação de conhecimento externo

• Ajuste fino: adaptando um LLM pré-treinado a conjuntos de dados ou domínios específicos

• Pré-treinamento: treinando um LLM do zero

Desenvolva IA generativa e LLMs no Databricks

O Databricks unifica o ciclo de vida da IA, desde a coleta e preparação de dados, até o desenvolvimento de modelos e LLMOps, passando pelo serviço e monitoramento. Os seguintes recursos são especificamente otimizados para facilitar o desenvolvimento de aplicações de IA generativa:

• Unity Catalog para governança, descoberta, versionamento e controle de acesso para dados, recursos, modelos e funções.

• MLflow para acompanhamento de desenvolvimento de modelos e avaliação de LLMs.

• Engenharia e atendimento de recursos.

• Mosaic AI Model Serving para a implantação de LLMs. Você pode configurar um endpoint de servindo modelo especificamente para acessar modelos de IA generativa:

  • LLMs abertos de última geração usando APIs do modelo básico.

  • Modelos de terceiros hospedados fora do Databricks. Consulte Modelos externos no Mosaic AI Model Serving.

• O Mosaic AI Vector Search fornece um banco de dados vetoriais consultável que armazena vetores incorporados e pode ser configurado para ser sincronizado automaticamente com sua base de conhecimento.

• Lakehouse Monitoring para monitoramento de dados e acompanhamento da qualidade e desvio de previsões de modelos usando o registro automático de carga útil com tabelas de inferência.

• AI Playground para testar modelos generativos de IA em seu workspace da Databricks. Você pode solicitar, comparar e ajustar as configurações, como o prompt do sistema e os parâmetros de inferência.

• Mosaic AI Model Training (anteriormente Foundation Model Training) para personalizar um modelo de base usando seus próprios dados para otimizar seu desempenho para sua aplicação específica.

• Mosaic AI Estrutura de agentes para criar e implantar agentes com qualidade de produção, como os aplicativos Retrieval Augmented Generation (RAG).

• Mosaic AI Agent Evaluation para avaliar a qualidade, o custo e a latência de aplicativos de IA generativa, incluindo aplicativos e cadeias RAG.

Recursos adicionais

• Consulte O que é o Mosaic AI Agent Framework? .

  • Construa Como construir um chatbot de perguntas e respostas com LLama2 e Databricks.

• Para informações sobre o uso de modelos Hugging Face no Databricks, veja Hugging Face Transformers.

• O repo databricks-ml-examples no Github contém exemplos de implementações de LLMs de última geração (SOTA).