Agentes e modelos de AI generativos implantados

Este artigo descreve Mosaic AI Model Serving o suporte para agentes e modelos de IA generativa implantados para seus aplicativos de IA generativa.

O que são agentes de IA generativa?

Os agentes de AI generativos são sistemas de AI compostos que dependem de grandes modelos de linguagem e da entrada do usuário para determinar quais passos devem ser tomados para realizar uma tarefa. Consulte Criar e registrar agentes de IA.

O que são modelos de IA generativa?

Os modelos de IA generativa criam novo conteúdo a partir de entradas como texto, imagens e código. Esses modelos são treinados em grandes conjuntos de dados e usam a aprendizagem profunda para identificar padrões e estruturas nos dados existentes e, em seguida, gerar novos conteúdos com base no que aprenderam.

Os modelos Foundation são um tipo de modelo de IA generativo. Esses modelos são pré-treinados com a intenção de serem ajustados para uma tarefa mais específica de compreensão e geração de linguagem.

implantado um agente gerador de IA

Databricks oferece suporte a dois métodos para implantar um agente de AI generativo:

Durante o desenvolvimento, use o método deploy() no Mosaic AI Agent Framework. Esse método cria automaticamente:

  • Um endpoint de CPU para implementação e teste.

  • Um URL para o aplicativo de revisão da Avaliação do agente, no qual as partes interessadas podem interagir com o agente para testar a saída e registrar o feedback.

Para aplicativos de produção, use Mosaic AI Model Serving para criar sua própria CPU endpoint para implantar seu agente.

Para obter mais detalhes sobre essas opções, consulte Implantação de um agente para aplicação de IA generativa.

implantado um modelo generativo de AI

O Mosaic AI Model Serving oferece suporte à veiculação e à consulta de modelos de IA generativos usando os seguintes recursos:

  • APIs do modelo básico. Essa funcionalidade disponibiliza modelos abertos de última geração e variantes de modelos ajustados para o senhor, servindo o modelo endpoint. Esses modelos são arquiteturas de modelo de base selecionadas que oferecem suporte à inferência otimizada. Os modelos básicos, como DBRX Instruct, Llama-2-70B-chat, BGE-Large e Mistral-7B, estão disponíveis para uso imediato com preços pay-per-tokens, e as cargas de trabalho que exigem garantias de desempenho, como variantes de modelos ajustados, podem ser implantadas com o provisionamento Taxa de transferência.

  • Modelos externos. Esses são modelos de IA generativos hospedados fora da Databricks. que atendem a modelos externos podem ser controlados de forma centralizada e os clientes podem estabelecer limites de taxa e controle de acesso para eles. Os exemplos incluem modelos de fundação como o GPT-4 da OpenAI, o Claude da Anthropic e outros.

Para começar tutorial sobre como consultar um modelo de fundação em Databricks, consulte Começar a consultar LLMs em Databricks.

Criar uma IA generativa servindo de modelo endpoint

Consulte Criar endpoint de IA generativa servindo modelo.