Introdução à criação de aplicativos de IA generativa 2 no Databricks

Mosaic AI fornece uma plataforma abrangente para criar, implantar e gerenciar aplicativos GenAI. Este artigo guia o senhor pelos componentes e processos essenciais envolvidos no desenvolvimento de aplicativos GenAI em Databricks.

implantado e query gen AI models

Para casos de uso simples, o senhor pode servir e consultar diretamente os modelos gen AI, incluindo modelos de código aberto de alta qualidade, bem como modelos de terceiros de provedores LLM, como OpenAI e Anthropic.

Mosaic AI Model Serving suporta o fornecimento e a consulta de modelos generativos do AI usando os seguintes recursos:

  • APIs do modelo básico. Essa funcionalidade disponibiliza modelos abertos de última geração e variantes de modelos ajustados para o senhor, servindo o modelo endpoint. Esses modelos são arquiteturas de modelos básicos selecionadas que oferecem suporte à inferência otimizada. Os modelos básicos, como DBRX Instruct, Llama-2-70B-chat, BGE-Large e Mistral-7B, estão disponíveis para uso imediato com preços pay-per-tokens, e as cargas de trabalho que exigem garantias de desempenho, como variantes de modelos ajustados, podem ser implantadas com o provisionamento Taxa de transferência.

  • Modelos externos. Esses são modelos generativos do AI que estão hospedados fora do Databricks. que atendem a modelos externos podem ser controlados de forma centralizada e os clientes podem estabelecer limites de taxa e controle de acesso para eles. Os exemplos incluem modelos de fundação como o GPT-4 da OpenAI, o Claude da Anthropic e outros.

Consulte Criar endpoint generativo AI servindo modelo.

Estrutura do Mosaic AI Agent

Mosaic AI O Agent Framework é composto por um conjunto de ferramentas no site Databricks criado para ajudar os desenvolvedores a criar, implantar e avaliar agentes com qualidade de produção, como os aplicativos Retrieval Augmented Generation (RAG).

Ele é compatível com estruturas de terceiros, como LangChain e LlamaIndex, permitindo que o senhor desenvolva com sua estrutura preferida e, ao mesmo tempo, aproveite o Databricks' gerenciar Unity Catalog, a estrutura de avaliação de agentes e outros benefícios da plataforma.

Faça a iteração rápida do desenvolvimento do agente usando os seguintes recursos:

  • Crie e registre agentes usando qualquer biblioteca e o MLflow. Parametrize seus agentes para experimentar e iterar rapidamente no desenvolvimento de agentes.

  • O rastreamento de agentes permite registrar, analisar e comparar rastros no seu código de agente para depurar e entender como seu agente responde às solicitações.

  • Melhore a qualidade do agente usando o dSpy. A DSPy pode automatizar a engenharia imediata e o ajuste fino para melhorar a qualidade de seus agentes GenAI.

  • Implemente agentes em produção com suporte nativo para streaming de tokens e registro de solicitações/respostas, além de um aplicativo de revisão integrado para obter feedback do usuário para seu agente.