Pular para o conteúdo principal

Introdução à criação de aplicativos gen AI no Databricks

Mosaic AI fornece uma plataforma abrangente para criar, implantar e gerenciar aplicativos generativos AI. Este artigo guia o senhor pelos componentes e processos essenciais envolvidos no desenvolvimento de aplicativos gen AI em Databricks.

implantado e query gen AI models​

Para casos de uso simples, o senhor pode servir e consultar diretamente os modelos gen AI, incluindo modelos de código aberto de alta qualidade, bem como modelos de terceiros de provedores LLM, como OpenAI e Anthropic.

Mosaic AI Model Serving oferece suporte ao fornecimento e à consulta de modelos generativos do AI usando os seguintes recursos:

  • APIs do modelo básico. Essa funcionalidade disponibiliza modelos abertos de última geração e variantes de modelos ajustados para o senhor, servindo o modelo endpoint. Esses modelos são arquiteturas de modelos básicos selecionadas que oferecem suporte à inferência otimizada. Modelos básicos, como DBRX Instruct, Meta-Llama-3.1-70B-Instruct, GTE-Large e Mistral-7B estão disponíveis para uso imediato com preços pay-per-tokens , e as cargas de trabalho que exigem garantias de desempenho, como variantes de modelos ajustados, podem ser implantadas com o provisionamento Taxa de transferência .
  • Modelos externos. Esses são modelos generativos do AI que estão hospedados fora do Databricks. que atendem a modelos externos podem ser controlados de forma centralizada e os clientes podem estabelecer limites de taxa e controle de acesso para eles. Os exemplos incluem modelos de fundação como o GPT-4 da OpenAI, o Claude da Anthropic e outros.

Consulte Criar endpoint de modelo de serviço de fundação.

Mosaic AI Estrutura do agente​

Mosaic AI O Agent Framework é composto por um conjunto de ferramentas no site Databricks criado para ajudar os desenvolvedores a criar, implantar e avaliar agentes com qualidade de produção, como os aplicativos Retrieval Augmented Generation (RAG).

Ele é compatível com estruturas de terceiros, como LangChain e LlamaIndex, permitindo que o senhor desenvolva com sua estrutura preferida e, ao mesmo tempo, aproveite o Databricks' gerenciar Unity Catalog, a estrutura de avaliação de agentes e outros benefícios da plataforma.

Faça a iteração rápida do desenvolvimento do agente usando os seguintes recursos:

  • Crie agentes AI usando qualquer biblioteca de criação de agentes e MLflow. Parametrize seus agentes para experimentar e iterar rapidamente o desenvolvimento de agentes.
  • Crie ferramentas de agentes para estender os recursos do LLMs além da geração de idiomas.
  • O rastreamento de agentes permite que o senhor log, analise e compare os rastreamentos no código do agente para depurar e entender como o agente responde às solicitações.
  • A avaliação de agentes ajuda a avaliar a qualidade, o custo e a latência dos agentes para identificar problemas de qualidade e determinar a causa raiz desses problemas.
  • Melhore a qualidade do agente usando o dSpy. A DSPy pode automatizar a engenharia imediata e o ajuste fino para melhorar a qualidade de seus agentes gen AI.
  • Implemente agentes na produção com suporte nativo para transmissão de tokens e registro de solicitações/respostas, além de um aplicativo de avaliação integrado para obter feedback do usuário sobre seu agente.
Última atualização em