Introdução à criação de aplicativos de IA generativa 2 no Databricks

O Databricks oferece uma plataforma abrangente para criar, implantar e gerenciar aplicativos GenAI. Este artigo orienta você pelos componentes e processos essenciais envolvidos no desenvolvimento de aplicativos GenAI no Databricks.

Mosaic AI Modelo treinamento

Mosaic AI O Model treinamento (anteriormente Foundation Model treinamento) no site Databricks permite que o senhor personalize grandes modelos de linguagem (LLMs) usando seus próprios dados. Esse processo envolve o ajuste fino do treinamento de um modelo de fundação pré-existente, reduzindo significativamente os dados, o tempo e o compute recurso necessários em comparação com o treinamento de um modelo do zero. key Os recursos incluem:

  • Ajuste fino supervisionado: Adapte seu modelo a novas tarefas treinando com dados estruturados de resposta rápida.

  • Pré-treinamento contínuo: aprimore seu modelo com dados de texto adicionais para adicionar novos conhecimentos ou focar em um domínio específico.

  • Conclusão de bate-papo: Treine seu modelo em registros de bate-papo para melhorar as habilidades de conversação.

Integração de modelo externo

O Databricks suporta a integração de modelos externos, permitindo que você aproveite modelos de terceiros hospedados fora do Databricks. Isso simplifica o uso e o gerenciamento de vários provedores de LLM, como OpenAI e Anthropic, em sua organização.

Estrutura do Mosaic AI Agent

O Agent Framework compreende um conjunto de ferramentas no Databricks projetado para ajudar os desenvolvedores a criar, implantar e avaliar agentes de qualidade de produção, como aplicativos RAG (Retrieval Augmented Generation).

A criação de agentes de alta qualidade exige um conjunto robusto de ferramentas de avaliação para testar e validar os sistemas de agentes. O Mosaic AI Agent Evaluation oferece uma plataforma para capturar e implementar feedback humano, fatos fundamentais, logs de respostas e solicitações, feedback de juízes do LLM, rastreamentos em cadeia e outros.