Introdução à criação de aplicativos de IA generativa 2 no Databricks
O Databricks oferece uma plataforma abrangente para criar, implantar e gerenciar aplicativos GenAI. Este artigo orienta você pelos componentes e processos essenciais envolvidos no desenvolvimento de aplicativos GenAI no Databricks.
Mosaic AI Modelo treinamento
Mosaic AI O Model treinamento (anteriormente Foundation Model treinamento) no site Databricks permite que o senhor personalize grandes modelos de linguagem (LLMs) usando seus próprios dados. Esse processo envolve o ajuste fino do treinamento de um modelo de fundação pré-existente, reduzindo significativamente os dados, o tempo e o compute recurso necessários em comparação com o treinamento de um modelo do zero. key Os recursos incluem:
Ajuste fino supervisionado: Adapte seu modelo a novas tarefas treinando com dados estruturados de resposta rápida.
Pré-treinamento contínuo: aprimore seu modelo com dados de texto adicionais para adicionar novos conhecimentos ou focar em um domínio específico.
Conclusão de bate-papo: Treine seu modelo em registros de bate-papo para melhorar as habilidades de conversação.
Integração de modelo externo
O Databricks suporta a integração de modelos externos, permitindo que você aproveite modelos de terceiros hospedados fora do Databricks. Isso simplifica o uso e o gerenciamento de vários provedores de LLM, como OpenAI e Anthropic, em sua organização.
Estrutura do Mosaic AI Agent
O Agent Framework compreende um conjunto de ferramentas no Databricks projetado para ajudar os desenvolvedores a criar, implantar e avaliar agentes de qualidade de produção, como aplicativos RAG (Retrieval Augmented Generation).
A criação de agentes de alta qualidade exige um conjunto robusto de ferramentas de avaliação para testar e validar os sistemas de agentes. O Mosaic AI Agent Evaluation oferece uma plataforma para capturar e implementar feedback humano, fatos fundamentais, logs de respostas e solicitações, feedback de juízes do LLM, rastreamentos em cadeia e outros.