Ensinar modelos IA e ML

Esta seção mostra como ensinar os modelos machine learning e IA em Mosaic AI.

Mosaic AI O modelo de treinamento agiliza e unifica o processo de treinamento e implanta os modelos tradicionais do ML por meio das cargas de trabalho do AutoML e do Foundation Model Fine-tuning.

AutoML

AutoML simplifica o processo de aplicação do machine learning ao seu conjunto de dados, encontrando automaticamente o melhor algoritmo e a melhor configuração de hiperparâmetro para o senhor. O AutoML oferece uma interface de usuário sem código, bem como uma API Python.

Ajuste fino do modelo básico

O Foundation Model Fine-tuning (agora parte do Mosaic AI Model treinamento) no site Databricks permite que o senhor personalize grandes modelos de linguagem (LLMs) usando seus próprios dados. Esse processo envolve o ajuste fino do treinamento de um modelo de fundação pré-existente, reduzindo significativamente os dados, o tempo e o compute recurso necessários em comparação com o treinamento de um modelo do zero. Os principais recursos incluem:

  • Ajuste fino supervisionado: Adapte seu modelo a novas tarefas treinando com dados estruturados de resposta rápida.

  • Pré-treinamento contínuo: aprimore seu modelo com dados de texto adicionais para adicionar novos conhecimentos ou focar em um domínio específico.

  • Conclusão de bate-papo: Treine seu modelo em registros de bate-papo para melhorar as habilidades de conversação.

código aberto biblioteca exemplos

Veja exemplos de treinamento emmachine learning de uma ampla variedade de códigos abertos da biblioteca do machine learning, incluindo exemplos de ajuste de hiperparâmetros usando Optuna e Hyperopt.

aprendizagem profunda

Veja exemplos e práticas recomendadas para treinamento de aprendizagem profunda distribuída para que o senhor possa desenvolver e ajustar modelos de aprendizagem profunda no Databricks.

Recomendadores

Saiba como ensinar modelos de recomendação baseados em aprendizagem profunda em Databricks. Em comparação com os modelos de recomendação tradicionais, os modelos de aprendizagem profunda podem alcançar resultados de maior qualidade e escalar para quantidades maiores de dados.