Sistemas de recomendação baseados em aprendizagem profunda
Beta
Esse recurso está na versão beta.
Esta página fornece exemplos de Notebook para a criação de sistemas de recomendação usando GPU sem servidor compute. Esses exemplos demonstram como criar modelos de recomendação eficientes usando abordagens modernas de aprendizagem profunda.
Modelo de recomendação de duas torres
Este Notebook demonstra como converter seus dados de recomendação no formato Mosaic Data Shard (MDS) e, em seguida, usar esses dados para criar um modelo de recomendação de duas torres. Essa abordagem é particularmente eficaz para sistemas de recomendação em grande escala.
Preparação de dados: Converter o modelo de recomendação dataset para o formato MDS
Primeiro, converta sua recomendação dataset para o formato MDS para um carregamento de dados eficiente:
Converter dados
Modelo V: Modelo de recomendação de duas torres usando PyTorch Lightning
Ensinar o modelo de recomendação de duas torres usando o dataset preparado e a API PyTorch Lightning Trainer em vários nós de GPU (GPUs A10 ou H100).
Sistema de recomendação PyTorch
Exemplo: Ajuste fino de modelos de incorporação com llm-foundry em computeGPU serverless
Os modelos de incorporação são um componente crítico dos sistemas de recomendação modernos, particularmente na fase de recuperação, onde permitem uma busca eficiente por similaridade em milhões de itens. Embora o modelo de duas torres gere incorporações específicas para cada tarefa, os modelos de incorporação pré-treinados podem ser ajustados para aplicações específicas de domínio, a fim de melhorar a qualidade da recuperação de dados.
O seguinte exemplo de Notebook demonstra como usar o aprendizado contrastivo para ajustar um modelo de incorporação no estilo BERT em compute GPU serverless (SGC). Ele usa o framework llm-foundry com o trainer do Composer para ajustar modelos como o gte-large-en-v1.5, trabalhando com dados armazenados em tabelas Delta. Este exemplo utiliza o Mosaic Transmission para converter dados para o formato Mosaic Data Shard (MDS) para carregamento distribuído de dados e MLflow para acompanhamento e registro do modelo.
Notebook para ajuste fino do modelo de incorporação
- O modelo de incorporação espera dados com colunas para
query_text,positive_passagee opcionalmentenegative_passages. - Os embeddings ajustados podem ser usados em armazenamentos vetoriais para operações de busca por similaridade, permitindo a recuperação eficiente de itens relevantes para sistemas de recomendação.
- Essa abordagem é particularmente útil quando você precisa adaptar um modelo de incorporação de propósito geral ao seu domínio ou caso de uso específico.