Grandes modelos de linguagem (LLMs)
info
Beta
Esse recurso está na versão beta.
Esta página fornece exemplos de Notebook para ajuste fino de modelos de linguagem grandes (LLMs) usando GPU sem servidor compute. Esses exemplos demonstram várias abordagens de ajuste fino, incluindo métodos eficientes em parâmetros, como adaptação de baixa classificação (LoRa) e ajuste fino supervisionado completo.
Ajuste o modelo Qwen2-0.5B
O Notebook a seguir fornece um exemplo de como fazer um ajuste fino eficiente do modelo Qwen2-0.5B usando:
- Transformer aprendizado por reforço (TRL) para ajuste fino supervisionado
- Kernels Liger para treinamento eficiente em termos de memória com kernels Triton otimizados.
- LoRa para ajuste fino com eficiência de parâmetros.
Notebook
Ajuste o Llama-3.2-3B com Unsloth
Este Notebook demonstra como fazer o ajuste fino do Llama-3.2-3B usando a biblioteca Unsloth.
Notebook
Ajuste um modelo de incorporação
Este Notebook demonstra como fazer o ajuste fino do modelo de incorporação gte-large-en-v1.5 em um único A10G usando o Mosaic LLM Foundry.