Grandes modelos de linguagem (LLMs)
Beta
Esse recurso está na versão beta.
Esta página fornece exemplos de Notebook para ajuste fino de modelos de linguagem grandes (LLMs) usando GPU sem servidor compute. Esses exemplos demonstram várias abordagens de ajuste fino, incluindo métodos eficientes em parâmetros, como adaptação de baixa classificação (LoRa) e ajuste fino supervisionado completo.
Antes de executar esse Notebook, consulte a lista de verificação de práticas recomendadas.
Ajuste o modelo Qwen2-0.5B
O Notebook a seguir fornece um exemplo de como fazer um ajuste fino eficiente do modelo Qwen2-0.5B usando:
- Transformer aprendizado por reforço (TRL) para ajuste fino supervisionado
- Kernels Liger para treinamento eficiente em termos de memória com kernels Triton otimizados.
- LoRa para ajuste fino com eficiência de parâmetros.
Notebook
Ajuste o Llama-3.2-3B com Unsloth
Este Notebook demonstra como fazer o ajuste fino do Llama-3.2-3B usando a biblioteca Unsloth.
Notebook
Ajuste um modelo GPT OSS 20B
Este Notebook demonstra como fazer o ajuste fino do modelo da OpenAI gpt-oss-20b em uma GPU H100 usando LoRA para um ajuste fino eficiente de parâmetros.
Notebook
Ajuste fino supervisionado usando DeepSpeed e TRL
Este Notebook demonstra como usar a API Python da GPU sem servidor para executar o ajuste fino supervisionado (SFT) usando a bibliotecaTransformer Reinforcement Learning (TRL) com otimização DeepSpeed ZeRO Stage 3.