Modelos de linguagem de grande porte (LLMs)
Visualização
Este recurso está em Pré-visualização Pública.
Esses Notebooks fazem ajuste fino em grandes modelos de linguagem (LLMs) no Runtime de AI. Eles cobrem métodos de ajuste fino eficientes em termos de parâmetros, como Adaptação de Baixa Classificação (LoRA) e ajuste fino supervisionado completo em bibliotecas como TRL, Unsloth, Axolotl e LLM Foundry, com modelos de Qwen2 e Llama a GPT-OSS 120B.
Tutorial | Descrição |
|---|---|
Ajuste fino de peso total do modelo Qwen3-4B em uma única GPU H100 usando Aprendizagem por Reforço de Transformer (TRL), com precisão mista BF16 e checkpointing de gradiente para treinamento com eficiência de memória. | |
Ajuste o Llama-3.2-3B usando a biblioteca Unsloth. | |
Otimize o modelo | |
Utilize a API Python para GPU sem servidor para executar o ajuste fino supervisionado (SFT) usando a biblioteca TRL com a otimização DeepSpeed ZeRO Stage 3. | |
Utilize a API Python para GPU sem servidor para ajustar um modelo Olmo3 7B usando a biblioteca Axolotl no LoRA. | |
Ajuste o modelo Qwen2-0.5B usando kernels LoRA e Liger para treinamento distribuído com uso eficiente de memória e redução de parâmetros. | |
Ajuste o Llama-3.2-3B usando treinamento distribuído em várias GPUs com a biblioteca Unsloth para um treinamento otimizado e eficiente em termos de parâmetros. | |
Ajuste o modelo Llama 3.1 8B usando o Mosaic LLM Foundry com estratégias de treinamento distribuído e avaliação do modelo. | |
Ajuste fino do modelo GPT-OSS 120B da OpenAI usando ajuste fino supervisionado em GPUs H100 com estratégias de treinamento distribuído DDP e FSDP. | |
Ensinar modelos Transformer usando PyTorch Fully Sharded Data Parallel (FSDP) para distribuir os parâmetros do modelo entre várias GPUs. |
Vídeo demonstrativo
Este vídeo apresenta em detalhes o exemplo de notebook "Ajuste fino do Llama-3.2-3B com Unsloth" (12 minutos).