Grandes modelos de linguagem (LLMs)

info

Beta

Este recurso está em versão Beta. Os administradores do espaço de trabalho podem controlar o acesso a este recurso na página de Pré-visualizações . Veja as prévias do Gerenciador Databricks.

Esta página fornece exemplos de Notebook para ajuste fino de modelos de linguagem grandes (LLMs) usando GPU sem servidor compute. Esses exemplos demonstram várias abordagens de ajuste fino, incluindo métodos eficientes em parâmetros, como adaptação de baixa classificação (LoRa) e ajuste fino supervisionado completo.

Tutorial	Descrição
Ajuste fino do modelo Qwen2-0.5B	Ajuste com eficiência o modelo Qwen2-0.5B usando Aprendizado por Reforço Transformer (TRL), Kernels Liger para treinamento com uso eficiente de memória e LoRA para ajuste fino com uso eficiente de parâmetros.
Ajuste fino Llama-3.2-3B com Unsloth	Ajuste o Llama-3.2-3B usando a biblioteca Unsloth.
Ajustar um modelo GPT OSS 20B	Ajuste o modelo gpt-oss-20b da OpenAI em uma GPU H100 usando LoRA para um ajuste fino com uso eficiente de parâmetros.
Ajuste fino supervisionado usando DeepSpeed e TRL	Utilize a API Python para GPU sem servidor para executar o ajuste fino supervisionado (SFT) usando a biblioteca TRL com a otimização DeepSpeed ZeRO Stage 3.
Ajuste fino do LoRA usando o Axolotl	Utilize a API Python para GPU sem servidor para ajustar um modelo Olmo3 7B usando a biblioteca Axolotl no LoRA.

Demonstração em vídeo

Este vídeo apresenta em detalhes o exemplo de notebook "Ajuste fino do Llama-3.2-3B com Unsloth" (12 minutos).