Pular para o conteúdo principal

Treinamento distribuído usando DeepSpeed

info

Beta

Este recurso está em Beta.

Esta página tem exemplos do Notebook para treinamento distribuído usando DeepSpeed em compute de GPU sem servidor.

Ajuste fino supervisionado usando DeepSpeed e TRL

Este Notebook demonstra como usar a API Python da GPU sem servidor para executar o ajuste fino supervisionado (SFT) usando a bibliotecaTransformer Reinforcement Learning (TRL) com otimização DeepSpeed ZeRO Stage 3.

Notebook

Open notebook in new tab