Treinamento distribuído multi-GPU

info

Visualização

O decorador @distributed usado nos exemplos de Notebooks está em Pré-lançamento público.

Estes exemplos permitem escala o treinamento de modelos em várias GPUs e nós no AI Runtime. Os exemplos de Notebooks usam a API Python serverless_gpu no compute de GPU anexado. Os exemplos da CLI do Databricks fornecem configurações de cargas de trabalho e código-fonte para treinamento em nó único e multinó.

nota

O treinamento distribuído baseado em Notebook com várias GPUs é compatível com GPUs H100.

Escolha sua técnica de paralelismo

Escolha uma técnica de paralelismo com base no tamanho do modelo, na memória de GPU disponível e nos requisitos de desempenho. A tabela a seguir compara as opções.

Técnica	Quando usar
DDP (Paralelismo de Dados Distribuídos)	O modelo completo cabe em uma única memória GPU; necessidade de escalar dados Taxa de transferência
FSDP (Paralelismo de Dados Totalmente Fragmentado)	Modelos muito grandes que não cabem na memória de uma única GPU.
DeepSpeed ZeroRO	Modelos grandes com necessidades avançadas de otimização de memória

Técnica	Quando usar
DDP (Paralelismo de Dados Distribuídos)	O modelo completo cabe em uma única memória GPU; necessidade de escalar dados Taxa de transferência
FSDP (Paralelismo de Dados Totalmente Fragmentado)	Modelos muito grandes que não cabem na memória de uma única GPU.
DeepSpeed ZeroRO	Modelos grandes com necessidades avançadas de otimização de memória

Para informações detalhadas sobre cada técnica, consulte DDP, FSDP e DeepSpeed.

Para obter conselhos e padrões para tornar seu pipeline de treinamento mais eficiente e resiliente, consulte o guia de desempenho e resiliência.

Exemplos de Notebook por técnica e framework

A tabela a seguir organiza exemplos de notebooks por framework ou biblioteca e pela técnica de paralelismo aplicada. Vários notebooks podem aparecer em uma única célula.

Framework/biblioteca	Exemplos de DDP	Exemplos FSDP	Exemplos do DeepSpeed
PyTorch (nativo)	Rede neural MLP simples Detecção de imagem RetinaNet	transformador de parâmetros 10M	—
Huggingface TRL	Ajuste fino do Gpt OSS 20B	Ajuste fino do Gpt OSS 120B	Ajuste fino Llama 3.2 1B
Unsloth	Ajuste fino Llama 3.2 3B	—	—
Axolote	Ajuste fino Olmo3 7B	—	—
Raio	Sistema de recomendação de duas torres	—	—

Framework/biblioteca	Exemplos de DDP	Exemplos FSDP	Exemplos do DeepSpeed
PyTorch (nativo)	Rede neural MLP simples Detecção de imagem RetinaNet	transformador de parâmetros 10M	—
Huggingface TRL	Ajuste fino do Gpt OSS 20B	Ajuste fino do Gpt OSS 120B	Ajuste fino Llama 3.2 1B
Unsloth	Ajuste fino Llama 3.2 3B	—	—
Axolote	Ajuste fino Olmo3 7B	—	—
Raio	Sistema de recomendação de duas torres	—	—

Exemplos de CLI

Os exemplos a seguir contêm links para receitas executáveis no AI Runtime Cookbook.

Exemplo	Técnica	Descrição
Ajuste fino do ResNet-50 com Ray Train	DDP	Ajuste fino do ResNet-50 com um worker do Ray Train por GPU A10 em dois nós.
Ajuste fino do Qwen2.5-3B com Ray Train	DDP	Faça o ajuste fino do Qwen2.5-3B com um worker do Ray Train por GPU em um nó com 8 GPUs H100.
Ajuste fino multinó do Llama 3.1 8B	FSDP	Faça o ajuste fino do Llama 3.1 8B com PyTorch FSDP em dois nós 8x H100.
Ajuste fino em vários nós do Qwen3.8-27B	FSDP2	Faça o ajuste fino do Qwen3.8-27B com PyTorch FSDP2 em quatro nós 8 x H100.
Ajuste fino do Qwen3-8B para extração de faturas	DeepSpeed ZeRO-3	Ajuste fino do Qwen3-8B para extração de entidades de faturas e recibos com TRL em um nó com 8 H100.
Ajuste fino do ModernBERT com DDP	DDP	Ajuste o ModernBERT para classificação de tópicos com PyTorch DDP em um nó 8x H100.
Ajuste fino LoRA do Nemotron 3.5 Lightning	FSDP2 e paralelismo de especialistas	Ajuste fino do Nemotron 3.5 Lightning com NeMo AutoModel em oito GPUs H100.
Ajuste fino LoRA do Nemotron 3.5 Super VL	FSDP2 e paralelismo de especialistas	Ajuste o modelo de visão-linguagem Nemotron 3.5 Super VL com NeMo AutoModel em oito GPUs H100.
Modelo de recomendação de aprendizagem profunda com TorchRec	Fragmentação de incorporação	Ensine um modelo de taxa de clique enquanto o TorchRec divide suas tabelas de incorporação entre quatro nós A10.

Exemplo	Técnica	Descrição
Ajuste fino do ResNet-50 com Ray Train	DDP	Ajuste fino do ResNet-50 com um worker do Ray Train por GPU A10 em dois nós.
Ajuste fino do Qwen2.5-3B com Ray Train	DDP	Faça o ajuste fino do Qwen2.5-3B com um worker do Ray Train por GPU em um nó com 8 GPUs H100.
Ajuste fino multinó do Llama 3.1 8B	FSDP	Faça o ajuste fino do Llama 3.1 8B com PyTorch FSDP em dois nós 8x H100.
Ajuste fino em vários nós do Qwen3.8-27B	FSDP2	Faça o ajuste fino do Qwen3.8-27B com PyTorch FSDP2 em quatro nós 8 x H100.
Ajuste fino do Qwen3-8B para extração de faturas	DeepSpeed ZeRO-3	Ajuste fino do Qwen3-8B para extração de entidades de faturas e recibos com TRL em um nó com 8 H100.
Ajuste fino do ModernBERT com DDP	DDP	Ajuste o ModernBERT para classificação de tópicos com PyTorch DDP em um nó 8x H100.
Ajuste fino LoRA do Nemotron 3.5 Lightning	FSDP2 e paralelismo de especialistas	Ajuste fino do Nemotron 3.5 Lightning com NeMo AutoModel em oito GPUs H100.
Ajuste fino LoRA do Nemotron 3.5 Super VL	FSDP2 e paralelismo de especialistas	Ajuste o modelo de visão-linguagem Nemotron 3.5 Super VL com NeMo AutoModel em oito GPUs H100.
Modelo de recomendação de aprendizagem profunda com TorchRec	Fragmentação de incorporação	Ensine um modelo de taxa de clique enquanto o TorchRec divide suas tabelas de incorporação entre quatro nós A10.

Comece a usar um notebook

Use o seguinte tutorial para começar a usar a biblioteca Python para treinamento distribuído com GPU serverless :

Tutorial	Descrição
Runtime AI com GPUs H100	Aprenda como usar Databricks AI Runtime com aceleradores H100 para executar cargas de trabalho distribuídas em GPUs usando a biblioteca Python serverless_gpu.

Tutorial	Descrição
Runtime AI com GPUs H100	Aprenda como usar Databricks AI Runtime com aceleradores H100 para executar cargas de trabalho distribuídas em GPUs usando a biblioteca Python serverless_gpu.