Grands modèles de langage (LLM)

info

Aperçu

Cette fonctionnalité est en aperçu public.

Ces exemples servent à affiner et à post-entraîner de grands modèles de langage (LLM) sur AI Runtime. Ils couvrent des méthodes d’affinement efficaces en paramètres, telles que l’adaptation de bas rang (LoRA) et l’affinement supervisé complet, dans des bibliothèques comme TRL, Unsloth, Axolotl et LLM Foundry. Pour des exemples d’inférence par batch, consultez Inférence par batch.

Exemple	Interface	Description
Apprentissage par renforcement de Gemma4-2B	Notebook	Effectuez un post-entraînement de Gemma4-2B avec l’optimisation par politique relative au groupe (GRPO) et l’adaptation de bas rang (LoRA) sur un seul GPU H100 à l’aide d’Unsloth.
Affinement supervisé (complet) de Qwen3-4B	Notebook	Affinement complet des poids de Qwen3-4B sur un seul GPU H100 avec TRL, en utilisant la précision mixte BF16 et le gradient checkpointing.
Affinement supervisé (LoRA) de Llama-3.2-3B	Notebook	Effectuez l’affinement LoRA de Llama-3.2-3B sur un seul GPU avec la bibliothèque Unsloth.
Affinement supervisé (LoRA) de GPT-OSS 20B	Notebook	Affinement LoRA de GPT-OSS 20B sur 8 GPU H100 avec TRL et parallélisme de données distribué.
Affinement supervisé (complet) de Llama-3.2-1B	Notebook	Effectuez l'affinement complet des poids de Llama-3.2-1B sur 8 GPU H100 avec TRL et DeepSpeed ZeRO Stage 3.
Affinement supervisé (LoRA) d'Olmo3 7B	Notebook	Affinement LoRA d'Olmo3 7B sur plusieurs GPU avec la bibliothèque Axolotl.
Supervised affinement (Full) and serving of Qwen3.5-0.8B	Notebook	Affinez Qwen3.5-0.8B sur un seul GPU H100 avec TRL, puis servez-le derrière un endpoint vLLM Model Serving.
Affinement supervisé de Llama-3.2-3B sur multi-GPU	Notebook	Affinement LoRA de Llama-3.2-3B sur plusieurs GPU avec la bibliothèque Unsloth.
Affinement supervisé (LoRA) de GPT-OSS 120B	Notebook	Affinement LoRA de GPT-OSS 120B sur 8 GPU H100 avec TRL, en utilisant DDP et FSDP.
Entraînement de transformers sur plusieurs GPU	Notebook	Entraînez les modèles Transformer à l'aide de PyTorch Fully Sharded Data Parallel (FSDP) pour répartir les paramètres de modèle sur plusieurs GPU.
Affinement multi-nœuds de Llama 3.1 8B avec FSDP	CLI	Effectuez un affinement supervisé de Llama 3.1 8B avec PyTorch FSDP sur deux nœuds 8 × H100, journalisez la perte d’entraînement dans MLflow et enregistrez un point de contrôle consolidé.
Affinement FSDP2 multi-nœuds de Qwen3.8-27B	CLI	Affinez Qwen3.8-27B avec PyTorch FSDP2 sur quatre nœuds 8x H100.
Affinement de tous les poids de Qwen3-8B pour l’extraction de factures	CLI	Affinez Qwen3-8B pour l’extraction d’entités de factures et de reçus avec TRL et DeepSpeed ZeRO-3 sur un nœud 8 × H100.
Affinement supervisé de Qwen2.5-3B avec Ray Train	CLI	Utilisez Ray Train pour affiner Qwen2.5-3B avec un Worker de parallélisme distribué des données par GPU sur un nœud équipé de 8 H100.
Recherche d’hyperparamètres LoRA pour Qwen2.5-0.5B	CLI	Utilisez Ray Tune et l’algorithme de réduction de moitié successive asynchrone (ASHA) pour rechercher des configurations LoRA sur quatre GPU A10 et journaliser la meilleure configuration dans MLflow.

Exemple	Interface	Description
Apprentissage par renforcement de Gemma4-2B	Notebook	Effectuez un post-entraînement de Gemma4-2B avec l’optimisation par politique relative au groupe (GRPO) et l’adaptation de bas rang (LoRA) sur un seul GPU H100 à l’aide d’Unsloth.
Affinement supervisé (complet) de Qwen3-4B	Notebook	Affinement complet des poids de Qwen3-4B sur un seul GPU H100 avec TRL, en utilisant la précision mixte BF16 et le gradient checkpointing.
Affinement supervisé (LoRA) de Llama-3.2-3B	Notebook	Effectuez l’affinement LoRA de Llama-3.2-3B sur un seul GPU avec la bibliothèque Unsloth.
Affinement supervisé (LoRA) de GPT-OSS 20B	Notebook	Affinement LoRA de GPT-OSS 20B sur 8 GPU H100 avec TRL et parallélisme de données distribué.
Affinement supervisé (complet) de Llama-3.2-1B	Notebook	Effectuez l'affinement complet des poids de Llama-3.2-1B sur 8 GPU H100 avec TRL et DeepSpeed ZeRO Stage 3.
Affinement supervisé (LoRA) d'Olmo3 7B	Notebook	Affinement LoRA d'Olmo3 7B sur plusieurs GPU avec la bibliothèque Axolotl.
Supervised affinement (Full) and serving of Qwen3.5-0.8B	Notebook	Affinez Qwen3.5-0.8B sur un seul GPU H100 avec TRL, puis servez-le derrière un endpoint vLLM Model Serving.
Affinement supervisé de Llama-3.2-3B sur multi-GPU	Notebook	Affinement LoRA de Llama-3.2-3B sur plusieurs GPU avec la bibliothèque Unsloth.
Affinement supervisé (LoRA) de GPT-OSS 120B	Notebook	Affinement LoRA de GPT-OSS 120B sur 8 GPU H100 avec TRL, en utilisant DDP et FSDP.
Entraînement de transformers sur plusieurs GPU	Notebook	Entraînez les modèles Transformer à l'aide de PyTorch Fully Sharded Data Parallel (FSDP) pour répartir les paramètres de modèle sur plusieurs GPU.
Affinement multi-nœuds de Llama 3.1 8B avec FSDP	CLI	Effectuez un affinement supervisé de Llama 3.1 8B avec PyTorch FSDP sur deux nœuds 8 × H100, journalisez la perte d’entraînement dans MLflow et enregistrez un point de contrôle consolidé.
Affinement FSDP2 multi-nœuds de Qwen3.8-27B	CLI	Affinez Qwen3.8-27B avec PyTorch FSDP2 sur quatre nœuds 8x H100.
Affinement de tous les poids de Qwen3-8B pour l’extraction de factures	CLI	Affinez Qwen3-8B pour l’extraction d’entités de factures et de reçus avec TRL et DeepSpeed ZeRO-3 sur un nœud 8 × H100.
Affinement supervisé de Qwen2.5-3B avec Ray Train	CLI	Utilisez Ray Train pour affiner Qwen2.5-3B avec un Worker de parallélisme distribué des données par GPU sur un nœud équipé de 8 H100.
Recherche d’hyperparamètres LoRA pour Qwen2.5-0.5B	CLI	Utilisez Ray Tune et l’algorithme de réduction de moitié successive asynchrone (ASHA) pour rechercher des configurations LoRA sur quatre GPU A10 et journaliser la meilleure configuration dans MLflow.

Démo vidéo

Cette vidéo présente l’ affinement supervisé (LoRA) de Llama-3.2-3B exemple de notebook en détail (12 minutes).