Get start: Serverless GPU Compute with des GPU H100
Connectez-vous aux GPU H100 et exécutez des charges de travail distribuées sur AI Runtime à l’aide de la bibliothèque Python serverless_gpu.
La bibliothèque serverless_gpu permet l'exécution transparente des charges de travail GPU directement à partir des notebooks Databricks. Il fournit des décorateurs et des utilitaires d'exécution pour le calcul GPU distribué. Pour en savoir plus, consultez la documentation de l'API GPU Serverless.
Se connecter au compute GPU serverless
Pour exécuter ce notebook, vous avez besoin d'accéder au compute GPU serverless Databricks avec des accélérateurs H100.
- Dans le sélecteur de compute, sélectionnez **GPU Serverless**.
- Dans l'"Environment" tab sur le côté droit, sélectionnez **8xH100** pour votre accélérateur. Cette option utilise 8 puces H100 sur un nœud unique.
- Choisissez l'environnement **AI v5** dans le panneau de droite qui contient toutes les bibliothèques requises pour exécuter cet exemple de notebook.
- Cliquez sur Appliquer .
Quand utiliser les GPU H100
Par rapport aux A10, les H100 offrent de plus grandes Opérations en virgule flottante par seconde (FLOPS) et une mémoire à large bande passante (HBM). Utilisez des H100 pour l'**entraînement** de grands modèles lorsqu'un throughput élevé et/ou une grande mémoire GPU est nécessaire.
Vérifier la connexion GPU
Utilisez la commande nvidia-smi pour confirmer que vous êtes connecté à 8 GPU H100. Cette commande affiche les informations GPU, incluant le modèle, la mémoire et l'utilisation.
%sh nvidia-smi
Thu Jan 15 17:56:54 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 575.57.08 Driver Version: 575.57.08 CUDA Version: 12.9 |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA H100 80GB HBM3 On | 00000000:53:00.0 Off | 0 |
| N/A 26C P0 70W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 1 NVIDIA H100 80GB HBM3 On | 00000000:64:00.0 Off | 0 |
| N/A 28C P0 68W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 2 NVIDIA H100 80GB HBM3 On | 00000000:75:00.0 Off | 0 |
| N/A 26C P0 71W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 3 NVIDIA H100 80GB HBM3 On | 00000000:86:00.0 Off | 0 |
| N/A 29C P0 68W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 4 NVIDIA H100 80GB HBM3 On | 00000000:97:00.0 Off | 0 |
| N/A 27C P0 67W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 5 NVIDIA H100 80GB HBM3 On | 00000000:A8:00.0 Off | 0 |
| N/A 26C P0 67W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 6 NVIDIA H100 80GB HBM3 On | 00000000:B9:00.0 Off | 0 |
| N/A 26C P0 69W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 7 NVIDIA H100 80GB HBM3 On | 00000000:CA:00.0 Off | 0 |
| N/A 26C P0 67W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| No running processes found |
+-----------------------------------------------------------------------------------------+
Exemple Hello World
Cet exemple montre comment exécuter une fonction distribuée sur plusieurs GPU à l'aide du décorateur @distributed.
La fonction annotée ci-dessous s'exécute sur 8 processus, un par GPU sur le nœud auquel le Notebook est attaché.
La fonction utilise le module runtime pour accéder aux rangs GPU locaux et globaux.
from serverless_gpu import distributed
from serverless_gpu import runtime as rt
@distributed(
gpus=8,
gpu_type='h100',
)
def hello_world(name: str) -> list[int]:
if rt.get_local_rank() == 0:
print('hello world', name)
return rt.get_global_rank()
result = hello_world.distributed('SGC')
assert result == [0, 1, 2, 3, 4, 5, 6, 7]
Étapes suivantes
- Meilleures pratiques pour le compute GPU Serverless
- Dépanner les problèmes sur le compute GPU serverless
- Formation distribuée multi-GPU et multi-nœuds
- Documentation de l'API Serverless GPU