Cas d’usage · entraînement LLM
L’entraînement de LLM sur GPU cloud : le même silicium, sans enchère
Le pré-entraînement et le pré-entraînement continué vivent sur des composants HBM : H100 SXM à $1,680/GPU-h fixe (médiane du marché $2,40), NVLink au sein du nœud, InfiniBand entre les nœuds, et une capacité interruptible à moitié prix pour chaque epoch avec checkpoint.
Les cartes d’entraînement, classées
Comparatif complet dans le guide H100 vs H200 vs B200.
| Palier | GPU | VRAM | À la demande | Interruptible | Pourquoi cette carte | Action |
|---|---|---|---|---|---|---|
| Bon | A100 SXM4 | 80 GB | $0,468 | $0,234 | Cheval de bataille éprouvé à 80 GB HBM2e — $/étape imbattable pour les expériences ≤13B et les laboratoires à forte utilisation de LoRA. | Déployer |
| Meilleur | H100 SXM | 80 GB | $1,680 | $0,840 | Le choix par défaut : Transformer Engine FP8, 3,35 TB/s, forte disponibilité dans toutes les grandes régions. | Déployer |
| Le meilleur | B200 | 192 GB | $6,475 | $3,237 | 192 GB HBM3e et Blackwell FP4/FP8 — le temps réel le plus court quand le délai est le budget. | Déployer |
Coût d’un run réel, ligne par ligne
Pré-entraînement continué, 8× H100 SXM, 72 heures, interruptible avec checkpoints sur volume :
| Temps GPU | 8 × 72 h × $0,840 | = | $483,84 |
|---|---|---|---|
| Volume de checkpoint 500 GB | 3 jours × $40,00/mois | = | $4,00 |
| Import du dataset 400 GB | 400 × $0,01 | = | $4,00 |
| Total | ≈ | $492 |
L’équivalent, à la médiane du marché, de la seule ligne GPU : environ $691 aux enchères spot qu’il faut surveiller — ou $1 382 à la demande.
Les pratiques qui réduisent la facture
- Faites un checkpoint vers un volume toutes les N étapes — les interruptions redémarrent gratuitement, depuis le disque.
- Réglez sur 1×, entraînez sur 8× — déboguez la configuration au huitième du rythme de consommation.
- Passez au FP8/BF16 — le Transformer Engine de la H100/H200 est la remise que personne n’utilise.
- Détruisez, gardez le volume — les jeux de données restent disponibles à $0,08/GB/mois, les GPU ne facturent rien.
Templates : PyTorch, axolotl (compatibles FSDP) — ou votre propre image avec une VM complète pour les piles logicielles exotiques.
GPU d’entraînement LLM : FAQ
Calcul de dimensionnement : guide des besoins en VRAM.
Sur quel GPU entraîner un LLM ?
Pour les runs sérieux, la H100 SXM ($1,680/h) est le choix par défaut prix/performance, la H200 ajoute 141 GB pour un contexte plus long et des micro-batches plus grands, la B200 l’emporte quand le temps réel est la contrainte. Pour les expériences sous 13B, les nœuds 8× A100 à $0,468/GPU-h sont difficiles à battre.
À la demande ou interruptible pour l’entraînement ?
Interruptible, presque toujours — l’entraînement produit de toute façon des checkpoints, et le −50 % s’accumule sur des centaines de GPU-heures. Un run de 72 heures sur 8× H100 coûte environ $484 en interruptible contre $968 à la demande. Restez à la demande pour le run final, contraint par un délai.
Comment les runs multi-nœuds se connectent-ils ?
Les machines seules montent jusqu’à 8× avec NVLink. Au-delà, les clusters connectent des nœuds à 8 GPU via InfiniBand avec NCCL pré-optimisé — voir la page Clusters pour les tarifs des pods et les chiffres d’all-reduce.