TL;DR
- Louez la H100 seulement quand elle termine la tâche plus vite que le ratio de prix entre les deux cartes ; sinon, la A100 revient moins cher par run.
- Sur LowCostGPU, ce ratio est de $1,680 contre $0,468 par heure, alors que les runs BF16 LoRA et QLoRA n’atteignent que 1,7-2,2×.
- Les deux cartes ont 80 GB, la capacité n’est donc jamais le facteur décisif ; la H100 apporte 3,35 contre 2,0 TB/s de bande passante et le FP8.
- Les fine-tunes complets en FP8 gagnent 2,5-3× et font pencher la décision vers la H100 ; sans FP8 activé, vous ne payez que pour la bande passante.
La règle du seuil de rentabilité
Les deux cartes ont 80 GB, le choix n’est donc jamais une question de capacité — c’est une question de dollars par run terminé. Aujourd’hui, la H100 SXM coûte $1,680/h et la A100 SXM4 $0,468/h : un ratio de 3,59×. La règle qui tranche pour chaque job :
louez la H100 si speedup(H100 / A100) > 3,59, sinon louez l’A100
Sous cette ligne, les accélérations rendent l’A100 moins chère par run même si la H100 est plus rapide ; au-dessus, la H100 est à la fois plus rapide et moins chère. Le ratio évolue avec la revérification hebdomadaire des prix — le chiffre ci-dessus est en direct.
Ce qui diffère réellement
| A100 SXM4 80 GB | H100 SXM 80 GB | Pourquoi c’est important pour le fine-tuning | |
|---|---|---|---|
| Mémoire | 80 GB HBM2e | 80 GB HBM3 | Capacité identique — les mêmes modèles tiennent |
| Bande passante | 2,0 TB/s | 3,35 TB/s | Les étapes d’optimiseur et l’attention sont limitées par la bande passante : ~1,6× rien que pour cela |
| BF16 tensor (dense) | 312 TFLOPS | 990 TFLOPS | Les couches limitées par le calcul passent à l’échelle ; les petits batches saturent rarement l’une ou l’autre |
| FP8 | — | Transformer Engine | La vraie arme de la H100 : 2,5–3× sur les fine-tunes complets qui l’utilisent |
| NVLink | 600 GB/s | 900 GB/s | Les all-gathers FSDP multi-GPU comptent au-delà de 2 cartes |
| Prix aujourd’hui | $0,468/h | $1,680/h | Ratio 3,59× — le seuil de rentabilité |
Cinq jobs de fine-tuning, chiffrés
Durée réelle indicative sur l’A100 et accélération que la plupart des équipes mesurent sur une H100 pour la même recette. Les colonnes de coût utilisent les prix à la demande du jour ; la capacité interruptible divise les deux par deux — les fine-tunes font des checkpoints, alors autant en profiter.
| Tâche | Configuration | Heures A100 | Accélération H100 | Coût A100 | Coût H100 | Moins cher |
|---|---|---|---|---|---|---|
| QLoRA, Llama 3.1 8B, 10k paires | Calcul BF16, base 4 bits | 1,5 h | 1,8× | $0,70 | $1,40 | A100 (50 % de moins) |
| LoRA, Llama 3.1 70B (base 4-bit) | une seule carte, 48 GB utilisés | 3 h | 2,0× | $1,40 | $2,52 | A100 (44 % de moins) |
| Fine-tune complet, 8B, BF16 | Nœud 8×, FSDP | 6 h | 2,2× | $22,46 | $36,65 | A100 (39 % de moins) |
| Fine-tune complet, 8B, FP8 (Transformer Engine) | Nœud 8×, FSDP | 6 h | 3,0× | $22,46 | $26,88 | A100 (16 % de moins) |
| Passe DPO / RLHF, 8B | politique + référence | 2,5 h | 2,4× | $1,17 | $1,75 | A100 (33 % de moins) |
La tendance est cohérente : les méthodes à adaptateurs en BF16 favorisent l’A100 ; tout ce qui fait appel au FP8 ou tourne assez longtemps pour que la bande passante domine favorise la H100. La durée réelle tranche en cas d’égalité — un run H100 qui coûte 10 % de plus mais termine un jour plus tôt est généralement le bon choix face à une échéance.
Tableau de décision
| Ce que vous faites | Louez | Pourquoi |
|---|---|---|
| QLoRA / LoRA sur ≤13B, BF16 | RTX 4090 ou A100 PCIe | Tient en 24–80 GB ; accélérations sous le seuil de rentabilité |
| LoRA sur 70B (base 4-bit), une seule carte | A100 SXM4 | Limité par la bande passante, mais l’accélération de 2× reste sous 3,6× |
| Fine-tune complet, BF16, multi-GPU | A100 SXM4, sauf contrainte de délai | ≈2,2× d’accélération est proche du seuil — choisissez selon la durée réelle |
| Fine-tune complet avec FP8 (TE, NeMo, TorchAO) | H100 SXM | Accélération de 2,5–3×, largement supérieure au ratio de prix |
| Longueurs de séquence ≥32k ou micro-batches importants | H100 SXM (ou H200) | Bande passante mémoire et, sur la H200, 141 GB |
Rendre chaque carte moins chère
- Passez en interruptible. Chaque job ci-dessus utilise des checkpoints ; le −50 % fixe fait passer une A100 à $0,234/h et une H100 à $0,840/h.
- Activez FP8 avant de louer une H100. Sans cela, vous ne payez que pour la bande passante ; avec cela, la H100 justifie son prix.
- Réglez sur 1×, entraînez sur 8×. Déboguez la configuration sur une seule carte, au huitième du rythme de consommation, puis passez à l’échelle.
- Jeux de données et checkpoints sur un volume à $0,08/GB/mois — l’instance d’entraînement reste jetable.
- Comparez les voisines. H100 SXM vs A100 SXM4 et le duo PCIe maintiennent des chiffres en direct ; le guide QLoRA donne la configuration axolotl exacte.
Faites travailler ces chiffres
Chaque prix de ce guide est notre tarif en direct — fixe, ≥30 % sous la médiane du marché, facturé à la seconde. Déployez exactement la configuration ci-dessus depuis la console en environ 30 secondes, paiement en crypto, sans carte et sans KYC.
