TL;DR
- Les poids ont besoin de 2 GB par milliard de paramètres en FP16, 1 GB en INT8 et environ 0,55 GB en 4-bit.
- Ajoutez 10 à 20 % de surcharge d’exécution, plus le cache KV : Llama 3.1 8B coûte environ 0,13 GB par 1k tokens et par séquence.
- Tailles pratiques : un 8B fait 18 GB en FP16 ou 6,5 GB en 4-bit ; Llama 70B fait 150 GB en FP16, 44 GB en 4-bit.
- LowCostGPU facture le multi-GPU de façon linéaire, donc deux RTX 5090 à $0,481 chacune donnent 64 GB pour servir un 70B en 4-bit.
La règle empirique des 60 secondes
weights_gb = params_B x bytes_per_param # fp16 2.0 · int8 1.0 · 4-bit ~0.55
runtime_gb = weights_gb x 1.1..1.2 # CUDA ctx, activations, fragmentation
total_gb = runtime_gb + kv_cache_gb # see below — grows with context
C’est vraiment toute la méthode. Le tableau ci-dessous l’applique aux modèles que les gens déploient réellement, avec la carte la moins chère de notre fiche qui convient à chaque cellule.
Le tableau de dimensionnement (inférence)
| Modèle | FP16 | INT8 | 4-bit | Carte la moins chère qui convient (4-bit) | $/h |
|---|---|---|---|---|---|
| Llama 3.2 3B | 7 GB | 4,5 GB | 2,8 GB | RTX 3060 · 12 GB | $0,058 |
| Llama 3.1 8B | 18 GB | 10 GB | 6,5 GB | RTX 3090 · 24 GB | $0,148 |
| Qwen 2.5 14B | 31 GB | 17 GB | 10,5 GB | RTX 4090 · 24 GB | $0,354 |
| Qwen 2.5 32B | 70 GB | 37 GB | 21 GB | RTX 5090 · 32 GB | $0,481 |
| Llama 3.1 70B | 150 GB | 78 GB | 44 GB | H100 PCIE · 80 GB | $1,811 |
| Qwen 2.5 72B | 155 GB | 80 GB | 46 GB | H100 PCIE · 80 GB | $1,811 |
| Mistral Large 123B | 260 GB | 133 GB | 78 GB | H200 · 141 GB | $3,131 |
| Llama 3.1 405B | 850 GB | 440 GB | 245 GB | B200 · 192 GB | $6,475 |
Poids + 15 % de surcharge, hors cache KV ; les lignes 405B supposent un sharding multi-GPU (prix par carte affiché). Les chiffres sont des estimations d’ingénierie pour la planification, pas des benchmarks.
Le cache KV : la partie que tout le monde oublie
Les plantages du service viennent rarement des poids — ils viennent du contexte. Chaque token en cours de traitement stocke des clés et des valeurs pour chaque couche :
kv_gb = 2 x layers x kv_heads x head_dim x bytes x context x batch / 1e9
# Llama 3.1 8B (GQA, fp16): ~0.13 GB per 1k tokens per sequence
# 32 concurrent chats x 8k context ≈ 33 GB of cache — MORE than the weightsLeviers, du moins cher au plus cher : quantifier le cache (le FP8 KV le réduit de moitié), plafonner le contexte simultané (--max-num-batched-tokens de vLLM), puis acheter de la VRAM. C’est pourquoi les pages de service recommandent des cartes de 32 à 48 GB pour des « modèles qui tiennent en 16 GB ».
VRAM d’entraînement & de fine-tuning
| Méthode | VRAM ≈ | 8B tient sur | 70B tient sur |
|---|---|---|---|
| Fine-tune complet, AdamW fp16 | 16 GB / B de paramètres | 8× 24 GB ou 2× 80 GB | 16× 80 GB (cluster) |
| Complet, optimiseur 8 bits | ~10 GB / B | 1× 80 GB | 9× 80 GB |
| LoRA (base fp16) | poids + ~2 GB | 1× 24 GB | 2× 80 GB |
| QLoRA (base 4-bit) | ~0,7 GB / B + 2 GB | 1× 12 GB | 1× 48–80 GB |
Le gradient checkpointing échange environ 20 % de vitesse contre environ 30 % de mémoire et est activé par défaut dans les configurations axolotl — le tutoriel QLoRA montre la consommation réelle à chaque étape.
Quand une seule carte ne suffit pas
- Le parallélisme tensoriel (vLLM --tensor-parallel-size) répartit les couches sur 2 à 8 GPU sur une même machine — NVLink aide, mais le PCIe 4/5 suffit largement jusqu’à 4×.
- Notre tarification est linéaire : 2× RTX 5090 (64 GB au total) coûte exactement 2× $0,481 — souvent la configuration 70B-4bit la moins chère de la fiche.
- Au-delà de 8 GPU, vous entrez en territoire cluster : pipeline ou sharding FSDP sur InfiniBand.
Recoupez votre choix avec les listes de compatibilité par carte sur les pages GPU — chaque fiche calcule ce qu’elle peut contenir à partir de ces mêmes formules.
Faites travailler ces chiffres
Chaque prix de ce guide est notre tarif en direct — fixe, ≥30 % sous la médiane du marché, facturé à la seconde. Déployez exactement la configuration ci-dessus depuis la console en environ 30 secondes, paiement en crypto, sans carte et sans KYC.
