Cas d’usage · inférence LLM
GPU pour l’inférence LLM : des tokens tarifés comme une facture d’électricité
Les prix fixes des GPU transforment le $/token en simple calcul : choisissez la carte la plus petite qui contient votre modèle + cache KV, saturez-la avec le traitement par lots continu de vLLM, divisez. Une RTX 5090 à $0,481/h sert un modèle 8B pour quelques centimes par million de tokens.
Les cartes de serving, par taille de modèle
La VRAM décide ; le prix par VRAM classe les candidats.
| Palier | GPU | VRAM | À la demande | Interruptible | Pourquoi cette carte | Action |
|---|---|---|---|---|---|---|
| Bon | RTX 5090 | 32 GB | $0,481 | $0,240 | 32 GB GDDR7 — le roi du $/token pour les modèles de chat 7B–14B en FP16 et 32B en 4-bit. | Déployer |
| Meilleur | L40S | 48 GB | $0,448 | $0,224 | 48 GB et refroidissement de niveau serveur pour les endpoints 24/7 ; modèles de classe 32B et 14B à contexte long. | Déployer |
| Le meilleur | H100 PCIE | 80 GB | $1,811 | $0,905 | 80 GB HBM3 pour un 70B quantifié sur une seule carte — ou en FP8 pour un débit maximal par dollar. | Déployer |
Plus gros que 70B ? Parallélisme tensoriel sur 2–8× cartes d’une même machine — le prix par GPU ne change jamais. Tables de dimensionnement : guide VRAM.
$/million tokens, calculé honnêtement
Le débit varie selon le contexte et le mix de batch, donc nous publions la formule, pas un chiffre marketing :
$/M tokens = GPU $/h ÷ (tokens/s × 3 600) × 1 000 000
Une RTX 5090 à $0,481/h qui soutient ~2 800 tok/s de Llama-3.1-8B en traitement par lots continu → $0,048/M tokens. La même carte, en interruptible, réduit cela de moitié.
Benchmarkez votre propre modèle en 10 minutes — le guide de serving fournit la commande exacte de vllm bench.
Schémas de serving
- Réservé + vLLM pour la charge de base — −35 % sur la carte qui ne dort jamais.
- Débordement serverless en complément — les workers en scale-to-zero absorbent les pics.
- Volume de bibliothèque de modèles monté en lecture seule — les nouveaux workers évitent le téléchargement de 40 GB.
- Quantifier d’abord — AWQ/GPTQ en 4-bit double le nombre de modèles qu’une carte peut contenir, nuit rarement à la qualité du chat.
Templates : vLLM, Ollama, TGWUI — tous compatibles OpenAI nativement.
GPU pour l’inférence LLM : FAQ
Quelle est la façon la moins chère de servir un modèle 7B–14B ?
Une seule RTX 5090 à $0,481/h exécutant vLLM. À un débit de chat typique, cela tombe largement sous $0,15 par million de tokens de sortie — un ordre de grandeur sous les tarifs des fournisseurs d’API pour des modèles ouverts comparables.
Quand ai-je besoin d’une carte de 80 GB ?
Aux alentours de 70B : un 70B en 4-bit demande ~44 GB plus le cache KV, donc une seule H100 PCIE (80 GB) ou 2× L40S avec parallélisme tensoriel. Un 70B en FP16 demande 2× 80 GB. En dessous de 32B, les cartes de 32–48 GB sont la zone de bon rapport qualité-prix.
Instances ou serverless pour le serving ?
Trafic soutenu et saturant → une instance réservée (−35 %) que vous gardez active. Trafic en pics ou inactif la nuit → serverless avec scale-to-zero. Mêmes prix à la seconde ; la différence, c’est qui paie pour l’inactivité.