TL;DR
- La RTX 3060 12 GB est la carte la moins chère qui fait bien tourner Ollama, couvrant tous les modèles 7B-8B et la plupart des modèles 14B en Q4.
- Ollama télécharge des poids en 4-bit par défaut, donc prévoyez environ 0,6 GB par milliard de paramètres, plus 1-3 GB pour le contexte.
- Cela place le 8B sur des cartes 12 GB, le 27B-32B sur 24 GB, et le 70B sur une RTX A6000 48 GB à $0,281 par heure sur LowCostGPU.
- Ollama fonctionne en flux unique : comptez environ 120 tokens par seconde pour un 8B sur une RTX 4090, et utilisez vLLM quand plusieurs utilisateurs partagent la carte.
Combien de VRAM demande chaque modèle Ollama
Ollama télécharge par défaut des poids en 4 bits (Q4_K_M) ; la règle empirique est donc environ 0,6 GB par milliard de paramètres, plus 1–3 GB pour le contexte. Cela place les modèles 8B sur des cartes 12 GB, les 14B sur 12–16 GB, les 27B–32B sur 24 GB et les 70B sur 48 GB. Passez à la classe supérieure pour un contexte de 32k ou plus, ou pour des poids en FP16 (les tags :fp16 ont besoin de 2 GB par milliard).
Le tableau : modèle → carte la moins chère → vitesse → coût
Les tokens par seconde sont des chiffres indicatifs en flux unique pour Ollama avec le modèle entier sur le GPU (backend CUDA de llama.cpp) ; la longueur de votre prompt et la quantification les font varier. Les prix sont les tarifs à la demande du jour ; l’interruptible les divise par deux.
| Modèle Ollama | Poids | Carte | À la demande | ~tok/s | $ / M tokens | Note |
|---|---|---|---|---|---|---|
| llama3.1:8b | 4,9 GB | RTX 3060 12 GB | $0,058 | ~35 | $0,46 | La carte la moins chère qui fait tourner du 8B confortablement |
| llama3.1:8b | 4,9 GB | RTX 4090 24 GB | $0,354 | ~120 | $0,82 | Chat réactif ; de la marge pour un contexte 32k |
| qwen2.5:14b | 9,0 GB | RTX 4070 12 GB | $0,123 | ~45 | $0,76 | 12 GB suffisent en Q4 |
| qwen2.5:14b | 9,0 GB | RTX 5090 32 GB | $0,481 | ~110 | $1,21 | 1,79 TB/s de GDDR7 se voit dans les tokens/s |
| gemma3:27b | 17 GB | RTX 3090 24 GB | $0,148 | ~25 | $1,64 | 24 GB avec de la marge de contexte au tarif le plus bas |
| qwen2.5:32b | 20 GB | RTX 4090 24 GB | $0,354 | ~40 | $2,46 | Serré mais correct sur 24 GB avec un contexte 8k |
| qwen2.5:32b | 20 GB | RTX 5090 32 GB | $0,481 | ~62 | $2,16 | 32 GB laissent de la marge pour un contexte long |
| llama3.3:70b | 43 GB | RTX A6000 48 GB | $0,281 | ~15 | $5,20 | Carte unique la moins chère qui tient un 70B |
| llama3.3:70b | 43 GB | L40S 48 GB | $0,448 | ~20 | $6,22 | Carte datacenter pour un assistant actif en continu |
| llama3.3:70b | 43 GB | H100 PCIE 80 GB | $1,811 | ~38 | $13,24 | Bande passante HBM — le 70B mono-carte le plus rapide |
Le $/M tokens en flux unique paraît cher face aux fournisseurs d’API, parce qu’un seul chat à la fois laisse la carte inactive la plupart du temps — Ollama est un outil d’assistant privé, pas un moteur de serving. Pour de nombreux utilisateurs, vLLM regroupe les requêtes et fait chuter le coût par token de 10–30×.
Un assistant privé actif en continu, par mois
| Assistant | Carte | 24/7 à la demande | Réservé (3 mois) | 8 h/jour, jours ouvrés |
|---|---|---|---|---|
| 8B chat (llama3.1:8b) | RTX 3060 | $42 | $27 | $10 |
| 14B–32B (qwen2.5:32b) | RTX 4090 | $258 | $168 | $62 |
| 70B (llama3.3:70b) | RTX A6000 | $205 | $133 | $49 |
| 70B, rapide (llama3.3:70b) | H100 PCIE | $1 322 | $859 | $319 |
Ajoutez un volume pour la bibliothèque de modèles (/root/.ollama, 30–100 GB à $0,08/GB/mois) afin que les modèles téléchargés survivent aux arrêts/démarrages et aux changements d’instance.
Configuration en une commande
lowcostgpu launch --gpu rtx-3060 --template ollama --disk 40 --volume ollama:/root/.ollama
# ✓ instance i-2b7e11c0 running (26.4s) · $0,058/hr
# https://i-2b7e11c0.lowcostgpu.com:11434 (Ollama API, TLS)
curl https://i-2b7e11c0.lowcostgpu.com:11434/api/pull -d '{"name":"llama3.1:8b"}'Besoin d’une interface de chat par-dessus ? Le template Open WebUI associe Ollama à une interface multi-utilisateur, du RAG et une gestion des modèles derrière TLS.
Cinq façons de payer moins cher
- Adaptez la carte au modèle, pas à l’ambition. Un assistant 8B sur une H100 coûte 40× le prix du même assistant sur une 3060, sans répondre mieux.
- Arrêtez-le quand personne ne parle. La facturation à la seconde fait qu’un assistant 9–17 h coûte le tiers d’un assistant 24/7 ; le disque conserve les modèles.
- Réservez s’il ne s’arrête jamais. −35 % à partir de trois mois — $0,037/h pour la 3060, $0,182/h pour l’A6000.
- Q4 plutôt que FP16. Moitié moins de VRAM, des réponses presque identiques pour le chat ; gardez le FP16 pour les évaluations.
- Deux cartes bon marché peuvent battre une carte chère. 2× RTX 4090 (48 GB) à $0,708/h fait tourner un 70B pour moins cher qu’une seule L40S — plus lent par token, moins cher par mois.
Faites travailler ces chiffres
Chaque prix de ce guide est notre tarif en direct — fixe, ≥30 % sous la médiane du marché, facturé à la seconde. Déployez exactement la configuration ci-dessus depuis la console en environ 30 secondes, paiement en crypto, sans carte et sans KYC.
