TL;DR
- Gewichte benötigen 2 GB pro Milliarde Parameter in FP16, 1 GB in INT8 und etwa 0,55 GB in 4-Bit.
- Rechnen Sie 10–20 Prozent Laufzeit-Overhead sowie KV-Cache hinzu: Llama 3.1 8B benötigt etwa 0,13 GB pro 1k Tokens pro Sequenz.
- Praktische Richtwerte: 8B ist 18 GB in FP16 oder 6,5 GB in 4-Bit; Llama 70B ist 150 GB in FP16, 44 GB in 4-Bit.
- LowCostGPU berechnet Multi-GPU linear, sodass zwei RTX 5090s zu je $0,481 64 GB für 70B im 4-Bit-Serving ergeben.
Die 60-Sekunden-Faustregel
weights_gb = params_B x bytes_per_param # fp16 2.0 · int8 1.0 · 4-bit ~0.55
runtime_gb = weights_gb x 1.1..1.2 # CUDA ctx, activations, fragmentation
total_gb = runtime_gb + kv_cache_gb # see below — grows with context
Das ist tatsächlich die ganze Methode. Die Tabelle unten wendet sie auf die Modelle an, die in der Praxis eingesetzt werden, mit der günstigsten passenden Karte auf unserer Preisliste für jede Zelle.
Die Dimensionierungstabelle (Inferenz)
| Modell | FP16 | INT8 | 4-Bit | Günstigste passende Karte (4-Bit) | $/Std. |
|---|---|---|---|---|---|
| Llama 3.2 3B | 7 GB | 4,5 GB | 2,8 GB | RTX 3060 · 12 GB | $0,058 |
| Llama 3.1 8B | 18 GB | 10 GB | 6,5 GB | RTX 3090 · 24 GB | $0,148 |
| Qwen 2.5 14B | 31 GB | 17 GB | 10,5 GB | RTX 4090 · 24 GB | $0,354 |
| Qwen 2.5 32B | 70 GB | 37 GB | 21 GB | RTX 5090 · 32 GB | $0,481 |
| Llama 3.1 70B | 150 GB | 78 GB | 44 GB | H100 PCIE · 80 GB | $1,811 |
| Qwen 2.5 72B | 155 GB | 80 GB | 46 GB | H100 PCIE · 80 GB | $1,811 |
| Mistral Large 123B | 260 GB | 133 GB | 78 GB | H200 · 141 GB | $3,131 |
| Llama 3.1 405B | 850 GB | 440 GB | 245 GB | B200 · 192 GB | $6,475 |
Gewichte + 15 % Overhead, ohne KV-Cache; die 405B-Zeilen unterstellen Multi-GPU-Sharding (Preis pro Karte angezeigt). Die Werte sind technische Planungsschätzungen, keine Benchmarks.
KV-Cache: der Teil, den alle vergessen
Serving-Abstürze kommen selten von den Gewichten – sie kommen vom Kontext. Jedes gerade verarbeitete Token speichert Keys und Values für jede Schicht:
kv_gb = 2 x layers x kv_heads x head_dim x bytes x context x batch / 1e9
# Llama 3.1 8B (GQA, fp16): ~0.13 GB per 1k tokens per sequence
# 32 concurrent chats x 8k context ≈ 33 GB of cache — MORE than the weightsHebel, nach Kosten geordnet: den Cache quantisieren (FP8-KV halbiert ihn), den gleichzeitigen Kontext begrenzen (vLLMs --max-num-batched-tokens), dann VRAM kaufen. Deshalb empfehlen Serving-Seiten 32–48-GB-Karten für „Modelle, die in 16 GB passen“.
Trainings- & Fine-Tuning-VRAM
| Methode | VRAM ≈ | 8B läuft auf | 70B läuft auf |
|---|---|---|---|
| Vollständiges Fine-Tune, AdamW fp16 | 16 GB / B Parameter | 8× 24 GB oder 2× 80 GB | 16× 80 GB (Cluster) |
| Vollständig, 8-Bit-Optimizer | ~10 GB / B | 1× 80 GB | 9× 80 GB |
| LoRA (fp16-Basis) | Gewichte + ~2 GB | 1× 24 GB | 2× 80 GB |
| QLoRA (4-Bit-Basis) | ~0,7 GB / B + 2 GB | 1× 12 GB | 1× 48–80 GB |
Gradient-Checkpointing tauscht rund 20 % Geschwindigkeit gegen rund 30 % Speicher und ist in axolotl-Konfigurationen standardmäßig aktiviert – die QLoRA-Anleitung zeigt den tatsächlichen Verbrauch bei jedem Schritt.
Wenn eine Karte nicht reicht
- Tensor-Parallelität (vLLM --tensor-parallel-size) verteilt Schichten auf 2–8 GPUs auf einer Maschine – NVLink hilft, aber PCIe 4/5 genügt bis 4×.
- Unsere Preise sind linear: 2× RTX 5090 (64 GB insgesamt) kosten genau 2× $0,481 – oft das günstigste 70B-4-Bit-Setup auf der Preisliste.
- Jenseits von 8 GPUs befinden Sie sich im Cluster-Bereich: Pipeline- oder FSDP-Sharding über InfiniBand.
Prüfen Sie jeden Plan gegen die Karten-Fit-Listen auf den GPU-Seiten – jede Seite berechnet nach denselben Formeln, was sie fasst.
Zahlen nutzen
Jeder Preis in dieser Anleitung ist unser Live-Preis – festgelegt, ≥30 % unter dem Marktmedian, sekundengenau abgerechnet. Stellen Sie das exakte Setup oben über die Konsole in etwa 30 Sekunden bereit, bezahlt in Krypto, ohne Karte und ohne KYC.
