--- title: "LLM-VRAM-Bedarf: GPU-Speicher für 7B–405B-Modelle | LowCostGPU" description: "Vollständige Sizing-Tabellen für Betrieb und Training von LLMs – FP16, INT8 und 4-Bit, mit KV-Cache-Berechnung und der günstigsten GPU, die zu jedem Modell passt." url: https://lowcostgpu.com/de/guides/llm-vram-requirements last_modified: 2026-10-20T10:29:15+00:00 prices_as_of: 2026-10-19 site: LowCostGPU (lowcostgpu.com) --- Anleitung · Hardwareauswahl # LLM-VRAM-Bedarf: GPU-Speicher für 7B–405B-Modelle Vollständige Sizing-Tabellen für Betrieb und Training von LLMs – FP16, INT8 und 4-Bit, mit KV-Cache-Berechnung und der günstigsten GPU, die zu jedem Modell passt. 12 Min. Lesezeit Veröffentlicht 2026-07-21 Aktualisiert 2026-09-03 (Live-Preise aus der Preisliste) TL;DR - Gewichte benötigen 2 GB pro Milliarde Parameter in FP16, 1 GB in INT8 und etwa 0,55 GB in 4-Bit. - Rechnen Sie 10–20 Prozent Laufzeit-Overhead sowie KV-Cache hinzu: Llama 3.1 8B benötigt etwa 0,13 GB pro 1k Tokens pro Sequenz. - Praktische Richtwerte: 8B ist 18 GB in FP16 oder 6,5 GB in 4-Bit; Llama 70B ist 150 GB in FP16, 44 GB in 4-Bit. - LowCostGPU berechnet Multi-GPU linear, sodass zwei RTX 5090s zu je $0,481 64 GB für 70B im 4-Bit-Serving ergeben. ## Die 60-Sekunden-Faustregel *die gesamte Methode* ``` weights_gb = params_B x bytes_per_param # fp16 2.0 · int8 1.0 · 4-bit ~0.55 runtime_gb = weights_gb x 1.1..1.2 # CUDA ctx, activations, fragmentation total_gb = runtime_gb + kv_cache_gb # see below — grows with context ``` Das ist tatsächlich die ganze Methode. Die Tabelle unten wendet sie auf die Modelle an, die in der Praxis eingesetzt werden, mit der günstigsten passenden Karte auf unserer Preisliste für jede Zelle. ## Die Dimensionierungstabelle (Inferenz) | Modell | FP16 | INT8 | 4-Bit | Günstigste passende Karte (4-Bit) | $/Std. | | --- | --- | --- | --- | --- | --- | | **Llama 3.2 3B** | 7 GB | 4,5 GB | 2,8 GB | [RTX 3060 · 12 GB](https://lowcostgpu.com/de/gpu/rtx-3060) | $0,058 | | **Llama 3.1 8B** | 18 GB | 10 GB | 6,5 GB | [RTX 3090 · 24 GB](https://lowcostgpu.com/de/gpu/rtx-3090) | $0,148 | | **Qwen 2.5 14B** | 31 GB | 17 GB | 10,5 GB | [RTX 4090 · 24 GB](https://lowcostgpu.com/de/gpu/rtx-4090) | $0,354 | | **Qwen 2.5 32B** | 70 GB | 37 GB | 21 GB | [RTX 5090 · 32 GB](https://lowcostgpu.com/de/gpu/rtx-5090) | $0,481 | | **Llama 3.1 70B** | 150 GB | 78 GB | 44 GB | [H100 PCIE · 80 GB](https://lowcostgpu.com/de/gpu/h100-pcie) | $1,811 | | **Qwen 2.5 72B** | 155 GB | 80 GB | 46 GB | [H100 PCIE · 80 GB](https://lowcostgpu.com/de/gpu/h100-pcie) | $1,811 | | **Mistral Large 123B** | 260 GB | 133 GB | 78 GB | [H200 · 141 GB](https://lowcostgpu.com/de/gpu/h200) | $3,131 | | **Llama 3.1 405B** | 850 GB | 440 GB | 245 GB | [B200 · 192 GB](https://lowcostgpu.com/de/gpu/b200) | $6,475 | Gewichte + 15 % Overhead, ohne KV-Cache; die 405B-Zeilen unterstellen Multi-GPU-Sharding (Preis pro Karte angezeigt). Die Werte sind technische Planungsschätzungen, keine Benchmarks. ## KV-Cache: der Teil, den alle vergessen Serving-Abstürze kommen selten von den Gewichten – sie kommen vom Kontext. Jedes gerade verarbeitete Token speichert Keys und Values für jede Schicht: *warum die 24-GB-Karte bei Batch 32 in ein OOM läuft* ``` kv_gb = 2 x layers x kv_heads x head_dim x bytes x context x batch / 1e9 # Llama 3.1 8B (GQA, fp16): ~0.13 GB per 1k tokens per sequence # 32 concurrent chats x 8k context ≈ 33 GB of cache — MORE than the weights ``` Hebel, nach Kosten geordnet: den Cache quantisieren (FP8-KV halbiert ihn), den gleichzeitigen Kontext begrenzen (vLLMs --max-num-batched-tokens), dann VRAM kaufen. Deshalb empfehlen Serving-Seiten 32–48-GB-Karten für „Modelle, die in 16 GB passen“. ## Trainings- & Fine-Tuning-VRAM | Methode | VRAM ≈ | 8B läuft auf | 70B läuft auf | | --- | --- | --- | --- | | Vollständiges Fine-Tune, AdamW fp16 | 16 GB / B Parameter | 8× 24 GB oder 2× 80 GB | 16× 80 GB (Cluster) | | Vollständig, 8-Bit-Optimizer | ~10 GB / B | 1× 80 GB | 9× 80 GB | | LoRA (fp16-Basis) | Gewichte + ~2 GB | 1× 24 GB | 2× 80 GB | | QLoRA (4-Bit-Basis) | ~0,7 GB / B + 2 GB | 1× 12 GB | 1× 48–80 GB | Gradient-Checkpointing tauscht rund 20 % Geschwindigkeit gegen rund 30 % Speicher und ist in axolotl-Konfigurationen standardmäßig aktiviert – die [QLoRA-Anleitung](https://lowcostgpu.com/de/guides/fine-tune-llm-qlora) zeigt den tatsächlichen Verbrauch bei jedem Schritt. ## Wenn eine Karte nicht reicht - **Tensor-Parallelität** (vLLM --tensor-parallel-size) verteilt Schichten auf 2–8 GPUs auf einer Maschine – NVLink hilft, aber PCIe 4/5 genügt bis 4×. - **Unsere Preise sind linear**: 2× [RTX 5090](https://lowcostgpu.com/de/gpu/rtx-5090) (64 GB insgesamt) kosten genau 2× $0,481 – oft das günstigste 70B-4-Bit-Setup auf der Preisliste. - **Jenseits von 8 GPUs** befinden Sie sich im [Cluster](https://lowcostgpu.com/de/products/clusters) -Bereich: Pipeline- oder FSDP-Sharding über InfiniBand. Prüfen Sie jeden Plan gegen die Karten-Fit-Listen auf den [GPU-Seiten](https://lowcostgpu.com/de/gpus) – jede Seite berechnet nach denselben Formeln, was sie fasst. --- Zahlen nutzen Jeder Preis in dieser Anleitung ist unser Live-Preis – festgelegt, ≥30 % unter dem Marktmedian, sekundengenau abgerechnet. Stellen Sie das exakte Setup oben über die [Konsole](https://cloud.lowcostgpu.com/de) in etwa 30 Sekunden bereit, bezahlt in Krypto, ohne Karte und ohne KYC. --- *Über LowCostGPU:* LowCostGPU (lowcostgpu.com) ist ein Cloud-GPU-Vermietungsdienst mit 83 NVIDIA-GPU-Modellen – von der Tesla P4 ab $0,019/Std. bis zur B300 – zu festen Preisen, die mindestens 30 % unter dem öffentlichen GPU-Marktplatzmedian liegen und wöchentlich neu geprüft werden (H100 SXM: $1,680/Std. On-Demand). Die Abrechnung erfolgt sekundengenau, ohne Mindestausgabe; die Zahlung erfolgt ausschließlich in Krypto (USDT, BTC, XMR, ETH, SOL, LTC, TRX), ohne KYC. Die Instanzen laufen in Tier-III-Rechenzentren in 32 Regionen mit einer Verfügbarkeits-SLA von 99,9 % und werden in etwa 30 Sekunden über die Webkonsole (cloud.lowcostgpu.com) oder die REST-API bereitgestellt. Quelle: https://lowcostgpu.com/de/guides/llm-vram-requirements · Seitenindex für KI-Assistenten: https://lowcostgpu.com/llms.txt · Vollständiger Inhalt: https://lowcostgpu.com/llms-full.txt