--- title: "Beste Cloud-GPU für LLM-Inferenz 2026, nach Modellgröße | LowCostGPU" description: "Von 8B bis 405B: die günstigste mietbare Karte je Modell, indikative Tokens pro Sekunde mit vLLM und die Kosten pro Million Tokens auf der heutigen Preisliste." url: https://lowcostgpu.com/de/guides/best-cloud-gpu-for-llm-inference last_modified: 2026-10-20T10:29:15+00:00 prices_as_of: 2026-10-19 site: LowCostGPU (lowcostgpu.com) --- Anleitung · Hardwareauswahl # Beste Cloud-GPU für LLM-Inferenz 2026, nach Modellgröße Von 8B bis 405B: die günstigste mietbare Karte je Modell, indikative Tokens pro Sekunde mit vLLM und die Kosten pro Million Tokens auf der heutigen Preisliste. 10 Min. Lesezeit Veröffentlicht 2026-09-03 Aktualisiert 2026-09-03 (Live-Preise aus der Preisliste) TL;DR - Passen Sie den VRAM an das Modell an, dann kaufen Sie Bandbreite: RTX 5090 für 7–14B, L40S oder A6000 für 32B, H100 oder H200 ab 70B. - Planen Sie etwa 2,4 GB pro Milliarde Parameter in FP16 und 0,62 GB in 4-Bit ein, und addieren Sie KV-Cache für Kontext mal Nebenläufigkeit. - Auf LowCostGPU hält eine RTX 5090 bei $0,481 rund 2.800 Tokens pro Sekunde bei 8B; mit unterbrechbarer Kapazität halbieren sich die Kosten pro Token. - Die Kosten pro Million Tokens entsprechen dem Stundensatz geteilt durch Tokens pro Sekunde, mal 3.600, mal eine Million; messen Sie es bei tatsächlicher Nebenläufigkeit. ## Drei Regeln vor jedem Benchmark 1. **VRAM entscheidet, was läuft.** Gewichte plus KV-Cache müssen mit Puffer hineinpassen: ~2,4 GB pro Milliarde Parameter in FP16, ~0,62 GB in 4-Bit, dazu kommt der Cache für Ihren Kontext × Nebenläufigkeit. Die [VRAM-Anleitung](https://lowcostgpu.com/de/guides/llm-vram-requirements) enthält die vollständigen Tabellen. 2. **Die Bandbreite entscheidet über die Geschwindigkeit.** Decodierung ist speichergebunden: Tokens pro Sekunde folgen eher GB/s als TFLOPS. Deshalb schlägt eine RTX 5090 mit 1,79 TB/s eine RTX 4090 mit 1 TB/s deutlicher, als es deren FLOPS vermuten lassen, und deshalb dominieren HBM-Karten beim 70B-Serving. 3. **Der Batch entscheidet über die Rechnung.** Kontinuierliches Batching (vLLM, SGLang, TGI) macht aus einer Karte ein Dutzend gleichzeitiger Streams. Kosten pro Million Tokens sind nur bei der Nebenläufigkeit aussagekräftig, die Sie tatsächlich fahren. ## Die Tabelle: Modellgröße → Karte → $ pro Million Tokens Ungefährer Gesamtdurchsatz unter kontinuierlichem vLLM-Batching (etwa 1.000 Tokens ein, 1.000 aus, Batch 32–64) und die daraus resultierenden Kosten zu den aktuellen On-Demand-Preisen – Stand 2026-10-19. Betrachten Sie die Spalte „Tokens/s“ als grobe Richtwerte der Community und benchmarken Sie Ihr eigenes Modell; die Preisspalte ist exakt. | Modell | Präzision / Gewichte | Karte | On-Demand | ~Tokens/s | $ / Mio. Tokens | Hinweis | | --- | --- | --- | --- | --- | --- | --- | | Llama 3.1 8B | FP16, 16 GB | [RTX 4090](https://lowcostgpu.com/de/gpu/rtx-4090) (24 GB) | $0,354 | ~2.200 | **$0,045** | Der Standard: passt mit Spielraum für den KV-Cache auf 24 GB. | | Llama 3.1 8B | FP16, 16 GB | [RTX 5090](https://lowcostgpu.com/de/gpu/rtx-5090) (32 GB) | $0,481 | ~2.800 | **$0,048** | 78 % mehr Bandbreite als die 4090 zeigt sich direkt in Tokens/s. | | Llama 3.1 8B | 4-Bit, ~6 GB | [RTX 3060](https://lowcostgpu.com/de/gpu/rtx-3060) (12 GB) | $0,058 | ~900 | **$0,018** | Der günstigste funktionierende Endpunkt in der Tabelle. | | Qwen 2.5 14B | FP16, 28 GB | [RTX 5090](https://lowcostgpu.com/de/gpu/rtx-5090) (32 GB) | $0,481 | ~1.500 | **$0,089** | 32 GB fasst FP16 14B mit moderatem Kontext. | | Qwen 2.5 32B | 4-Bit, ~20 GB | [RTX 4090](https://lowcostgpu.com/de/gpu/rtx-4090) (24 GB) | $0,354 | ~700 | **$0,140** | AWQ/GPTQ 4-Bit auf 24 GB; Qualität nur einen Punkt unter FP16. | | Qwen 2.5 32B | FP16, 64 GB | [H100 PCIE](https://lowcostgpu.com/de/gpu/h100-pcie) (80 GB) | $1,811 | ~2.400 | **$0,210** | FP8 auf Hopper verdoppelt das ungefähr noch einmal. | | Llama 3.1 70B | 4-Bit, ~40 GB | [RTX A6000](https://lowcostgpu.com/de/gpu/rtx-a6000) (48 GB) | $0,281 | ~350 | **$0,223** | Günstigste Einzelkarte, die ein 70B-Modell fasst. | | Llama 3.1 70B | 4-Bit, ~40 GB | [H100 PCIE](https://lowcostgpu.com/de/gpu/h100-pcie) (80 GB) | $1,811 | ~1.200 | **$0,419** | Eine 80-GB-Karte, reale Batch-Größen, FP8-KV-Cache. | | Llama 3.1 70B | FP8, 70 GB | [H200](https://lowcostgpu.com/de/gpu/h200) (141 GB) | $3,131 | ~2.000 | **$0,435** | 141 GB lässt Raum für lange Kontexte und große Batches. | | Llama 3.1 405B | FP8, ~405 GB | [H200](https://lowcostgpu.com/de/gpu/h200) (141 GB) | $3,131 | ~600 | **$1,450** | Tensor-parallel über 4× H200 – die Angabe gilt pro GPU. | Unterbrechbare Kapazität halbiert jede Zahl in der Preisspalte. Formel, falls Sie es mit eigenen Messwerten nachrechnen möchten: $/M = $/Std. ÷ (Tok/s × 3.600) × 1.000.000. ## 7B–14B: Consumer-Karten gewinnen Unter 16 GB an Gewichten schlägt nichts GeForce-Silizium pro Dollar. Die [RTX 5090](https://lowcostgpu.com/de/gpu/rtx-5090) ($0,481/Std., 32 GB GDDR7) ist derzeit die Spitzenreiterin bei Tokens pro Dollar für 8B-FP16- und 14B-Modelle; die [RTX 4090](https://lowcostgpu.com/de/gpu/rtx-4090) ($0,354/Std.) ist minimal langsamer und günstiger; die [RTX 3090](https://lowcostgpu.com/de/gpu/rtx-3090) ($0,148/Std.) ist die Budget-Wahl, wenn der Durchsatz weniger zählt als der Stundensatz. Bei Dauerbetriebsendpunkten, die Monate im 24/7-Einsatz überstehen müssen, verzichten die Datacenter-Karte [L4](https://lowcostgpu.com/de/gpu/l4) ($0,196/Std., 72 W) und [L40S](https://lowcostgpu.com/de/gpu/l40s) zugunsten passiver Kühlung und ECC auf etwas Geschwindigkeit. ## 24B–32B: die 48-GB-Mittelklasse Ein 32B-Modell braucht ~64 GB in FP16 und ~20 GB in 4-Bit. Quantisiert läuft es auf einer 24-GB-Karte mit kurzen Kontexten; für ernsthafte Nebenläufigkeit brauchen Sie 48 GB. Die [L40S](https://lowcostgpu.com/de/gpu/l40s) ($0,448/Std.) ist die Datacenter-Antwort – FP8, 864 GB/s, für den 24/7-Betrieb gebaut – und die [RTX A6000](https://lowcostgpu.com/de/gpu/rtx-a6000) ($0,281/Std.) die günstigste 48-GB-Karte in der Tabelle. Vergleichen Sie sie unter [RTX 5090 vs L40S](https://lowcostgpu.com/de/compare/rtx-5090-vs-l40s) und [RTX 6000 Ada vs A6000](https://lowcostgpu.com/de/compare/rtx-6000ada-vs-rtx-a6000). ## 70B und mehr: HBM oder nichts Siebzig Milliarden Parameter sind ~40 GB in 4-Bit und ~140 GB in FP16. Eine 80-GB-Karte bedient das quantisierte Modell mit echten Batch-Größen: die [H100 PCIe](https://lowcostgpu.com/de/gpu/h100-pcie) ($1,811/Std.) mit FP8- KV-Cache, oder die [A100 PCIe](https://lowcostgpu.com/de/gpu/a100-pcie) ($0,388/Std.), wenn das Budget entscheidet. Vollpräzise 70B- und 100B+-Modelle sowie Long-Context-Serving gehören auf die [H200](https://lowcostgpu.com/de/gpu/h200) ($3,131/Std., 141 GB, 4,8 TB/s) oder tensor-parallel über 2–8× H100 SXM auf einer Maschine – der Preis pro GPU ändert sich nicht mit der Anzahl. Inferenz auf Frontier-Niveau mit FP4 ist der Bereich, in dem die [B200](https://lowcostgpu.com/de/gpu/b200) ($6,475/Std.) ihren Preis rechtfertigt: ein Vielfaches der Tokens pro Sekunde der H100 bei unter dem 3-Fachen des Preises. ## Serving-Muster, die die Abrechnung verändern - **Zuerst quantisieren.** AWQ/GPTQ 4-Bit halbiert die benötigte Kartenklasse und beeinträchtigt die Chat-Qualität kaum. FP8 auf Hopper/Ada/Blackwell kostet kaum Qualität und ist 1,5–2× schneller. - **Grundlast reservieren, Lastspitzen per Serverless abfangen.** Eine [reservierte](https://lowcostgpu.com/de/products/reserved) Karte bei −35 % trägt gleichmäßigen Traffic; [Serverless](https://lowcostgpu.com/de/products/serverless) -Worker fangen Lastspitzen ab und skalieren per Scale-to-Zero herunter. - **Modellbibliothek schreibgeschützt einhängen.** Neue Worker überspringen den 40-GB-Download; Kaltstarts werden zu reinem VRAM-Laden. - **Präfix-Caching für Agenten.** Wenn Prompts ein langes Systempräfix teilen, kann [SGLang](https://lowcostgpu.com/de/templates/sglang) den effektiven Durchsatz gegenüber reinem vLLM verdoppeln. - **Messen, dann committen.** Zehn Minuten auf zwei Kandidatenkarten kosten Centbeträge; die [vLLM-Anleitung](https://lowcostgpu.com/de/guides/serve-llm-vllm) liefert den exakten Benchmark-Befehl. --- Zahlen nutzen Jeder Preis in dieser Anleitung ist unser Live-Preis – festgelegt, ≥30 % unter dem Marktmedian, sekundengenau abgerechnet. Stellen Sie das exakte Setup oben über die [Konsole](https://cloud.lowcostgpu.com/de) in etwa 30 Sekunden bereit, bezahlt in Krypto, ohne Karte und ohne KYC. --- *Über LowCostGPU:* LowCostGPU (lowcostgpu.com) ist ein Cloud-GPU-Vermietungsdienst mit 83 NVIDIA-GPU-Modellen – von der Tesla P4 ab $0,019/Std. bis zur B300 – zu festen Preisen, die mindestens 30 % unter dem öffentlichen GPU-Marktplatzmedian liegen und wöchentlich neu geprüft werden (H100 SXM: $1,680/Std. On-Demand). Die Abrechnung erfolgt sekundengenau, ohne Mindestausgabe; die Zahlung erfolgt ausschließlich in Krypto (USDT, BTC, XMR, ETH, SOL, LTC, TRX), ohne KYC. Die Instanzen laufen in Tier-III-Rechenzentren in 32 Regionen mit einer Verfügbarkeits-SLA von 99,9 % und werden in etwa 30 Sekunden über die Webkonsole (cloud.lowcostgpu.com) oder die REST-API bereitgestellt. Quelle: https://lowcostgpu.com/de/guides/best-cloud-gpu-for-llm-inference · Seitenindex für KI-Assistenten: https://lowcostgpu.com/llms.txt · Vollständiger Inhalt: https://lowcostgpu.com/llms-full.txt