TL;DR
- Passen Sie den VRAM an das Modell an, dann kaufen Sie Bandbreite: RTX 5090 für 7–14B, L40S oder A6000 für 32B, H100 oder H200 ab 70B.
- Planen Sie etwa 2,4 GB pro Milliarde Parameter in FP16 und 0,62 GB in 4-Bit ein, und addieren Sie KV-Cache für Kontext mal Nebenläufigkeit.
- Auf LowCostGPU hält eine RTX 5090 bei $0,481 rund 2.800 Tokens pro Sekunde bei 8B; mit unterbrechbarer Kapazität halbieren sich die Kosten pro Token.
- Die Kosten pro Million Tokens entsprechen dem Stundensatz geteilt durch Tokens pro Sekunde, mal 3.600, mal eine Million; messen Sie es bei tatsächlicher Nebenläufigkeit.
Drei Regeln vor jedem Benchmark
- VRAM entscheidet, was läuft. Gewichte plus KV-Cache müssen mit Puffer hineinpassen: ~2,4 GB pro Milliarde Parameter in FP16, ~0,62 GB in 4-Bit, dazu kommt der Cache für Ihren Kontext × Nebenläufigkeit. Die VRAM-Anleitung enthält die vollständigen Tabellen.
- Die Bandbreite entscheidet über die Geschwindigkeit. Decodierung ist speichergebunden: Tokens pro Sekunde folgen eher GB/s als TFLOPS. Deshalb schlägt eine RTX 5090 mit 1,79 TB/s eine RTX 4090 mit 1 TB/s deutlicher, als es deren FLOPS vermuten lassen, und deshalb dominieren HBM-Karten beim 70B-Serving.
- Der Batch entscheidet über die Rechnung. Kontinuierliches Batching (vLLM, SGLang, TGI) macht aus einer Karte ein Dutzend gleichzeitiger Streams. Kosten pro Million Tokens sind nur bei der Nebenläufigkeit aussagekräftig, die Sie tatsächlich fahren.
Die Tabelle: Modellgröße → Karte → $ pro Million Tokens
Ungefährer Gesamtdurchsatz unter kontinuierlichem vLLM-Batching (etwa 1.000 Tokens ein, 1.000 aus, Batch 32–64) und die daraus resultierenden Kosten zu den aktuellen On-Demand-Preisen – Stand 2026-10-19. Betrachten Sie die Spalte „Tokens/s“ als grobe Richtwerte der Community und benchmarken Sie Ihr eigenes Modell; die Preisspalte ist exakt.
| Modell | Präzision / Gewichte | Karte | On-Demand | ~Tokens/s | $ / Mio. Tokens | Hinweis |
|---|---|---|---|---|---|---|
| Llama 3.1 8B | FP16, 16 GB | RTX 4090 24 GB | $0,354 | ~2.200 | $0,045 | Der Standard: passt mit Spielraum für den KV-Cache auf 24 GB. |
| Llama 3.1 8B | FP16, 16 GB | RTX 5090 32 GB | $0,481 | ~2.800 | $0,048 | 78 % mehr Bandbreite als die 4090 zeigt sich direkt in Tokens/s. |
| Llama 3.1 8B | 4-Bit, ~6 GB | RTX 3060 12 GB | $0,058 | ~900 | $0,018 | Der günstigste funktionierende Endpunkt in der Tabelle. |
| Qwen 2.5 14B | FP16, 28 GB | RTX 5090 32 GB | $0,481 | ~1.500 | $0,089 | 32 GB fasst FP16 14B mit moderatem Kontext. |
| Qwen 2.5 32B | 4-Bit, ~20 GB | RTX 4090 24 GB | $0,354 | ~700 | $0,140 | AWQ/GPTQ 4-Bit auf 24 GB; Qualität nur einen Punkt unter FP16. |
| Qwen 2.5 32B | FP16, 64 GB | H100 PCIE 80 GB | $1,811 | ~2.400 | $0,210 | FP8 auf Hopper verdoppelt das ungefähr noch einmal. |
| Llama 3.1 70B | 4-Bit, ~40 GB | RTX A6000 48 GB | $0,281 | ~350 | $0,223 | Günstigste Einzelkarte, die ein 70B-Modell fasst. |
| Llama 3.1 70B | 4-Bit, ~40 GB | H100 PCIE 80 GB | $1,811 | ~1.200 | $0,419 | Eine 80-GB-Karte, reale Batch-Größen, FP8-KV-Cache. |
| Llama 3.1 70B | FP8, 70 GB | H200 141 GB | $3,131 | ~2.000 | $0,435 | 141 GB lässt Raum für lange Kontexte und große Batches. |
| Llama 3.1 405B | FP8, ~405 GB | H200 141 GB | $3,131 | ~600 | $1,450 | Tensor-parallel über 4× H200 – die Angabe gilt pro GPU. |
Unterbrechbare Kapazität halbiert jede Zahl in der Preisspalte. Formel, falls Sie es mit eigenen Messwerten nachrechnen möchten: $/M = $/Std. ÷ (Tok/s × 3.600) × 1.000.000.
7B–14B: Consumer-Karten gewinnen
Unter 16 GB an Gewichten schlägt nichts GeForce-Silizium pro Dollar. Die RTX 5090 ($0,481/Std., 32 GB GDDR7) ist derzeit die Spitzenreiterin bei Tokens pro Dollar für 8B-FP16- und 14B-Modelle; die RTX 4090 ($0,354/Std.) ist minimal langsamer und günstiger; die RTX 3090 ($0,148/Std.) ist die Budget-Wahl, wenn der Durchsatz weniger zählt als der Stundensatz. Bei Dauerbetriebsendpunkten, die Monate im 24/7-Einsatz überstehen müssen, verzichten die Datacenter-Karte L4 ($0,196/Std., 72 W) und L40S zugunsten passiver Kühlung und ECC auf etwas Geschwindigkeit.
24B–32B: die 48-GB-Mittelklasse
Ein 32B-Modell braucht ~64 GB in FP16 und ~20 GB in 4-Bit. Quantisiert läuft es auf einer 24-GB-Karte mit kurzen Kontexten; für ernsthafte Nebenläufigkeit brauchen Sie 48 GB. Die L40S ($0,448/Std.) ist die Datacenter-Antwort – FP8, 864 GB/s, für den 24/7-Betrieb gebaut – und die RTX A6000 ($0,281/Std.) die günstigste 48-GB-Karte in der Tabelle. Vergleichen Sie sie unter RTX 5090 vs L40S und RTX 6000 Ada vs A6000.
70B und mehr: HBM oder nichts
Siebzig Milliarden Parameter sind ~40 GB in 4-Bit und ~140 GB in FP16. Eine 80-GB-Karte bedient das quantisierte Modell mit echten Batch-Größen: die H100 PCIe ($1,811/Std.) mit FP8- KV-Cache, oder die A100 PCIe ($0,388/Std.), wenn das Budget entscheidet. Vollpräzise 70B- und 100B+-Modelle sowie Long-Context-Serving gehören auf die H200 ($3,131/Std., 141 GB, 4,8 TB/s) oder tensor-parallel über 2–8× H100 SXM auf einer Maschine – der Preis pro GPU ändert sich nicht mit der Anzahl. Inferenz auf Frontier-Niveau mit FP4 ist der Bereich, in dem die B200 ($6,475/Std.) ihren Preis rechtfertigt: ein Vielfaches der Tokens pro Sekunde der H100 bei unter dem 3-Fachen des Preises.
Serving-Muster, die die Abrechnung verändern
- Zuerst quantisieren. AWQ/GPTQ 4-Bit halbiert die benötigte Kartenklasse und beeinträchtigt die Chat-Qualität kaum. FP8 auf Hopper/Ada/Blackwell kostet kaum Qualität und ist 1,5–2× schneller.
- Grundlast reservieren, Lastspitzen per Serverless abfangen. Eine reservierte Karte bei −35 % trägt gleichmäßigen Traffic; Serverless-Worker fangen Lastspitzen ab und skalieren per Scale-to-Zero herunter.
- Modellbibliothek schreibgeschützt einhängen. Neue Worker überspringen den 40-GB-Download; Kaltstarts werden zu reinem VRAM-Laden.
- Präfix-Caching für Agenten. Wenn Prompts ein langes Systempräfix teilen, kann SGLang den effektiven Durchsatz gegenüber reinem vLLM verdoppeln.
- Messen, dann committen. Zehn Minuten auf zwei Kandidatenkarten kosten Centbeträge; die vLLM-Anleitung liefert den exakten Benchmark-Befehl.
Zahlen nutzen
Jeder Preis in dieser Anleitung ist unser Live-Preis – festgelegt, ≥30 % unter dem Marktmedian, sekundengenau abgerechnet. Stellen Sie das exakte Setup oben über die Konsole in etwa 30 Sekunden bereit, bezahlt in Krypto, ohne Karte und ohne KYC.
