Anwendungsfall · LLM-Inferenz
GPUs für LLM-Inferenz: Tokens abgerechnet wie eine Stromrechnung
Feste GPU-Preise machen $/Token zu einer einfachen Rechnung: Wählen Sie die kleinste Karte, die Ihr Modell + KV-Cache aufnimmt, sättigen Sie sie mit kontinuierlichem vLLM-Batching, und dividieren Sie. Eine RTX 5090 für $0,481/Std. bedient ein 8B-Modell für ein paar Cent pro Million Tokens.
Die Serving-Karten, nach Modellgröße
VRAM entscheidet; Preis pro VRAM ordnet die Kandidaten.
| Stufe | GPU | VRAM | On-Demand | Unterbrechbar | Warum diese Karte | Aktion |
|---|---|---|---|---|---|---|
| Gut | RTX 5090 | 32 GB | $0,481 | $0,240 | 32 GB GDDR7 – der $/Token-König für 7B–14B-FP16- und 32B-4-Bit-Chat-Modelle. | Bereitstellen |
| Besser | L40S | 48 GB | $0,448 | $0,224 | 48 GB und Kühlung in Server-Qualität für 24/7-Endpunkte; 32B-Klasse und 14B mit langem Kontext. | Bereitstellen |
| Am besten | H100 PCIE | 80 GB | $1,811 | $0,905 | 80 GB HBM3 für ein quantisiertes 70B-Modell auf einer Karte – oder FP8 für maximalen Durchsatz pro Dollar. | Bereitstellen |
Größer als 70B? Tensor-parallel über 2–8× Karten auf einer Maschine – der Preis pro GPU ändert sich nicht. Dimensionierungstabellen: VRAM-Anleitung.
$/Million Tokens, ehrlich berechnet
Der Durchsatz hängt von Kontext und Batch-Mix ab, deshalb veröffentlichen wir die Formel und keine Marketingzahl:
$/Mio. Tokens = GPU $/Std. ÷ (Tokens/s × 3.600) × 1.000.000
Eine RTX 5090 für $0,481/Std. mit anhaltend ~2.800 tok/s für Llama-3.1-8B unter kontinuierlichem Batching → $0,048/Mio. Tokens. Dieselbe Karte halbiert das im unterbrechbaren Modus.
Benchmarken Sie Ihr eigenes Modell in 10 Minuten – die Serving-Anleitung liefert den genauen Befehl vllm bench.
Serving-Muster
- Reserviert + vLLM für die Grundlast – −35 % auf die Karte, die nie schläft.
- Serverless-Burst obendrauf – Scale-to-Zero-Worker fangen die Lastspitzen ab.
- Datenträger mit der Modellbibliothek wird schreibgeschützt eingebunden – neue Worker überspringen den 40-GB-Download.
- Zuerst quantisieren – AWQ/GPTQ-4-Bit verdoppelt die Anzahl der Modelle, die eine Karte aufnehmen kann, und beeinträchtigt die Chat-Qualität kaum.
Templates: vLLM, Ollama, TGWUI – alle von Haus aus OpenAI-kompatibel.
GPUs für LLM-Inferenz: FAQ
Was ist der günstigste Weg, ein 7B–14B-Modell zu bedienen?
Eine einzelne RTX 5090 für $0,481/Std., auf der vLLM läuft. Bei typischem Chat-Durchsatz liegt das deutlich unter $0,15 pro Million Ausgabetokens – eine Größenordnung unter den Preisen von API-Anbietern für vergleichbare offene Modelle.
Wann brauche ich eine 80-GB-Karte?
Rund um 70B: Ein 4-Bit-70B benötigt ~44 GB plus KV-Cache, also eine einzelne H100 PCIE (80 GB) oder 2× L40S mit Tensor-Parallelität. FP16-70B benötigt 2× 80 GB. Unter 32B sind 32–48-GB-Karten die wirtschaftlichste Wahl.
Instanzen oder Serverless für Serving?
Gleichmäßig sättigender Traffic → eine reservierte Instanz (−35 %), die Sie dauerhaft warmhalten. Traffic mit Lastspitzen oder nächtlichem Leerlauf → Serverless mit Scale-to-Zero. Gleiche sekundengenaue Preise; der Unterschied ist, wer für Leerlauf zahlt.