TL;DR
- Auf LowCostGPU liefert eine vLLM-Template-Instanz einen OpenAI-kompatiblen Endpunkt; 8B auf einer RTX 5090 kostet $0,481 pro Stunde.
- Rechnen Sie mit rund 2.800 Tokens pro Sekunde insgesamt für 8B auf einer RTX 5090, 900 für 32B in 4-Bit, 550 für 70B in 4-Bit.
- Die Kosten pro Million Output-Tokens entsprechen dem Stundensatz geteilt durch Tokens pro Sekunde, mal 3.600, mal eine Million; reserviert spart 35 Prozent.
- Der häufigste OOM-Fehler entsteht, wenn max-model-len auf dem 128k-Maximum des Modells belassen wird; begrenzen Sie den Kontext und verwenden Sie einen fp8-KV-Cache.
Mit einem Befehl bereitstellen
lowcostgpu launch --gpu rtx-5090 --template vllm --disk 60 \
--env MODEL=meta-llama/Llama-3.1-8B-Instruct
# ✓ i-52ab77c1 · https://i-52ab77c1.lowcostgpu.com:8000/v1
curl https://i-52ab77c1.lowcostgpu.com:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model":"meta-llama/Llama-3.1-8B-Instruct",
"messages":[{"role":"user","content":"ping"}]}'Das Template lädt die Gewichte beim ersten Start herunter (abgerechnete Bandbreite: ein 16-GB-Modell kostet $0,16). Legen Sie HF_HOME auf einen Datenträger, und jede zukünftige Instanz überspringt den Download.
Karte für das Modell wählen
| Modellklasse | Karte | $/Std. | Aggregierte tok/s ≈ | $ / Mio. Ausgabe-Tokens ≈ |
|---|---|---|---|---|
| 7–8B FP16 | RTX 5090 | $0,481 | 2.800 | $0,048 |
| 14B FP16 / 32B-4bit | L40S | $0,448 | 900 | $0,138 |
| 70B-4bit | H100 PCIE | $1,811 | 550 | $0,91 |
Durchsätze sind typische aggregierte Werte für kontinuierliches Batching bei moderatem Kontext; Ihr Prompt-Mix verschiebt sie um ±40 %. Deshalb gibt es den Abschnitt zum Benchmark.
Die wichtigen Flags
--max-model-len 8192 # cap context = cap KV-cache = predictable memory
--gpu-memory-utilization 0.92 # default 0.90; raise carefully once stable
--max-num-batched-tokens 8192 # throughput/latency dial — higher = more tok/s
--kv-cache-dtype fp8 # halves cache on Hopper/Blackwell — free VRAM
--tensor-parallel-size 2 # split across 2 GPUs when one is shortAlles andere kann auf dem Standardwert bleiben, bis der Benchmark etwas anderes sagt. Die mit Abstand häufigste OOM-Ursache ist, --max-model-len „für alle Fälle“ auf dem 128k-Maximum eines Modells zu belassen – der Abschnitt zum KV-Cache zeigt, was das kostet.
Erst benchmarken, dann glauben
vllm bench serve \
--base-url https://i-52ab77c1.lowcostgpu.com:8000 \
--model meta-llama/Llama-3.1-8B-Instruct \
--dataset-name random --random-input-len 512 --random-output-len 256 \
--request-rate 16 --num-prompts 512
# → throughput, TTFT p50/p99, ITL p50/p99Bewerten Sie zwei Zahlen: aggregierte tok/s (Ihre Kosten) und p99-Time-to-First-Token (Ihre Nutzer). Erhöhen Sie --request-rate, bis das p99-TTFT Ihr Budget überschreitet – diese Rate ist die ehrliche Kapazität der Karte für Ihr Traffic-Profil.
Tokens bepreisen
$/M output tokens = price_per_hour / (tokens_per_sec x 3600) x 1e6
# benchmark said 2,910 tok/s on the 5090:
0,481 / (2910 x 3600) x 1e6 = $0,046 per million output tokens
# reserved (-35%) and cache-hit traffic push it lower stillProduktionsreife
- Grundlast auf reserviert (−35 %), Lastspitzen auf Serverless – ein Guthaben, zwei Kurven.
- Health-Check GET /health; restart-on-unhealthy ist ein Template-Schalter.
- Gewichte auf einem schreibgeschützten Datenträger – Ersatz-Worker starten in Sekunden, und eine fehlerhafte Bereitstellung kann die Bibliothek nie beschädigen.
- Nie auf unterbrechbar servieren – dieser Modus ist für die Trainingsseite Ihrer Pipeline gedacht.
Zahlen nutzen
Jeder Preis in dieser Anleitung ist unser Live-Preis – festgelegt, ≥30 % unter dem Marktmedian, sekundengenau abgerechnet. Stellen Sie das exakte Setup oben über die Konsole in etwa 30 Sekunden bereit, bezahlt in Krypto, ohne Karte und ohne KYC.
