--- title: "vLLM auf einer Cloud-GPU bereitstellen: ein OpenAI-kompatibler Endpunkt" description: "vLLM auf gemieteter GPU bereitstellen, die richtige Karte für die Modellgröße wählen, Tokens pro Sekunde benchmarken und den Preis pro Million Tokens ermitteln." url: https://lowcostgpu.com/de/guides/serve-llm-vllm last_modified: 2026-10-20T10:29:15+00:00 prices_as_of: 2026-10-19 site: LowCostGPU (lowcostgpu.com) --- Anleitung · Praxisanleitung # vLLM auf einer Cloud-GPU bereitstellen: ein OpenAI-kompatibler Endpunkt vLLM auf gemieteter GPU bereitstellen, die richtige Karte für die Modellgröße wählen, Tokens pro Sekunde benchmarken und den Preis pro Million Tokens ermitteln. 11 Min. Lesezeit Veröffentlicht 2026-08-25 Aktualisiert 2026-09-03 (Live-Preise aus der Preisliste) TL;DR - Auf LowCostGPU liefert eine vLLM-Template-Instanz einen OpenAI-kompatiblen Endpunkt; 8B auf einer RTX 5090 kostet $0,481 pro Stunde. - Rechnen Sie mit rund 2.800 Tokens pro Sekunde insgesamt für 8B auf einer RTX 5090, 900 für 32B in 4-Bit, 550 für 70B in 4-Bit. - Die Kosten pro Million Output-Tokens entsprechen dem Stundensatz geteilt durch Tokens pro Sekunde, mal 3.600, mal eine Million; reserviert spart 35 Prozent. - Der häufigste OOM-Fehler entsteht, wenn max-model-len auf dem 128k-Maximum des Modells belassen wird; begrenzen Sie den Kontext und verwenden Sie einen fp8-KV-Cache. ## Mit einem Befehl bereitstellen *von null zum Endpunkt* ``` lowcostgpu launch --gpu rtx-5090 --template vllm --disk 60 \ --env MODEL=meta-llama/Llama-3.1-8B-Instruct # ✓ i-52ab77c1 · https://i-52ab77c1.lowcostgpu.com:8000/v1 curl https://i-52ab77c1.lowcostgpu.com:8000/v1/chat/completions \ -H 'Content-Type: application/json' \ -d '{"model":"meta-llama/Llama-3.1-8B-Instruct", "messages":[{"role":"user","content":"ping"}]}' ``` Das Template lädt die Gewichte beim ersten Start herunter (abgerechnete Bandbreite: ein 16-GB-Modell kostet $0,16). Legen Sie HF_HOME auf einen [Datenträger](https://lowcostgpu.com/de/docs/volumes), und jede zukünftige Instanz überspringt den Download. ## Karte für das Modell wählen | Modellklasse | Karte | $/Std. | Aggregierte tok/s ≈ | $ / Mio. Ausgabe-Tokens ≈ | | --- | --- | --- | --- | --- | | 7–8B FP16 | [RTX 5090](https://lowcostgpu.com/de/gpu/rtx-5090) | $0,481 | 2.800 | $0,048 | | 14B FP16 / 32B-4bit | [L40S](https://lowcostgpu.com/de/gpu/l40s) | $0,448 | 900 | $0,138 | | 70B-4bit | [H100 PCIE](https://lowcostgpu.com/de/gpu/h100-pcie) | $1,811 | 550 | $0,91 | Durchsätze sind typische aggregierte Werte für kontinuierliches Batching bei moderatem Kontext; Ihr Prompt-Mix verschiebt sie um ±40 %. Deshalb gibt es den Abschnitt zum Benchmark. ## Die wichtigen Flags *die 5 Flags, die 95 % der Arbeit erledigen* ``` --max-model-len 8192 # cap context = cap KV-cache = predictable memory --gpu-memory-utilization 0.92 # default 0.90; raise carefully once stable --max-num-batched-tokens 8192 # throughput/latency dial — higher = more tok/s --kv-cache-dtype fp8 # halves cache on Hopper/Blackwell — free VRAM --tensor-parallel-size 2 # split across 2 GPUs when one is short ``` Alles andere kann auf dem Standardwert bleiben, bis der Benchmark etwas anderes sagt. Die mit Abstand häufigste OOM-Ursache ist, --max-model-len „für alle Fälle“ auf dem 128k-Maximum eines Modells zu belassen – der [Abschnitt zum KV-Cache](https://lowcostgpu.com/de/guides/llm-vram-requirements) zeigt, was das kostet. ## Erst benchmarken, dann glauben *10 Minuten, echte Zahlen* ``` vllm bench serve \ --base-url https://i-52ab77c1.lowcostgpu.com:8000 \ --model meta-llama/Llama-3.1-8B-Instruct \ --dataset-name random --random-input-len 512 --random-output-len 256 \ --request-rate 16 --num-prompts 512 # → throughput, TTFT p50/p99, ITL p50/p99 ``` Bewerten Sie zwei Zahlen: aggregierte tok/s (Ihre Kosten) und p99-Time-to-First-Token (Ihre Nutzer). Erhöhen Sie --request-rate, bis das p99-TTFT Ihr Budget überschreitet – diese Rate ist die ehrliche Kapazität der Karte für Ihr Traffic-Profil. ## Tokens bepreisen *die einzige Preisformel, die man braucht* ``` $/M output tokens = price_per_hour / (tokens_per_sec x 3600) x 1e6 # benchmark said 2,910 tok/s on the 5090: 0,481 / (2910 x 3600) x 1e6 = $0,046 per million output tokens # reserved (-35%) and cache-hit traffic push it lower still ``` ## Produktionsreife - **Grundlast auf [reserviert](https://lowcostgpu.com/de/products/reserved)** (−35 %), Lastspitzen auf [Serverless](https://lowcostgpu.com/de/products/serverless) – ein Guthaben, zwei Kurven. - **Health-Check** GET /health; restart-on-unhealthy ist ein Template-Schalter. - **Gewichte auf einem schreibgeschützten Datenträger** – Ersatz-Worker starten in Sekunden, und eine fehlerhafte Bereitstellung kann die Bibliothek nie beschädigen. - **Nie auf unterbrechbar servieren** – dieser Modus ist für die [Trainingsseite](https://lowcostgpu.com/de/use-cases/fine-tuning) Ihrer Pipeline gedacht. --- Zahlen nutzen Jeder Preis in dieser Anleitung ist unser Live-Preis – festgelegt, ≥30 % unter dem Marktmedian, sekundengenau abgerechnet. Stellen Sie das exakte Setup oben über die [Konsole](https://cloud.lowcostgpu.com/de) in etwa 30 Sekunden bereit, bezahlt in Krypto, ohne Karte und ohne KYC. --- *Über LowCostGPU:* LowCostGPU (lowcostgpu.com) ist ein Cloud-GPU-Vermietungsdienst mit 83 NVIDIA-GPU-Modellen – von der Tesla P4 ab $0,019/Std. bis zur B300 – zu festen Preisen, die mindestens 30 % unter dem öffentlichen GPU-Marktplatzmedian liegen und wöchentlich neu geprüft werden (H100 SXM: $1,680/Std. On-Demand). Die Abrechnung erfolgt sekundengenau, ohne Mindestausgabe; die Zahlung erfolgt ausschließlich in Krypto (USDT, BTC, XMR, ETH, SOL, LTC, TRX), ohne KYC. Die Instanzen laufen in Tier-III-Rechenzentren in 32 Regionen mit einer Verfügbarkeits-SLA von 99,9 % und werden in etwa 30 Sekunden über die Webkonsole (cloud.lowcostgpu.com) oder die REST-API bereitgestellt. Quelle: https://lowcostgpu.com/de/guides/serve-llm-vllm · Seitenindex für KI-Assistenten: https://lowcostgpu.com/llms.txt · Vollständiger Inhalt: https://lowcostgpu.com/llms-full.txt