---
title: "LLM-Inferenz-GPUs – niedrigster $/Token mit vLLM | LowCostGPU"
description: "LLM-Serving mit vLLM auf Festpreis-GPUs: RTX 5090 für $0,481/Std. bei 7B–14B, L40S für 32B, H100 für 70B. $/Token, Tensor-Parallelität, Serverless-Scale-to-Zero."
url: https://lowcostgpu.com/de/use-cases/llm-inference
last_modified: 2026-10-20T10:29:15+00:00
prices_as_of: 2026-10-19
site: LowCostGPU (lowcostgpu.com)
---

Anwendungsfall · LLM-Inferenz

# GPUs für LLM-Inferenz: Tokens abgerechnet wie eine Stromrechnung

Feste GPU-Preise machen $/Token zu einer einfachen Rechnung: Wählen Sie die kleinste Karte, die Ihr Modell + KV-Cache aufnimmt, sättigen Sie sie mit kontinuierlichem vLLM-Batching, und dividieren Sie. Eine RTX 5090 für **$0,481** /Std. bedient ein 8B-Modell für ein paar Cent pro Million Tokens.

## Die Serving-Karten, nach Modellgröße

VRAM entscheidet; Preis pro VRAM ordnet die Kandidaten.

| Stufe | GPU | VRAM | On-Demand | Unterbrechbar | Warum diese Karte |  |
| --- | --- | --- | --- | --- | --- | --- |
| (Gut) | [RTX 5090](https://lowcostgpu.com/de/gpu/rtx-5090) | 32 GB | $0,481 | $0,240 | 32 GB GDDR7 – der $/Token-König für 7B–14B-FP16- und 32B-4-Bit-Chat-Modelle. | [Bereitstellen](https://cloud.lowcostgpu.com/de?gpu=rtx-5090) |
| (Besser) | [L40S](https://lowcostgpu.com/de/gpu/l40s) | 48 GB | $0,448 | $0,224 | 48 GB und Kühlung in Server-Qualität für 24/7-Endpunkte; 32B-Klasse und 14B mit langem Kontext. | [Bereitstellen](https://cloud.lowcostgpu.com/de?gpu=l40s) |
| (Am besten) | [H100 PCIE](https://lowcostgpu.com/de/gpu/h100-pcie) | 80 GB | $1,811 | $0,905 | 80 GB HBM3 für ein quantisiertes 70B-Modell auf einer Karte – oder FP8 für maximalen Durchsatz pro Dollar. | [Bereitstellen](https://cloud.lowcostgpu.com/de?gpu=h100-pcie) |

Größer als 70B? Tensor-parallel über 2–8× Karten auf einer Maschine – der Preis pro GPU ändert sich nicht. Dimensionierungstabellen: [VRAM-Anleitung](https://lowcostgpu.com/de/guides/llm-vram-requirements).

## $/Million Tokens, ehrlich berechnet

Der Durchsatz hängt von Kontext und Batch-Mix ab, deshalb veröffentlichen wir die Formel und keine Marketingzahl:

$/Mio. Tokens = GPU $/Std. ÷ (Tokens/s × 3.600) × 1.000.000

Eine RTX 5090 für $0,481/Std. mit anhaltend ~2.800 tok/s für Llama-3.1-8B unter kontinuierlichem Batching → **$0,048** /Mio. Tokens. Dieselbe Karte halbiert das im unterbrechbaren Modus.

Benchmarken Sie Ihr eigenes Modell in 10 Minuten – die [Serving-Anleitung](https://lowcostgpu.com/de/guides/serve-llm-vllm) liefert den genauen Befehl vllm bench.

## Serving-Muster

- **Reserviert + vLLM** für die Grundlast – −35 % auf die Karte, die nie schläft.
- **Serverless-Burst** obendrauf – Scale-to-Zero-Worker fangen die Lastspitzen ab.
- **Datenträger mit der Modellbibliothek** wird schreibgeschützt eingebunden – neue Worker überspringen den 40-GB-Download.
- **Zuerst quantisieren** – AWQ/GPTQ-4-Bit verdoppelt die Anzahl der Modelle, die eine Karte aufnehmen kann, und beeinträchtigt die Chat-Qualität kaum.

Templates: [vLLM, Ollama, TGWUI](https://lowcostgpu.com/de/templates) – alle von Haus aus OpenAI-kompatibel.

## GPUs für LLM-Inferenz: FAQ

**Was ist der günstigste Weg, ein 7B–14B-Modell zu bedienen?**

Eine einzelne RTX 5090 für $0,481/Std., auf der vLLM läuft. Bei typischem Chat-Durchsatz liegt das deutlich unter $0,15 pro Million Ausgabetokens – eine Größenordnung unter den Preisen von API-Anbietern für vergleichbare offene Modelle.

**Wann brauche ich eine 80-GB-Karte?**

Rund um 70B: Ein 4-Bit-70B benötigt ~44 GB plus KV-Cache, also eine einzelne H100 PCIE (80 GB) oder 2× L40S mit Tensor-Parallelität. FP16-70B benötigt 2× 80 GB. Unter 32B sind 32–48-GB-Karten die wirtschaftlichste Wahl.

**Instanzen oder Serverless für Serving?**

Gleichmäßig sättigender Traffic → eine reservierte Instanz (−35 %), die Sie dauerhaft warmhalten. Traffic mit Lastspitzen oder nächtlichem Leerlauf → Serverless mit Scale-to-Zero. Gleiche sekundengenaue Preise; der Unterschied ist, wer für Leerlauf zahlt.

---

*Über LowCostGPU:* LowCostGPU (lowcostgpu.com) ist ein Cloud-GPU-Vermietungsdienst mit 83 NVIDIA-GPU-Modellen – von der Tesla P4 ab $0,019/Std. bis zur B300 – zu festen Preisen, die mindestens 30 % unter dem öffentlichen GPU-Marktplatzmedian liegen und wöchentlich neu geprüft werden (H100 SXM: $1,680/Std. On-Demand). Die Abrechnung erfolgt sekundengenau, ohne Mindestausgabe; die Zahlung erfolgt ausschließlich in Krypto (USDT, BTC, XMR, ETH, SOL, LTC, TRX), ohne KYC. Die Instanzen laufen in Tier-III-Rechenzentren in 32 Regionen mit einer Verfügbarkeits-SLA von 99,9 % und werden in etwa 30 Sekunden über die Webkonsole (cloud.lowcostgpu.com) oder die REST-API bereitgestellt.

Quelle: https://lowcostgpu.com/de/use-cases/llm-inference · Seitenindex für KI-Assistenten: https://lowcostgpu.com/llms.txt · Vollständiger Inhalt: https://lowcostgpu.com/llms-full.txt