Warteschlangenbasiertes Autoscaling
Worker starten, sobald requests-per-worker Ihren Schwellenwert überschreitet, und werden abgebaut, sobald die Warteschlange leer ist. Sie legen min/max fest; der Standardwert für min ist null.
Produkte · Serverless
Serverless-GPU-Endpunkte mit Scale-to-Zero
Modell hochladen, URL erhalten, pro Sekunde tatsächlicher GPU-Arbeit zahlen. Worker skalieren mit der Warteschlangentiefe – von null bis zu Dutzenden und zurück – zu denselben Festpreisen wie alles andere: eine L40S-Worker-Sekunde kostet genau $0,448/3600.
Zwischengespeicherte Gewichte
Modelldateien bleiben im regionalen NVMe-Cache erhalten: Beim Hochskalieren wird von der lokalen Festplatte geladen – Sekunden statt eines 40-GB-Downloads.
Standardschnittstellen
vLLM-Endpunkte sprechen die OpenAI-API; alles andere ist reines HTTP auf dem Port Ihres Containers, hinter TLS, das wir für Sie terminieren.
Sekundengenaue Abrechnung
Aktive Sekunden × fixer Preis. Ein Burst von 10.000 Anfragen auf RTX 5090-Workern kostet dasselbe, ob ein Worker dafür eine Stunde braucht oder zwölf Worker fünf Minuten.
Von Gewichten zur URL in einem Befehl
Endpunkte werden deklarativ beschrieben – Modell, GPU-Klasse, Skalierungsfenster – und wie jede andere Ressource über Konsole, CLI oder API verwaltet.
- LLM-Chat & Completion – vLLM-Template, OpenAI-kompatibel, Streaming inklusive.
- Bildgenerierung – ComfyUI-Workflows, verfügbar gemacht als JSON-API.
- Transkription, Embeddings, Reranker – Whisper und ähnliche Modelle auf günstigen Karten.
- Ihr Container – alles, was HTTP spricht; wir übernehmen TLS, Skalierung und Health-Checks.
$ lowcostgpu endpoint create --name llama8b \
--template vllm --gpu l40s --min 0 --max 8 \
--env MODEL=meta-llama/Llama-3.1-8B-Instruct
✓ endpoint ep-31c8a2 ready
# https://llama8b-31c8a2.lowcostgpu.com/v1/chat/completions
$ lowcostgpu endpoint stats llama8b
# workers 0→3 (last hour) · p50 342ms · 41,208 req · $1.87Welche GPU-Klasse für welches Modell
Serverless unterstützt denselben Katalog; diese drei decken die meisten Endpunkte ab.
| Worker-GPU | VRAM | Geeignet für | Aktiver Preis | 1 Mio. Tokens ≈ |
|---|---|---|---|---|
| RTX 5090 | 32 GB | 7B–14B-Chat, Embeddings, Whisper | $0,481/Std. | $0.05–0.15 |
| L40S | 48 GB | 14B–32B-Modelle, SDXL/Flux, langer Kontext | $0,448/Std. | $0.10–0.30 |
| A100 SXM4 | 80 GB | 70B quantisiert, Videomodelle, große Batches | $0,468/Std. | $0.25–0.60 |
Die Token-Kosten sind beispielhafte vLLM-Durchsatzbereiche; testen Sie die Leistung Ihres Modells mit der Serving-Anleitung.
Serverless-GPUs: FAQ
Endpunktreferenz in der Dokumentation und der API.
Wie wird Serverless abgerechnet?
Pro Sekunde aktiver GPU-Zeit zu denselben festen Modellpreisen wie bei Instanzen, zuzüglich der Pauschale für Ihren Modell-Cache. Scale-to-Zero bedeutet: Ein Endpunkt im Leerlauf kostet nur seine zwischengespeicherten Gewichte – ein 16-GB-Modell-Cache kostet etwa $1,28/Monat.
Wie sehen Kaltstarts aus?
Die Gewichte bleiben auf NVMe neben den GPUs zwischengespeichert, sodass Kaltstarts ein Laden ins VRAM sind, kein Download aus dem Internet: typisch 4–15 Sek. bei Modellen der Klasse 7B–13B, länger bei 70B. Setzen Sie min-workers auf 1, um sie vollständig zu entfernen – Sie zahlen für diesen Worker nur, solange er existiert.
Was kann ich darauf bereitstellen?
Die vLLM- und ComfyUI-Templates funktionieren direkt (OpenAI-kompatibel beziehungsweise REST), oder bringen Sie ein beliebiges Docker-Image mit, das HTTP auf einem Port beantwortet. Autoscaling überwacht die Warteschlangentiefe pro Worker.
Wann sollte ich stattdessen Instanzen verwenden?
Gleichmäßiger, sättigender Traffic ist auf einer reservierten Instanz günstiger, die Sie durchgehend auslasten. Serverless gewinnt bei Traffic-Spitzen, vielen kleinen Modellen oder Produkten, die nachts ruhen – Sie zahlen für Anfragen, nicht für Leerlauf.