Template · LLM-Serving & Chat · CUDA 12.9

llama.cpp auf einer Cloud-GPU starten, in 30 Sekunden

GGUF-Inferenz mit integriertem Server – der schlankste Weg, um quantisierte Modelle auszuführen. llama.cpp führt GGUF-Modelle mit CUDA-Offload aus und bringt einen schlanken, OpenAI-kompatiblen Server mit. Es ist der speicherschonendste Weg, quantisierte Modelle bereitzustellen, und der natürliche Anlaufpunkt für Q4-/Q5-/Q6-GGUF-Dateien von Hugging Face – einschließlich Modellen, die nicht in die Formate von vLLM passen. Ab $0,029/Std. auf einer unterbrechbaren RTX 3060.

Llama.cpp bereitstellen Alle 37 Templates

Läuft in ~30 s

Vorab zwischengespeichertes Image, Ports zugeordnet, TLS terminiert – der Stack läuft, bevor Sie diesen Satz zu Ende gelesen haben.

Template ist kostenlos

Sie zahlen nur den GPU-Preis: Llama.cpp auf einer RTX 3060 kostet $0,058/Std. On-Demand, $0,029/Std. unterbrechbar, abgerechnet pro Sekunde.

Volumes für Zustandsdaten

Modelle, Datensätze und Ausgaben liegen auf einem Datenträger für $0,08/GB/Monat; die Instanz bleibt austauschbar.

Standardmäßig privat

Dedizierte GPU, verschlüsselter Datenträger, Kryptozahlungen, ohne KYC, keine gespeicherten IPs – Jupyter und SSH hinter Ihren eigenen Zugangsdaten.

Beste GPUs für Llama.cpp

Drei Preisstufen, mit denen dieses Template gut läuft – gut, besser, am besten. Jedes Modell im Katalog funktioniert; dies sind die besten Preis-Leistungs-Optionen.

Stufe	GPU	VRAM	On-Demand	Unterbrechbar	Warum diese Karte	Aktion
Gut	RTX 3060	12 GB	$0,058	$0,029	12 GB reichen für 7B–8B Q4 GGUF – der günstigste Chat-Endpunkt in dieser Übersicht.	Bereitstellen
Besser	RTX 4090	24 GB	$0,354	$0,177	Mit 24 GB laufen 14B–32B quantisierte Modelle bei vollständigem GPU-Offload.	Bereitstellen
Am besten	RTX A6000	48 GB	$0,281	$0,140	48 GB für 70B Q4 GGUF auf einer einzelnen Karte.	Bereitstellen

Mehr VRAM benötigt? Der vollständige Katalog listet alle 83 Modelle mit Verfügbarkeit in Echtzeit auf; der VRAM-Leitfaden ordnet Modelle den passenden Karten zu.

Llama.cpp über Konsole, CLI oder API bereitstellen

Wählen Sie das Template in der Bereitstellungsleiste der Konsole, oder erledigen Sie es per Skript:

Konsole – nach GPU filtern, Llama.cpp im Template-Auswahlmenü wählen, Datenträger und Umgebungsvariablen festlegen, bereitstellen.
CLI – pip install lowcostgpu, dann der Befehl rechts. CLI-Referenz.
API – POST /v1/instances mit "template": "llama-cpp". REST-Referenz.
Eigenes Image – jede OCI-Referenz funktioniert ebenfalls; wir injizieren die NVIDIA-Runtime. Template-Dokumentation.

bereitstellen – llama-cpp

$ lowcostgpu launch --gpu rtx-3060 --template llama-cpp \
    --disk 100 --volume models:/workspace/models
✓ instance i-7a41c0e2 running (27.9s)
# Llama.cpp · RTX 3060 · $0,058/hr · per second
# https://i-7a41c0e2.lowcostgpu.com:8888 (TLS)
$ lowcostgpu stop i-7a41c0e2   # billing ends this second

Was steckt im Template Llama.cpp

Image	lowcostgpu/llama-cpp
CUDA	CUDA 12.9
Zugang	baut auch für ARM-Hosts · SSH-Shell · JupyterLab auf einem zugeordneten Port
Kategorie	LLM-Serving & Chat
Speicherplatz	NVMe-Instanzdatenträger (Größe bei Bereitstellung festgelegt) + optionale Netzwerk-Volumes
Abrechnung	Nur GPU-Preis, pro Sekunde – keine Template-Gebühr, keine Einrichtungsgebühr

Weitere llm-serving & chat Templates

vLLM auf einer Cloud-GPU — Produktionsreifes LLM-Serving mit PagedAttention – ein OpenAI-kompatibler Endpunkt aus jedem HF-Modell.
vLLM Omni auf einer Cloud-GPU — vLLM erweitert für multimodale Modelle – Bild- und Audioeingaben auf demselben schnellen Server.
SGLang auf einer Cloud-GPU — Hochdurchsatz-Serving mit RadixAttention – eignet sich besonders für strukturierte und agentische Workloads.
Ollama auf einer Cloud-GPU — Quantisierte Modelle mit einem Befehl abrufen und ausführen – mit sauberer REST-API.
Open WebUI (Ollama) auf einer Cloud-GPU — Eine vollständige Chat-Oberfläche über Ollama – Unterhaltungen, RAG und Modellverwaltung im Browser.
Oobabooga Text Gen auf einer Cloud-GPU — Die WebUI & API für Textgenerierung – laden Sie GPTQ, EXL2 oder GGUF mit Erweiterungen.
Alle 37 Templates

Llama.cpp auf einer Cloud-GPU: FAQ

Umgebungsvariablen, Ports und benutzerdefinierte Images werden in der Template-Dokumentation behandelt.

Wie viel kostet es, Llama.cpp auf einer Cloud-GPU auszuführen?

Nur der GPU-Preis – das Template ist kostenlos. Ab $0,029/Std. auf einer unterbrechbaren RTX 3060, $0,058/Std. On-Demand auf einer RTX 3060. Es wird pro Sekunde abgerechnet, eine Stunde Herumprobieren kostet also eine Stunde, nicht einen Tag. Datenträger kosten $0,08/GB/Monat.

Wie lange dauert der Start von Llama.cpp?

Etwa 30 Sekunden nach dem Klick auf „Bereitstellen“: Das Image ist auf den Hosts vorab zwischengespeichert, Ports sind zugeordnet und TLS wird für Sie terminiert. Der Neustart einer gestoppten Instanz ist schneller, und Ihr Datenträger ist genauso, wie Sie ihn verlassen haben.

Kann ich meine Modelle und Ausgaben zwischen Sessions behalten?

Ja – fügen Sie bei der Bereitstellung einen Datenträger hinzu. Alles auf dem Datenträger übersteht das Löschen der Instanz und wird in Sekunden auf der nächsten Instanz in der Region eingebunden, für $0,08/GB/Monat. Der Instanzdatenträger selbst übersteht Stopp/Start, aber nicht das Löschen.

Kann ich ein Modell zwischen GPU und CPU-RAM aufteilen?

Ja – legen Sie beim Start die Anzahl der ausgelagerten Layer (-ngl) fest. Maschinen mit viel RAM erlauben es, Modelle auszuführen, die größer als der VRAM sind, allerdings mit reduzierter Geschwindigkeit – praktisch für gelegentliche 70B-Nutzung auf einer günstigen Karte.