Läuft in ~30 s
Vorab zwischengespeichertes Image, Ports zugeordnet, TLS terminiert – der Stack läuft, bevor Sie diesen Satz zu Ende gelesen haben.
Template · LLM-Serving & Chat · CUDA 12.4
text-generation-webui auf einer Cloud-GPU starten, in 30 Sekunden
Die WebUI & API für Textgenerierung – laden Sie GPTQ, EXL2 oder GGUF mit Erweiterungen. Die text-generation-webui (oobabooga) lädt GPTQ-, EXL2-, AWQ- und GGUF-Modelle mit einer umfangreichen Chat-Oberfläche, Charakterkarten, Erweiterungen und einer API. Sie ist die Wahl für Bastler, die Quantisierungsformate und Sampling-Einstellungen im direkten Vergleich testen wollen. Ab $0,074/Std. auf einer unterbrechbaren RTX 3090.
Template ist kostenlos
Sie zahlen nur den GPU-Preis: Oobabooga Text Gen auf einer RTX 4090 kostet $0,354/Std. On-Demand, $0,177/Std. unterbrechbar, abgerechnet pro Sekunde.
Volumes für Zustandsdaten
Modelle, Datensätze und Ausgaben liegen auf einem Datenträger für $0,08/GB/Monat; die Instanz bleibt austauschbar.
Standardmäßig privat
Dedizierte GPU, verschlüsselter Datenträger, Kryptozahlungen, ohne KYC, keine gespeicherten IPs – Jupyter und SSH hinter Ihren eigenen Zugangsdaten.
Beste GPUs für Oobabooga Text Gen
Drei Preisstufen, mit denen dieses Template gut läuft – gut, besser, am besten. Jedes Modell im Katalog funktioniert; dies sind die besten Preis-Leistungs-Optionen.
| Stufe | GPU | VRAM | On-Demand | Unterbrechbar | Warum diese Karte | Aktion |
|---|---|---|---|---|---|---|
| Gut | RTX 4090 | 24 GB | $0,354 | $0,177 | 24 GB: EXL2 13B–32B-Modelle mit schnellen ExLlama-Kernels. | Bereitstellen |
| Besser | RTX 3090 | 24 GB | $0,148 | $0,074 | Gleicher VRAM zu einem niedrigeren Stundensatz für langsamere Experimente. | Bereitstellen |
| Am besten | RTX A6000 | 48 GB | $0,281 | $0,140 | 48 GB für 70B EXL2 auf einer Karte. | Bereitstellen |
Mehr VRAM benötigt? Der vollständige Katalog listet alle 83 Modelle mit Verfügbarkeit in Echtzeit auf; der VRAM-Leitfaden ordnet Modelle den passenden Karten zu.
Oobabooga Text Gen über Konsole, CLI oder API bereitstellen
Wählen Sie das Template in der Bereitstellungsleiste der Konsole, oder erledigen Sie es per Skript:
- Konsole – nach GPU filtern, Oobabooga Text Gen im Template-Auswahlmenü wählen, Datenträger und Umgebungsvariablen festlegen, bereitstellen.
- CLI – pip install lowcostgpu, dann der Befehl rechts. CLI-Referenz.
- API – POST /v1/instances mit "template": "oobabooga-text-gen". REST-Referenz.
- Eigenes Image – jede OCI-Referenz funktioniert ebenfalls; wir injizieren die NVIDIA-Runtime. Template-Dokumentation.
$ lowcostgpu launch --gpu rtx-4090 --template oobabooga-text-gen \
--disk 100 --volume models:/workspace/models
✓ instance i-7a41c0e2 running (27.9s)
# Oobabooga Text Gen · RTX 4090 · $0,354/hr · per second
# https://i-7a41c0e2.lowcostgpu.com:8888 (TLS)
$ lowcostgpu stop i-7a41c0e2 # billing ends this secondWas steckt im Template Oobabooga Text Gen
| Image | lowcostgpu/oobabooga |
|---|---|
| CUDA | CUDA 12.4 |
| Zugang | SSH-Shell · JupyterLab auf einem zugeordneten Port |
| Kategorie | LLM-Serving & Chat |
| Speicherplatz | NVMe-Instanzdatenträger (Größe bei Bereitstellung festgelegt) + optionale Netzwerk-Volumes |
| Abrechnung | Nur GPU-Preis, pro Sekunde – keine Template-Gebühr, keine Einrichtungsgebühr |
Weitere llm-serving & chat Templates
vLLM auf einer Cloud-GPU — Produktionsreifes LLM-Serving mit PagedAttention – ein OpenAI-kompatibler Endpunkt aus jedem HF-Modell.- vLLM Omni auf einer Cloud-GPU — vLLM erweitert für multimodale Modelle – Bild- und Audioeingaben auf demselben schnellen Server.
SGLang auf einer Cloud-GPU — Hochdurchsatz-Serving mit RadixAttention – eignet sich besonders für strukturierte und agentische Workloads.
Llama.cpp auf einer Cloud-GPU — GGUF-Inferenz mit integriertem Server – der schlankste Weg, um quantisierte Modelle auszuführen.
Ollama auf einer Cloud-GPU — Quantisierte Modelle mit einem Befehl abrufen und ausführen – mit sauberer REST-API.
Open WebUI (Ollama) auf einer Cloud-GPU — Eine vollständige Chat-Oberfläche über Ollama – Unterhaltungen, RAG und Modellverwaltung im Browser.- Alle 37 Templates
Oobabooga Text Gen auf einer Cloud-GPU: FAQ
Umgebungsvariablen, Ports und benutzerdefinierte Images werden in der Template-Dokumentation behandelt.
Wie viel kostet es, Oobabooga Text Gen auf einer Cloud-GPU auszuführen?
Nur der GPU-Preis – das Template ist kostenlos. Ab $0,074/Std. auf einer unterbrechbaren RTX 3090, $0,354/Std. On-Demand auf einer RTX 4090. Es wird pro Sekunde abgerechnet, eine Stunde Herumprobieren kostet also eine Stunde, nicht einen Tag. Datenträger kosten $0,08/GB/Monat.
Wie lange dauert der Start von Oobabooga Text Gen?
Etwa 30 Sekunden nach dem Klick auf „Bereitstellen“: Das Image ist auf den Hosts vorab zwischengespeichert, Ports sind zugeordnet und TLS wird für Sie terminiert. Der Neustart einer gestoppten Instanz ist schneller, und Ihr Datenträger ist genauso, wie Sie ihn verlassen haben.
Kann ich meine Modelle und Ausgaben zwischen Sessions behalten?
Ja – fügen Sie bei der Bereitstellung einen Datenträger hinzu. Alles auf dem Datenträger übersteht das Löschen der Instanz und wird in Sekunden auf der nächsten Instanz in der Region eingebunden, für $0,08/GB/Monat. Der Instanzdatenträger selbst übersteht Stopp/Start, aber nicht das Löschen.
Welche Loader sind enthalten?
Transformers, ExLlamaV2, llama.cpp, AutoGPTQ und AWQ – pro Modell in der Oberfläche wählbar. Die OpenAI-kompatible API-Erweiterung ist standardmäßig aktiviert.