TL;DR
- Eine RTX 3060 12 GB ist die günstigste Karte, mit der sich Ollama gut betreiben lässt, und deckt jedes 7B–8B-Modell sowie die meisten 14B-Modelle bei Q4 ab.
- Ollama lädt standardmäßig 4-Bit-Gewichte, planen Sie daher etwa 0,6 GB pro Milliarde Parameter plus 1–3 GB für Kontext ein.
- Damit läuft 8B auf 12-GB-Karten, 27B–32B auf 24 GB, und 70B auf einer RTX A6000 mit 48 GB für $0,281 pro Stunde auf LowCostGPU.
- Ollama arbeitet Single-Stream: Rechnen Sie mit etwa 120 Tokens pro Sekunde für 8B auf einer RTX 4090, und nutzen Sie vLLM, wenn sich viele Nutzer die Karte teilen.
Wie viel VRAM jedes Ollama-Modell braucht
Ollama lädt standardmäßig 4-Bit-Gewichte (Q4_K_M) herunter, daher gilt als Faustregel etwa 0,6 GB pro Milliarde Parameter, plus 1–3 GB für Kontext. Damit passen 8B-Modelle auf 12-GB-Karten, 14B auf 12–16 GB, 27B–32B auf 24 GB und 70B auf 48 GB. Gehen Sie eine Klasse höher, wenn Sie 32k+ Kontext oder FP16-Gewichte wollen (:fp16-Tags brauchen 2 GB pro Milliarde).
Die Tabelle: Modell → günstigste Karte → Geschwindigkeit → Kosten
Tokens pro Sekunde sind indikative Single-Stream-Werte für Ollama mit dem gesamten Modell auf der GPU (llama.cpp-CUDA- Backend); Ihre Prompt-Länge und die Quantisierung verändern sie. Die Preise sind die heutigen On-Demand-Stundensätze; unterbrechbar halbiert sie.
| Ollama-Modell | Gewichte | Karte | On-Demand | ~tok/s | $ / Mio. Tokens | Hinweis |
|---|---|---|---|---|---|---|
| llama3.1:8b | 4,9 GB | RTX 3060 12 GB | $0,058 | ~35 | $0,46 | Die günstigste Karte, die 8B komfortabel ausführt |
| llama3.1:8b | 4,9 GB | RTX 4090 24 GB | $0,354 | ~120 | $0,82 | Reaktionsschneller Chat; Platz für 32k Kontext |
| qwen2.5:14b | 9,0 GB | RTX 4070 12 GB | $0,123 | ~45 | $0,76 | 12 GB reichen bei Q4 |
| qwen2.5:14b | 9,0 GB | RTX 5090 32 GB | $0,481 | ~110 | $1,21 | 1,79 TB/s GDDR7 zeigt sich in Tokens/s |
| gemma3:27b | 17 GB | RTX 3090 24 GB | $0,148 | ~25 | $1,64 | 24 GB mit Kontextreserve zum niedrigsten Stundensatz |
| qwen2.5:32b | 20 GB | RTX 4090 24 GB | $0,354 | ~40 | $2,46 | Knapp, aber machbar auf 24 GB mit 8k Kontext |
| qwen2.5:32b | 20 GB | RTX 5090 32 GB | $0,481 | ~62 | $2,16 | 32 GB verschaffen Puffer für langen Kontext |
| llama3.3:70b | 43 GB | RTX A6000 48 GB | $0,281 | ~15 | $5,20 | Die günstigste Einzelkarte, die 70B hält |
| llama3.3:70b | 43 GB | L40S 48 GB | $0,448 | ~20 | $6,22 | Datacenter-Karte für einen durchgehend laufenden Assistenten |
| llama3.3:70b | 43 GB | H100 PCIE 80 GB | $1,811 | ~38 | $13,24 | HBM-Bandbreite – die schnellste Einzelkarte für 70B |
Der Single-Stream-Preis in $/Mio. Tokens wirkt im Vergleich zu API-Anbietern teuer, weil ein einzelner Chat den Großteil der Karte ungenutzt lässt – Ollama ist ein Werkzeug für private Assistenten, keine Serving-Engine. Für viele Nutzer bündelt vLLM Anfragen und senkt die Kosten pro Token um das 10- bis 30-Fache.
Durchgehend laufender privater Assistent, pro Monat
| Assistent | Karte | 24/7 On-Demand | Reserviert (3 Monate) | 8 Std./Tag, Werktage |
|---|---|---|---|---|
| 8B-Chat (llama3.1:8b) | RTX 3060 | $42 | $27 | $10 |
| 14B–32B (qwen2.5:32b) | RTX 4090 | $258 | $168 | $62 |
| 70B (llama3.3:70b) | RTX A6000 | $205 | $133 | $49 |
| 70B, schnell (llama3.3:70b) | H100 PCIE | $1.322 | $859 | $319 |
Fügen Sie einen Datenträger für die Modellbibliothek hinzu (/root/.ollama, 30–100 GB für $0,08/GB/Monat), damit heruntergeladene Modelle Stopps/Starts und Instanzwechsel überstehen.
Setup mit einem Befehl
lowcostgpu launch --gpu rtx-3060 --template ollama --disk 40 --volume ollama:/root/.ollama
# ✓ instance i-2b7e11c0 running (26.4s) · $0,058/hr
# https://i-2b7e11c0.lowcostgpu.com:11434 (Ollama API, TLS)
curl https://i-2b7e11c0.lowcostgpu.com:11434/api/pull -d '{"name":"llama3.1:8b"}'Möchten Sie zusätzlich eine Chat-UI? Das Open-WebUI-Template bündelt Ollama mit einer Multi-User-Oberfläche, RAG und Modellverwaltung hinter TLS.
Fünf Wege, weniger auszugeben
- Wählen Sie die Karte nach dem Modell, nicht nach dem Ehrgeiz. Ein 8B-Assistent auf einer H100 kostet das 40-Fache des gleichen Assistenten auf einer 3060 und antwortet nicht besser.
- Stoppen Sie ihn, wenn niemand spricht. Sekundengenaue Abrechnung bedeutet: Ein 9-to-5-Assistent kostet ein Drittel eines 24/7-Assistenten; der Datenträger behält die Modelle.
- Reservieren Sie, wenn es nie schläft. −35 % ab drei Monaten – $0,037/Std. für die 3060, $0,182/Std. für die A6000.
- Q4 statt FP16. Halbe VRAM-Klasse, nahezu gleiche Antworten im Chat; behalten Sie FP16 für Auswertungsläufe.
- Zwei günstige Karten können eine teure schlagen. 2× RTX 4090 (48 GB) für $0,708/Std. betreiben 70B für weniger als eine einzelne L40S – langsamer pro Token, günstiger pro Monat.
Zahlen nutzen
Jeder Preis in dieser Anleitung ist unser Live-Preis – festgelegt, ≥30 % unter dem Marktmedian, sekundengenau abgerechnet. Stellen Sie das exakte Setup oben über die Konsole in etwa 30 Sekunden bereit, bezahlt in Krypto, ohne Karte und ohne KYC.
