TL;DR
- RTX 3060 12 GB — самая дешёвая карта, которая хорошо справляется с Ollama, охватывая все модели 7B-8B и большинство моделей 14B при Q4.
- По умолчанию Ollama загружает веса в 4-бит, поэтому закладывайте около 0,6 GB на миллиард параметров плюс 1-3 GB на контекст.
- Это даёт 8B на картах с 12 GB, 27B-32B на 24 GB и 70B на RTX A6000 с 48 GB за $0,281 в час на LowCostGPU.
- Ollama работает в один поток: ожидайте около 120 токенов в секунду для 8B на RTX 4090, а при большом числе пользователей на одной карте используйте vLLM.
Сколько VRAM нужно каждой модели Ollama
По умолчанию Ollama загружает 4-битные (Q4_K_M) веса, так что практическое правило — около 0,6 GB на миллиард параметров плюс 1–3 GB на контекст. Это даёт: модели 8B — на картах 12 GB, 14B — на 12–16 GB, 27B–32B — на 24 GB, а 70B — на 48 GB. Берите карту классом выше, если нужен контекст от 32k или веса FP16 (тегам :fp16 нужно 2 GB на миллиард).
Таблица: модель → самая дешёвая карта → скорость → стоимость
Токены в секунду — это ориентировочные показатели в один поток для Ollama при полном размещении модели на GPU (бэкенд llama.cpp CUDA); длина промпта и квантование сдвигают эти цифры. Цены — сегодняшние тарифы по требованию; прерываемый режим — вдвое дешевле.
| Модель Ollama | Веса | Карта | По требованию | ~tok/s | $ / млн токенов | Примечание |
|---|---|---|---|---|---|---|
| llama3.1:8b | 4,9 GB | RTX 3060 12 GB | $0,058 | ~35 | $0,46 | Самая дешёвая карта для комфортного запуска 8B |
| llama3.1:8b | 4,9 GB | RTX 4090 24 GB | $0,354 | ~120 | $0,82 | Отзывчивый чат; запас на контекст 32k |
| qwen2.5:14b | 9,0 GB | RTX 4070 12 GB | $0,123 | ~45 | $0,76 | 12 GB достаточно при Q4 |
| qwen2.5:14b | 9,0 GB | RTX 5090 32 GB | $0,481 | ~110 | $1,21 | 1,79 TB/s GDDR7 — заметно в токенах в секунду |
| gemma3:27b | 17 GB | RTX 3090 24 GB | $0,148 | ~25 | $1,64 | 24 GB с запасом на контекст по самому низкому тарифу |
| qwen2.5:32b | 20 GB | RTX 4090 24 GB | $0,354 | ~40 | $2,46 | Впритык, но нормально на 24 GB с контекстом 8k |
| qwen2.5:32b | 20 GB | RTX 5090 32 GB | $0,481 | ~62 | $2,16 | 32 GB дают запас для длинного контекста |
| llama3.3:70b | 43 GB | RTX A6000 48 GB | $0,281 | ~15 | $5,20 | Самая дешёвая одиночная карта, вмещающая 70B |
| llama3.3:70b | 43 GB | L40S 48 GB | $0,448 | ~20 | $6,22 | Datacenter-карта для постоянно работающего ассистента |
| llama3.3:70b | 43 GB | H100 PCIE 80 GB | $1,811 | ~38 | $13,24 | Пропускная способность HBM — самая быстрая однокарточная 70B |
Показатель $/M токенов в один поток выглядит дорого на фоне API-провайдеров, потому что один чат за раз оставляет большую часть карты простаивать — Ollama — инструмент для личного ассистента, а не движок сервинга. Для многих пользователей vLLM батчит запросы и снижает стоимость токена в 10–30 раз.
Постоянно работающий личный ассистент, в месяц
| Ассистент | Карта | 24/7 по требованию | Зарезервированный (3 мес.) | 8 ч/день, рабочие дни |
|---|---|---|---|---|
| 8B-чат (llama3.1:8b) | RTX 3060 | $42 | $27 | $10 |
| 14B–32B (qwen2.5:32b) | RTX 4090 | $258 | $168 | $62 |
| 70B (llama3.3:70b) | RTX A6000 | $205 | $133 | $49 |
| 70B, быстро (llama3.3:70b) | H100 PCIE | $1 322 | $859 | $319 |
Добавьте том для библиотеки моделей (/root/.ollama, 30–100 GB по $0,08/GB/мес.), чтобы загруженные модели переживали остановку/запуск и смену инстанса.
Настройка одной командой
lowcostgpu launch --gpu rtx-3060 --template ollama --disk 40 --volume ollama:/root/.ollama
# ✓ instance i-2b7e11c0 running (26.4s) · $0,058/hr
# https://i-2b7e11c0.lowcostgpu.com:11434 (Ollama API, TLS)
curl https://i-2b7e11c0.lowcostgpu.com:11434/api/pull -d '{"name":"llama3.1:8b"}'Нужен чат-интерфейс поверх? Шаблон Open WebUI объединяет Ollama с многопользовательским интерфейсом, RAG и управлением моделями по TLS.
Пять способов сократить расходы
- Подбирайте карту под модель, а не под амбиции. 8B-ассистент на H100 стоит в 40 раз дороже того же ассистента на 3060 и не отвечает лучше.
- Останавливайте его, когда никто не общается с ним. Посекундная тарификация означает, что ассистент, работающий с 9 до 17, стоит треть цены круглосуточного; диск сохраняет модели.
- Резервируйте, если работает без перерыва. −35 % от трёх месяцев — $0,037/ч за 3060, $0,182/ч за A6000.
- Q4 вместо FP16. Вдвое меньший класс VRAM, почти такие же ответы в чате; используйте FP16 для оценочных прогонов.
- Две дешёвые карты могут обойти одну дорогую. 2× RTX 4090 (48 GB) по $0,708/ч запускают 70B дешевле одной карты L40S — медленнее на токен, дешевле в месяц.
Применить цифры на практике
Каждая цена в этом руководстве — наш тариф в реальном времени: фиксированный, ≥30 % ниже медианы рынка, с посекундной тарификацией. Разверните ту же конфигурацию, что описана выше, из консоли примерно за 30 секунд — оплата криптой, без карты и без KYC.
