TL;DR
- Подбирайте VRAM под модель, затем берите пропускную способность: RTX 5090 для 7-14B, L40S или A6000 для 32B, H100 или H200 для 70B и выше.
- Закладывайте около 2,4 GB на миллиард параметров в FP16 и 0,62 GB в 4-битном режиме, затем добавьте KV-кэш исходя из длины контекста, умноженной на число одновременных запросов.
- На LowCostGPU RTX 5090 за $0,481 выдерживает около 2 800 токенов в секунду на 8B; прерываемые мощности вдвое снижают стоимость токена.
- Стоимость за миллион токенов равна часовому тарифу, делённому на число токенов в секунду, а затем умноженному на 3 600 и на миллион; измеряйте её при реальном параллелизме запросов.
Три правила перед любым бенчмарком
- VRAM определяет, что запустится. Веса плюс KV-кэш должны поместиться, с запасом: ~2,4 GB на миллиард параметров в FP16, ~0,62 GB в 4-bit, затем добавьте кэш для вашего контекста × конкурентности. В руководстве по VRAM есть полные таблицы.
- Пропускная способность определяет скорость. Декодирование ограничено памятью: токены в секунду следуют за GB/s больше, чем за TFLOPS. Именно поэтому RTX 5090 с 1,79 TB/s обгоняет RTX 4090 с 1 TB/s больше, чем предполагают её FLOPS, и именно поэтому HBM-карты доминируют в сервинге 70B.
- Батч определяет счёт. Непрерывный батчинг (vLLM, SGLang, TGI) превращает одну карту в десяток параллельных потоков. Стоимость за миллион токенов имеет смысл только при той конкурентности, с которой вы реально будете работать.
Таблица: размер модели → карта → $ за миллион токенов
Ориентировочная суммарная пропускная способность при непрерывном батчинге vLLM (примерно 1k токенов на входе, 1k на выходе, батч 32–64) и итоговая стоимость по сегодняшним тарифам по требованию — снимок 2026-10-19. Относитесь к колонке tokens/s как к приблизительным цифрам сообщества и тестируйте свою модель; колонка цены точна.
| Модель | Точность / веса | Карта | По требованию | ~токенов/с | $ / млн токенов | Примечание |
|---|---|---|---|---|---|---|
| Llama 3.1 8B | FP16, 16 GB | RTX 4090 24 GB | $0,354 | ~2 200 | $0,045 | Вариант по умолчанию: помещается с запасом под KV-кэш на 24 GB. |
| Llama 3.1 8B | FP16, 16 GB | RTX 5090 32 GB | $0,481 | ~2 800 | $0,048 | На 78 % больше пропускной способности, чем у 4090, напрямую сказывается на количестве токенов в секунду. |
| Llama 3.1 8B | 4-bit, ~6 GB | RTX 3060 12 GB | $0,058 | ~900 | $0,018 | Самый дешёвый рабочий эндпоинт в таблице. |
| Qwen 2.5 14B | FP16, 28 GB | RTX 5090 32 GB | $0,481 | ~1 500 | $0,089 | 32 GB вмещает FP16 14B со скромным контекстом. |
| Qwen 2.5 32B | 4-bit, ~20 GB | RTX 4090 24 GB | $0,354 | ~700 | $0,140 | AWQ/GPTQ 4-bit на 24 GB; качество в пределах одного пункта от FP16. |
| Qwen 2.5 32B | FP16, 64 GB | H100 PCIE 80 GB | $1,811 | ~2 400 | $0,210 | FP8 на Hopper примерно удваивает эту цифру ещё раз. |
| Llama 3.1 70B | 4-bit, ~40 GB | RTX A6000 48 GB | $0,281 | ~350 | $0,223 | Самая дешёвая одиночная карта, вмещающая 70B. |
| Llama 3.1 70B | 4-bit, ~40 GB | H100 PCIE 80 GB | $1,811 | ~1 200 | $0,419 | Одна карта на 80 GB, реальные размеры батча, FP8 KV-кэш. |
| Llama 3.1 70B | FP8, 70 GB | H200 141 GB | $3,131 | ~2 000 | $0,435 | 141 GB оставляет запас для длинных контекстов и больших батчей. |
| Llama 3.1 405B | FP8, ~405 GB | H200 141 GB | $3,131 | ~600 | $1,450 | Тензорный параллелизм на 4× H200 — значение указано на один GPU. |
Прерываемые мощности снижают вдвое каждое число в колонке цены. Формула, если хотите пересчитать её с собственным замером: $/млн = $/ч ÷ (tok/s × 3 600) × 1 000 000.
7B–14B: выигрывают потребительские карты
При весах ниже 16 GB ничто не превосходит кремний GeForce по цене за доллар. RTX 5090 ($0,481/ч, 32 GB GDDR7) сейчас впереди всех по токенам на доллар для моделей 8B FP16 и 14B; RTX 4090 ($0,354/ч) немного медленнее и дешевле; RTX 3090 ($0,148/ч) — бюджетный выбор, когда пропускная способность важна меньше, чем почасовой тариф. Для постоянно работающих эндпоинтов, которым нужно выдерживать месяцы работы 24/7, datacenter-карты L4 ($0,196/ч, 72 Вт) и L40S жертвуют немного скоростью ради пассивного охлаждения и ECC.
24B–32B: середина на 48 GB
Модель 32B весит ~64 GB в FP16 и ~20 GB в 4-bit. Квантованная, она работает на карте 24 GB с короткими контекстами; для серьёзной конкурентности нужно 48 GB. L40S ($0,448/ч) — это ответ для дата-центра: FP8, 864 GB/s, рассчитан на 24/7, — а RTX A6000 ($0,281/ч) — самая дешёвая карта на 48 GB в таблице. Сравните их в RTX 5090 vs L40S и RTX 6000 Ada vs A6000.
70B и выше: только HBM
Семьдесят миллиардов параметров — это ~40 GB в 4-bit и ~140 GB в FP16. Одна карта на 80 GB обслуживает квантованную модель с реальными размерами батча: H100 PCIe ($1,811/ч) с FP8 KV-кэшем, либо A100 PCIe ($0,388/ч), если важнее бюджет. Модели с полной точностью 70B, 100B+ и обслуживание длинного контекста — это H200 ($3,131/ч, 141 GB, 4,8 TB/s) или тензорный параллелизм на 2–8× H100 SXM на одной машине — цена за GPU не меняется от количества. Инференс самых крупных моделей с FP4 — область, где B200 ($6,475/ч) оправдывает свой тариф: в несколько раз больше токенов в секунду, чем у H100, при цене менее чем в 3 раза выше.
Паттерны сервинга, которые меняют счёт
- Сначала квантуйте. AWQ/GPTQ 4-bit вдвое снижает требуемый класс карты и редко ухудшает качество чата. FP8 на Hopper/Ada/Blackwell почти ничего не стоит по качеству и на 1,5–2× быстрее.
- Резервируйте базовую нагрузку, всплески обрабатывайте через serverless. Зарезервированная карта по цене −35 % несёт стабильный трафик; воркеры serverless поглощают всплески и уходят в scale-to-zero.
- Монтируйте библиотеку моделей в режиме только для чтения. Новые воркеры пропускают загрузку 40 GB; холодные старты сводятся к загрузке в VRAM.
- Кэширование префикса для агентов. Если промпты используют общий длинный системный префикс, SGLang может удвоить эффективную пропускную способность по сравнению с обычным vLLM.
- Сначала измерьте, потом решайте. Десять минут на двух картах-кандидатах стоят несколько центов; в руководстве по vLLM есть точная команда для бенчмарка.
Применить цифры на практике
Каждая цена в этом руководстве — наш тариф в реальном времени: фиксированный, ≥30 % ниже медианы рынка, с посекундной тарификацией. Разверните ту же конфигурацию, что описана выше, из консоли примерно за 30 секунд — оплата криптой, без карты и без KYC.
