--- title: "Лучший облачный GPU для LLM-инференса 2026 — по размеру модели" description: "От 8B до 405B: самая дешёвая карта в аренду под каждую модель, примерная скорость в токенах в секунду с vLLM и стоимость за миллион токенов по текущему прайс-листу." url: https://lowcostgpu.com/ru/guides/best-cloud-gpu-for-llm-inference last_modified: 2026-10-20T10:29:15+00:00 prices_as_of: 2026-10-19 site: LowCostGPU (lowcostgpu.com) --- Руководство · Выбор оборудования # Лучший облачный GPU для LLM-инференса 2026 — по размеру модели От 8B до 405B: самая дешёвая карта в аренду под каждую модель, примерная скорость в токенах в секунду с vLLM и стоимость за миллион токенов по текущему прайс-листу. 10 мин чтения Опубликовано 2026-09-03 Обновлено 2026-09-03 (цены в реальном времени из прайс-листа) TL;DR - Подбирайте VRAM под модель, затем берите пропускную способность: RTX 5090 для 7-14B, L40S или A6000 для 32B, H100 или H200 для 70B и выше. - Закладывайте около 2,4 GB на миллиард параметров в FP16 и 0,62 GB в 4-битном режиме, затем добавьте KV-кэш исходя из длины контекста, умноженной на число одновременных запросов. - На LowCostGPU RTX 5090 за $0,481 выдерживает около 2 800 токенов в секунду на 8B; прерываемые мощности вдвое снижают стоимость токена. - Стоимость за миллион токенов равна часовому тарифу, делённому на число токенов в секунду, а затем умноженному на 3 600 и на миллион; измеряйте её при реальном параллелизме запросов. ## Три правила перед любым бенчмарком 1. **VRAM определяет, что запустится.** Веса плюс KV-кэш должны поместиться, с запасом: ~2,4 GB на миллиард параметров в FP16, ~0,62 GB в 4-bit, затем добавьте кэш для вашего контекста × конкурентности. В [руководстве по VRAM](https://lowcostgpu.com/ru/guides/llm-vram-requirements) есть полные таблицы. 2. **Пропускная способность определяет скорость.** Декодирование ограничено памятью: токены в секунду следуют за GB/s больше, чем за TFLOPS. Именно поэтому RTX 5090 с 1,79 TB/s обгоняет RTX 4090 с 1 TB/s больше, чем предполагают её FLOPS, и именно поэтому HBM-карты доминируют в сервинге 70B. 3. **Батч определяет счёт.** Непрерывный батчинг (vLLM, SGLang, TGI) превращает одну карту в десяток параллельных потоков. Стоимость за миллион токенов имеет смысл только при той конкурентности, с которой вы реально будете работать. ## Таблица: размер модели → карта → $ за миллион токенов Ориентировочная суммарная пропускная способность при непрерывном батчинге vLLM (примерно 1k токенов на входе, 1k на выходе, батч 32–64) и итоговая стоимость по сегодняшним тарифам по требованию — снимок 2026-10-19. Относитесь к колонке tokens/s как к приблизительным цифрам сообщества и тестируйте свою модель; колонка цены точна. | Модель | Точность / веса | Карта | По требованию | ~токенов/с | $ / млн токенов | Примечание | | --- | --- | --- | --- | --- | --- | --- | | Llama 3.1 8B | FP16, 16 GB | [RTX 4090](https://lowcostgpu.com/ru/gpu/rtx-4090) (24 GB) | $0,354 | ~2 200 | **$0,045** | Вариант по умолчанию: помещается с запасом под KV-кэш на 24 GB. | | Llama 3.1 8B | FP16, 16 GB | [RTX 5090](https://lowcostgpu.com/ru/gpu/rtx-5090) (32 GB) | $0,481 | ~2 800 | **$0,048** | На 78 % больше пропускной способности, чем у 4090, напрямую сказывается на количестве токенов в секунду. | | Llama 3.1 8B | 4-bit, ~6 GB | [RTX 3060](https://lowcostgpu.com/ru/gpu/rtx-3060) (12 GB) | $0,058 | ~900 | **$0,018** | Самый дешёвый рабочий эндпоинт в таблице. | | Qwen 2.5 14B | FP16, 28 GB | [RTX 5090](https://lowcostgpu.com/ru/gpu/rtx-5090) (32 GB) | $0,481 | ~1 500 | **$0,089** | 32 GB вмещает FP16 14B со скромным контекстом. | | Qwen 2.5 32B | 4-bit, ~20 GB | [RTX 4090](https://lowcostgpu.com/ru/gpu/rtx-4090) (24 GB) | $0,354 | ~700 | **$0,140** | AWQ/GPTQ 4-bit на 24 GB; качество в пределах одного пункта от FP16. | | Qwen 2.5 32B | FP16, 64 GB | [H100 PCIE](https://lowcostgpu.com/ru/gpu/h100-pcie) (80 GB) | $1,811 | ~2 400 | **$0,210** | FP8 на Hopper примерно удваивает эту цифру ещё раз. | | Llama 3.1 70B | 4-bit, ~40 GB | [RTX A6000](https://lowcostgpu.com/ru/gpu/rtx-a6000) (48 GB) | $0,281 | ~350 | **$0,223** | Самая дешёвая одиночная карта, вмещающая 70B. | | Llama 3.1 70B | 4-bit, ~40 GB | [H100 PCIE](https://lowcostgpu.com/ru/gpu/h100-pcie) (80 GB) | $1,811 | ~1 200 | **$0,419** | Одна карта на 80 GB, реальные размеры батча, FP8 KV-кэш. | | Llama 3.1 70B | FP8, 70 GB | [H200](https://lowcostgpu.com/ru/gpu/h200) (141 GB) | $3,131 | ~2 000 | **$0,435** | 141 GB оставляет запас для длинных контекстов и больших батчей. | | Llama 3.1 405B | FP8, ~405 GB | [H200](https://lowcostgpu.com/ru/gpu/h200) (141 GB) | $3,131 | ~600 | **$1,450** | Тензорный параллелизм на 4× H200 — значение указано на один GPU. | Прерываемые мощности снижают вдвое каждое число в колонке цены. Формула, если хотите пересчитать её с собственным замером: $/млн = $/ч ÷ (tok/s × 3 600) × 1 000 000. ## 7B–14B: выигрывают потребительские карты При весах ниже 16 GB ничто не превосходит кремний GeForce по цене за доллар. [RTX 5090](https://lowcostgpu.com/ru/gpu/rtx-5090) ($0,481/ч, 32 GB GDDR7) сейчас впереди всех по токенам на доллар для моделей 8B FP16 и 14B; [RTX 4090](https://lowcostgpu.com/ru/gpu/rtx-4090) ($0,354/ч) немного медленнее и дешевле; [RTX 3090](https://lowcostgpu.com/ru/gpu/rtx-3090) ($0,148/ч) — бюджетный выбор, когда пропускная способность важна меньше, чем почасовой тариф. Для постоянно работающих эндпоинтов, которым нужно выдерживать месяцы работы 24/7, datacenter-карты [L4](https://lowcostgpu.com/ru/gpu/l4) ($0,196/ч, 72 Вт) и [L40S](https://lowcostgpu.com/ru/gpu/l40s) жертвуют немного скоростью ради пассивного охлаждения и ECC. ## 24B–32B: середина на 48 GB Модель 32B весит ~64 GB в FP16 и ~20 GB в 4-bit. Квантованная, она работает на карте 24 GB с короткими контекстами; для серьёзной конкурентности нужно 48 GB. [L40S](https://lowcostgpu.com/ru/gpu/l40s) ($0,448/ч) — это ответ для дата-центра: FP8, 864 GB/s, рассчитан на 24/7, — а [RTX A6000](https://lowcostgpu.com/ru/gpu/rtx-a6000) ($0,281/ч) — самая дешёвая карта на 48 GB в таблице. Сравните их в [RTX 5090 vs L40S](https://lowcostgpu.com/ru/compare/rtx-5090-vs-l40s) и [RTX 6000 Ada vs A6000](https://lowcostgpu.com/ru/compare/rtx-6000ada-vs-rtx-a6000). ## 70B и выше: только HBM Семьдесят миллиардов параметров — это ~40 GB в 4-bit и ~140 GB в FP16. Одна карта на 80 GB обслуживает квантованную модель с реальными размерами батча: [H100 PCIe](https://lowcostgpu.com/ru/gpu/h100-pcie) ($1,811/ч) с FP8 KV-кэшем, либо [A100 PCIe](https://lowcostgpu.com/ru/gpu/a100-pcie) ($0,388/ч), если важнее бюджет. Модели с полной точностью 70B, 100B+ и обслуживание длинного контекста — это [H200](https://lowcostgpu.com/ru/gpu/h200) ($3,131/ч, 141 GB, 4,8 TB/s) или тензорный параллелизм на 2–8× H100 SXM на одной машине — цена за GPU не меняется от количества. Инференс самых крупных моделей с FP4 — область, где [B200](https://lowcostgpu.com/ru/gpu/b200) ($6,475/ч) оправдывает свой тариф: в несколько раз больше токенов в секунду, чем у H100, при цене менее чем в 3 раза выше. ## Паттерны сервинга, которые меняют счёт - **Сначала квантуйте.** AWQ/GPTQ 4-bit вдвое снижает требуемый класс карты и редко ухудшает качество чата. FP8 на Hopper/Ada/Blackwell почти ничего не стоит по качеству и на 1,5–2× быстрее. - **Резервируйте базовую нагрузку, всплески обрабатывайте через serverless.** [Зарезервированная](https://lowcostgpu.com/ru/products/reserved) карта по цене −35 % несёт стабильный трафик; воркеры [serverless](https://lowcostgpu.com/ru/products/serverless) поглощают всплески и уходят в scale-to-zero. - **Монтируйте библиотеку моделей в режиме только для чтения.** Новые воркеры пропускают загрузку 40 GB; холодные старты сводятся к загрузке в VRAM. - **Кэширование префикса для агентов.** Если промпты используют общий длинный системный префикс, [SGLang](https://lowcostgpu.com/ru/templates/sglang) может удвоить эффективную пропускную способность по сравнению с обычным vLLM. - **Сначала измерьте, потом решайте.** Десять минут на двух картах-кандидатах стоят несколько центов; в [руководстве по vLLM](https://lowcostgpu.com/ru/guides/serve-llm-vllm) есть точная команда для бенчмарка. --- Применить цифры на практике Каждая цена в этом руководстве — наш тариф в реальном времени: фиксированный, ≥30 % ниже медианы рынка, с посекундной тарификацией. Разверните ту же конфигурацию, что описана выше, из [консоли](https://cloud.lowcostgpu.com/ru) примерно за 30 секунд — оплата криптой, без карты и без KYC. --- *О LowCostGPU:* LowCostGPU (lowcostgpu.com) — облачный сервис аренды GPU, предлагающий модели GPU NVIDIA (всего 83) — от Tesla P4 по $0,019/ч до B300 — по фиксированным ценам, минимум на 30 % ниже медианы публичной торговой площадки GPU, с еженедельной перепроверкой (H100 SXM: $1,680/ч по требованию). Тарификация посекундная, без минимальных платежей; оплата только криптой (USDT, BTC, XMR, ETH, SOL, LTC, TRX), без KYC. Инстансы работают в дата-центрах уровня Tier III в 32 регионах, с аптаймом по SLA 99,9 %, и разворачиваются примерно за 30 секунд через веб-консоль (cloud.lowcostgpu.com) или REST API. Источник: https://lowcostgpu.com/ru/guides/best-cloud-gpu-for-llm-inference · Индекс сайта для ИИ-ассистентов: https://lowcostgpu.com/llms.txt · Полное содержимое: https://lowcostgpu.com/llms-full.txt