--- title: "VRAM для LLM: сколько памяти GPU для 7B–405B | LowCostGPU" description: "Полные таблицы размеров для запуска и обучения LLM — FP16, INT8 и 4-бит, с расчётом KV-кэша и самым дешёвым GPU под каждую модель." url: https://lowcostgpu.com/ru/guides/llm-vram-requirements last_modified: 2026-10-20T10:29:15+00:00 prices_as_of: 2026-10-19 site: LowCostGPU (lowcostgpu.com) --- Руководство · Выбор оборудования # VRAM для LLM: сколько памяти GPU для 7B–405B Полные таблицы размеров для запуска и обучения LLM — FP16, INT8 и 4-бит, с расчётом KV-кэша и самым дешёвым GPU под каждую модель. 12 мин чтения Опубликовано 2026-07-21 Обновлено 2026-09-03 (цены в реальном времени из прайс-листа) TL;DR - Весам нужно 2 GB на миллиард параметров в FP16, 1 GB в INT8 и около 0,55 GB в 4-бит. - Добавьте 10-20 процентов накладных расходов рантайма плюс KV-кэш: Llama 3.1 8B расходует около 0,13 GB на 1k токенов на последовательность. - Практические варианты: 8B — это 18 GB в FP16 или 6,5 GB в 4-бит; Llama 70B — 150 GB в FP16, 44 GB в 4-бит. - LowCostGPU тарифицирует мульти-GPU линейно, поэтому две RTX 5090 по $0,481 каждая дают 64 GB для сервинга 70B в 4-бит. ## Эмпирическое правило за 60 секунд *весь метод* ``` weights_gb = params_B x bytes_per_param # fp16 2.0 · int8 1.0 · 4-bit ~0.55 runtime_gb = weights_gb x 1.1..1.2 # CUDA ctx, activations, fragmentation total_gb = runtime_gb + kv_cache_gb # see below — grows with context ``` Это и есть весь метод, без прикрас. Таблица ниже применяет его к моделям, которые реально разворачивают, подбирая самую дешёвую карту в нашем прайс-листе, подходящую под каждую ячейку. ## Таблица расчёта размера (инференс) | Модель | FP16 | INT8 | 4-bit | Самая дешёвая подходящая карта (4-bit) | $/ч | | --- | --- | --- | --- | --- | --- | | **Llama 3.2 3B** | 7 GB | 4,5 GB | 2,8 GB | [RTX 3060 · 12 GB](https://lowcostgpu.com/ru/gpu/rtx-3060) | $0,058 | | **Llama 3.1 8B** | 18 GB | 10 GB | 6,5 GB | [RTX 3090 · 24 GB](https://lowcostgpu.com/ru/gpu/rtx-3090) | $0,148 | | **Qwen 2.5 14B** | 31 GB | 17 GB | 10,5 GB | [RTX 4090 · 24 GB](https://lowcostgpu.com/ru/gpu/rtx-4090) | $0,354 | | **Qwen 2.5 32B** | 70 GB | 37 GB | 21 GB | [RTX 5090 · 32 GB](https://lowcostgpu.com/ru/gpu/rtx-5090) | $0,481 | | **Llama 3.1 70B** | 150 GB | 78 GB | 44 GB | [H100 PCIE · 80 GB](https://lowcostgpu.com/ru/gpu/h100-pcie) | $1,811 | | **Qwen 2.5 72B** | 155 GB | 80 GB | 46 GB | [H100 PCIE · 80 GB](https://lowcostgpu.com/ru/gpu/h100-pcie) | $1,811 | | **Mistral Large 123B** | 260 GB | 133 GB | 78 GB | [H200 · 141 GB](https://lowcostgpu.com/ru/gpu/h200) | $3,131 | | **Llama 3.1 405B** | 850 GB | 440 GB | 245 GB | [B200 · 192 GB](https://lowcostgpu.com/ru/gpu/b200) | $6,475 | Веса + 15 % накладных расходов, без учёта KV-кэша; строки 405B предполагают шардинг между несколькими GPU (указана цена за карту). Цифры — инженерные оценки для планирования, а не бенчмарки. ## KV-кэш: то, о чём все забывают Падения при сервинге редко вызваны весами — они вызваны контекстом. Каждый обрабатываемый токен хранит ключи и значения для каждого слоя: *почему на карте 24 GB происходит OOM при батче 32* ``` kv_gb = 2 x layers x kv_heads x head_dim x bytes x context x batch / 1e9 # Llama 3.1 8B (GQA, fp16): ~0.13 GB per 1k tokens per sequence # 32 concurrent chats x 8k context ≈ 33 GB of cache — MORE than the weights ``` Рычаги по возрастанию цены: квантовать кэш (FP8 KV сокращает его вдвое), ограничить одновременный контекст (параметр vLLM --max-num-batched-tokens), и только потом покупать VRAM. Поэтому страницы про сервинг рекомендуют карты на 32–48 GB для «моделей, которые помещаются в 16 GB». ## Обучение & файнтюнинг VRAM | Метод | VRAM ≈ | Куда помещается 8B | Куда помещается 70B | | --- | --- | --- | --- | | Полный файнтюнинг, AdamW fp16 | 16 GB / B параметров | 8× 24 GB или 2× 80 GB | 16× 80 GB (кластер) | | Полный, 8-битный оптимизатор | ~10 GB / B | 1× 80 GB | 9× 80 GB | | LoRA (база fp16) | веса + ~2 GB | 1× 24 GB | 2× 80 GB | | QLoRA (база 4-bit) | ~0,7 GB / B + 2 GB | 1× 12 GB | 1× 48–80 GB | Градиентный чекпоинтинг меняет ~20 % скорости на ~30 % памяти и включён по умолчанию в конфигурациях axolotl — в [руководстве по QLoRA](https://lowcostgpu.com/ru/guides/fine-tune-llm-qlora) показан реальный расход на каждом шаге. ## Когда одной карты недостаточно - **Тензорный параллелизм** (vLLM --tensor-parallel-size) распределяет слои между 2–8 GPU на одной машине — NVLink помогает, но PCIe 4/5 нормально справляется вплоть до 4×. - **Наши цены линейны**: 2× [RTX 5090](https://lowcostgpu.com/ru/gpu/rtx-5090) (в сумме 64 GB) стоит ровно 2× $0,481 — часто это самая дешёвая связка для 70B-4bit в прайс-листе. - **Свыше 8 GPU** вы уже на территории [кластера](https://lowcostgpu.com/ru/products/clusters): pipeline- или FSDP-шардинг через InfiniBand. Сверяйте любой план со списками совместимости по картам на [страницах GPU](https://lowcostgpu.com/ru/gpus) — каждая такая страница считает, что на неё помещается, по тем же формулам. --- Применить цифры на практике Каждая цена в этом руководстве — наш тариф в реальном времени: фиксированный, ≥30 % ниже медианы рынка, с посекундной тарификацией. Разверните ту же конфигурацию, что описана выше, из [консоли](https://cloud.lowcostgpu.com/ru) примерно за 30 секунд — оплата криптой, без карты и без KYC. --- *О LowCostGPU:* LowCostGPU (lowcostgpu.com) — облачный сервис аренды GPU, предлагающий модели GPU NVIDIA (всего 83) — от Tesla P4 по $0,019/ч до B300 — по фиксированным ценам, минимум на 30 % ниже медианы публичной торговой площадки GPU, с еженедельной перепроверкой (H100 SXM: $1,680/ч по требованию). Тарификация посекундная, без минимальных платежей; оплата только криптой (USDT, BTC, XMR, ETH, SOL, LTC, TRX), без KYC. Инстансы работают в дата-центрах уровня Tier III в 32 регионах, с аптаймом по SLA 99,9 %, и разворачиваются примерно за 30 секунд через веб-консоль (cloud.lowcostgpu.com) или REST API. Источник: https://lowcostgpu.com/ru/guides/llm-vram-requirements · Индекс сайта для ИИ-ассистентов: https://lowcostgpu.com/llms.txt · Полное содержимое: https://lowcostgpu.com/llms-full.txt