Сценарий использования · LLM-инференс
GPU для LLM-инференса: токены оплачиваются как счёт за коммунальные услуги
Фиксированные цены на GPU превращают $/токен в арифметику: выберите наименьшую карту, которая вмещает модель и KV-кэш, насытьте её непрерывным батчингом vLLM, разделите. RTX 5090 по $0,481/ч обслуживает модель 8B за копейки за миллион токенов.
Карты для сервинга — по размеру модели
Решает VRAM; кандидатов ранжирует цена за VRAM.
| Уровень | GPU | VRAM | По требованию | Прерываемые | Почему эта карта | Действие |
|---|---|---|---|---|---|---|
| Хороший | RTX 5090 | 32 GB | $0,481 | $0,240 | 32 GB GDDR7 — лучшее $/токен для чат-моделей 7B–14B FP16 и 32B в 4-bit. | Развернуть |
| Лучший | L40S | 48 GB | $0,448 | $0,224 | 48 GB и охлаждение серверного класса для эндпоинтов 24/7; класс 32B и 14B с длинным контекстом. | Развернуть |
| Самый лучший | H100 PCIE | 80 GB | $1,811 | $0,905 | 80 GB HBM3 для квантованной 70B на одной карте — либо FP8 для максимальной пропускной способности на доллар. | Развернуть |
Больше 70B? Тензорный параллелизм на 2–8× картах на одной машине — цена за GPU не меняется. Таблицы по размерам: руководство по VRAM.
$/млн токенов, честный расчёт
Пропускная способность зависит от контекста и состава батча, поэтому мы публикуем формулу, а не маркетинговое число:
$/M токенов = GPU $/ч ÷ (токенов/с × 3 600) × 1 000 000
RTX 5090 по $0,481/ч, выдерживающий ~2 800 tok/s Llama-3.1-8B при непрерывном батчинге → $0,048/M токенов. Та же карта в прерываемом режиме — вдвое дешевле.
Прогоните бенчмарк своей модели за 10 минут — руководство по сервингу содержит точную команду vllm bench.
Паттерны сервинга
- Резервирование + vLLM для базовой нагрузки — −35 % на карту, которая никогда не простаивает.
- Serverless-всплеск сверху — воркеры со scale-to-zero поглощают пики.
- Том с библиотекой моделей, смонтированный только для чтения — новые воркеры пропускают загрузку 40 GB.
- Сначала квантование — AWQ/GPTQ 4-bit удваивает число моделей, которые вмещает карта, и почти не снижает качество чата.
Шаблоны: vLLM, Ollama, TGWUI — все совместимы с OpenAI из коробки.
GPU для LLM-инференса: FAQ
Как дешевле всего обслуживать модель 7B–14B?
Один RTX 5090 по $0,481/ч на vLLM. При типичной пропускной способности чата это выходит заметно ниже $0,15 за миллион выходных токенов — на порядок ниже цен API-провайдеров для сопоставимых открытых моделей.
Когда нужна карта на 80 GB?
Ориентировочно для 70B: 70B в 4-bit требует ~44 GB плюс KV-кэш, поэтому подойдёт один H100 PCIE (80 GB) либо 2× L40S с тензорным параллелизмом. FP16 70B требует 2× 80 GB. Ниже 32B оптимальны карты 32–48 GB.
Инстансы или serverless для сервинга?
Стабильная насыщающая нагрузка → зарезервированный инстанс (−35 %), который вы держите в горячем режиме. Пиковая или простаивающая по ночам нагрузка → serverless со scale-to-zero. Цены за секунду одинаковые; разница — в том, кто платит за простой.