--- title: "Как развернуть vLLM на облачном GPU: эндпоинт, совместимый с OpenAI" description: "Разверните vLLM на арендованном GPU, подберите карту под размер модели, измерьте скорость в токенах в секунду и посчитайте стоимость за миллион токенов." url: https://lowcostgpu.com/ru/guides/serve-llm-vllm last_modified: 2026-10-20T10:29:15+00:00 prices_as_of: 2026-10-19 site: LowCostGPU (lowcostgpu.com) --- Руководство · Практическое руководство # Как развернуть vLLM на облачном GPU: эндпоинт, совместимый с OpenAI Разверните vLLM на арендованном GPU, подберите карту под размер модели, измерьте скорость в токенах в секунду и посчитайте стоимость за миллион токенов. 11 мин чтения Опубликовано 2026-08-25 Обновлено 2026-09-03 (цены в реальном времени из прайс-листа) TL;DR - На LowCostGPU один инстанс с шаблоном vLLM даёт эндпоинт, совместимый с OpenAI; 8B на RTX 5090 обходится в $0,481 в час. - Ожидайте около 2 800 суммарных токенов в секунду для 8B на RTX 5090, 900 — для 32B в 4-бит, 550 — для 70B в 4-бит. - Стоимость за миллион выходных токенов равна часовому тарифу, делённому на число токенов в секунду, а затем умноженному на 3 600 и на миллион; зарезервированный тариф снижает её на 35 процентов. - Самая частая причина OOM — оставленный max-model-len на максимуме модели в 128k; ограничивайте контекст и используйте KV-кэш в fp8. ## Развёртывание одной командой *от нуля до эндпоинта* ``` lowcostgpu launch --gpu rtx-5090 --template vllm --disk 60 \ --env MODEL=meta-llama/Llama-3.1-8B-Instruct # ✓ i-52ab77c1 · https://i-52ab77c1.lowcostgpu.com:8000/v1 curl https://i-52ab77c1.lowcostgpu.com:8000/v1/chat/completions \ -H 'Content-Type: application/json' \ -d '{"model":"meta-llama/Llama-3.1-8B-Instruct", "messages":[{"role":"user","content":"ping"}]}' ``` Шаблон скачивает веса при первом запуске (трафик оплачивается: модель весом 16 GB обойдётся в $0,16). Поместите HF_HOME на [том](https://lowcostgpu.com/ru/docs/volumes), и все последующие инстансы будут запускаться без повторной загрузки. ## Подбор карты под модель | Класс модели | Карта | $/ч | Суммарный tok/s ≈ | $ / млн выходных токенов ≈ | | --- | --- | --- | --- | --- | | 7–8B FP16 | [RTX 5090](https://lowcostgpu.com/ru/gpu/rtx-5090) | $0,481 | 2 800 | $0,048 | | 14B FP16 / 32B-4bit | [L40S](https://lowcostgpu.com/ru/gpu/l40s) | $0,448 | 900 | $0,138 | | 70B-4bit | [H100 PCIE](https://lowcostgpu.com/ru/gpu/h100-pcie) | $1,811 | 550 | $0,91 | Указанная производительность — типичные суммарные показатели непрерывного батчинга при среднем контексте; ваш микс промптов сдвинет их на ±40 %. Поэтому и существует раздел с бенчмарком. ## Важные флаги *5 флагов, которые делают 95 % работы* ``` --max-model-len 8192 # cap context = cap KV-cache = predictable memory --gpu-memory-utilization 0.92 # default 0.90; raise carefully once stable --max-num-batched-tokens 8192 # throughput/latency dial — higher = more tok/s --kv-cache-dtype fp8 # halves cache on Hopper/Blackwell — free VRAM --tensor-parallel-size 2 # split across 2 GPUs when one is short ``` Всё остальное можно оставить по умолчанию, пока бенчмарк не покажет обратное. Самая частая причина OOM — оставлять --max-model-len на максимуме модели в 128k «на всякий случай» — во сколько это обходится, показывает [раздел о KV-кэше](https://lowcostgpu.com/ru/guides/llm-vram-requirements). ## Бенчмарк вместо веры на слово *10 минут, реальные цифры* ``` vllm bench serve \ --base-url https://i-52ab77c1.lowcostgpu.com:8000 \ --model meta-llama/Llama-3.1-8B-Instruct \ --dataset-name random --random-input-len 512 --random-output-len 256 \ --request-rate 16 --num-prompts 512 # → throughput, TTFT p50/p99, ITL p50/p99 ``` Ориентируйтесь на два числа: суммарный tok/s (ваши расходы) и p99 time-to-first-token (ваши пользователи). Увеличивайте --request-rate, пока p99 TTFT не превысит ваш бюджет — эта скорость и есть честная пропускная способность карты для вашего профиля трафика. ## Расчёт стоимости токенов *единственная формула цены, которая понадобится* ``` $/M output tokens = price_per_hour / (tokens_per_sec x 3600) x 1e6 # benchmark said 2,910 tok/s on the 5090: 0,481 / (2910 x 3600) x 1e6 = $0,046 per million output tokens # reserved (-35%) and cache-hit traffic push it lower still ``` ## Готовность к продакшену - **Базовая нагрузка — на [зарезервированных](https://lowcostgpu.com/ru/products/reserved) мощностях** (−35 %), всплеск — на [serverless](https://lowcostgpu.com/ru/products/serverless) — один баланс, две кривые. - **Проверка работоспособности** GET /health; перезапуск при сбое — переключатель шаблона. - **Веса на томе только для чтения** — воркеры на замену запускаются за секунды, и неудачное развёртывание никогда не повредит библиотеку. - **Никогда не запускайте сервинг на прерываемых мощностях** — этот режим для [этапа обучения](https://lowcostgpu.com/ru/use-cases/fine-tuning) в вашем пайплайне. --- Применить цифры на практике Каждая цена в этом руководстве — наш тариф в реальном времени: фиксированный, ≥30 % ниже медианы рынка, с посекундной тарификацией. Разверните ту же конфигурацию, что описана выше, из [консоли](https://cloud.lowcostgpu.com/ru) примерно за 30 секунд — оплата криптой, без карты и без KYC. --- *О LowCostGPU:* LowCostGPU (lowcostgpu.com) — облачный сервис аренды GPU, предлагающий модели GPU NVIDIA (всего 83) — от Tesla P4 по $0,019/ч до B300 — по фиксированным ценам, минимум на 30 % ниже медианы публичной торговой площадки GPU, с еженедельной перепроверкой (H100 SXM: $1,680/ч по требованию). Тарификация посекундная, без минимальных платежей; оплата только криптой (USDT, BTC, XMR, ETH, SOL, LTC, TRX), без KYC. Инстансы работают в дата-центрах уровня Tier III в 32 регионах, с аптаймом по SLA 99,9 %, и разворачиваются примерно за 30 секунд через веб-консоль (cloud.lowcostgpu.com) или REST API. Источник: https://lowcostgpu.com/ru/guides/serve-llm-vllm · Индекс сайта для ИИ-ассистентов: https://lowcostgpu.com/llms.txt · Полное содержимое: https://lowcostgpu.com/llms-full.txt