Автомасштабирование по очереди
Воркеры запускаются, когда requests-per-worker превышает ваш порог, и сворачиваются, когда очередь пустеет. Вы задаёте min/max; значение по умолчанию для min — ноль.
Продукты · serverless
Serverless-эндпоинты GPU с scale-to-zero
Разверните модель, получите URL и платите за секунды реальной работы GPU. Воркеры масштабируются по глубине очереди — от нуля до десятков и обратно — по тем же фиксированным ценам, что и всё остальное: воркеро-секунда на L40S стоит ровно $0,448/3600.
Кэшированные веса
Файлы модели хранятся в региональном NVMe-кэше, поэтому при масштабировании они загружаются с локального диска — это секунды, а не скачивание 40 GB.
Стандартные интерфейсы
Эндпоинты vLLM работают через API OpenAI; всё остальное — обычный HTTP на порту вашего контейнера, за TLS, который мы для вас терминируем.
Посекундная экономика
Активные секунды × фиксированная цена. Всплеск из 10 000 запросов на воркерах RTX 5090 обходится одинаково: что час работы одного воркера, что пять минут работы двенадцати.
От весов до URL одной командой
Эндпоинты описываются декларативно — модель, класс GPU, окно масштабирования — и управляются как любой другой ресурс: из консоли, через CLI или API.
- Чат & завершение текста LLM — шаблон vLLM, совместимый с OpenAI, с потоковой передачей.
- Генерация изображений — воркфлоу ComfyUI, доступные как JSON API.
- Транскрибация, эмбеддинги, реранкеры — Whisper и аналогичные модели на недорогих картах.
- Ваш контейнер — всё, что отдаёт HTTP; мы берём на себя TLS, масштабирование и проверки работоспособности.
$ lowcostgpu endpoint create --name llama8b \
--template vllm --gpu l40s --min 0 --max 8 \
--env MODEL=meta-llama/Llama-3.1-8B-Instruct
✓ endpoint ep-31c8a2 ready
# https://llama8b-31c8a2.lowcostgpu.com/v1/chat/completions
$ lowcostgpu endpoint stats llama8b
# workers 0→3 (last hour) · p50 342ms · 41,208 req · $1.87Какой класс GPU для какой модели
Serverless поддерживает тот же каталог; эти три варианта покрывают большинство эндпоинтов.
| GPU воркера | VRAM | Подходит для | Активная цена | 1M токенов ≈ |
|---|---|---|---|---|
| RTX 5090 | 32 GB | Модели 7B–14B, чат, эмбеддинги, Whisper | $0,481/ч | $0.05–0.15 |
| L40S | 48 GB | Модели 14B–32B, SDXL/Flux, длинный контекст | $0,448/ч | $0.10–0.30 |
| A100 SXM4 | 80 GB | Модели 70B в квантованном виде, видеомодели, большие батчи | $0,468/ч | $0.25–0.60 |
Стоимость токенов — это иллюстративные диапазоны пропускной способности vLLM; измерьте производительность своей модели с помощью руководства по сервингу.
Serverless GPU: FAQ
Справочник по эндпоинтам — в документации и API.
Как тарифицируется serverless?
Посекундно за активное время GPU — по тем же фиксированным ценам за модель, что и у инстансов, плюс фиксированный тариф за хранение кэша модели. Scale-to-zero означает, что простаивающий эндпоинт обходится только в хранение кэшированных весов — кэш модели 16 GB обходится примерно в $1,28/мес.
Что представляют собой холодные старты?
Веса хранятся в кеше на NVMe рядом с GPU, поэтому холодный старт — это загрузка в VRAM, а не скачивание из интернета: обычно 4–15 с для моделей класса 7B–13B, дольше для 70B. Установите min-workers в 1, чтобы полностью убрать холодные старты — вы платите за этот воркер только пока он существует.
Что можно развернуть на нём?
Шаблоны vLLM и ComfyUI работают сразу «из коробки» (совместимы с OpenAI и REST соответственно), либо используйте свой образ Docker, отвечающий по HTTP на порту. Автомасштабирование следит за глубиной очереди на каждый воркер.
Когда вместо этого лучше использовать инстансы?
Стабильная, насыщенная нагрузка дешевле на зарезервированном инстансе, который вы держите постоянно занятым. Serverless выгоднее при неравномерном трафике, множестве мелких моделей или продуктах, которые «спят» ночью, — вы платите за запросы, а не за простой.