Запуск за ~30 с
Образ закэширован заранее, порты проброшены, TLS терминирован — стек уже работает, пока вы дочитываете это предложение.
Шаблон · LLM-сервинг и чат · CUDA 12.9
Запустите мультимодальный vLLM на облачном GPU за 30 секунд
Расширенный vLLM для мультимодальных моделей — изображения и аудио на входе одного быстрого сервера. vLLM Omni расширяет тот же быстрый сервер на изображения и аудио на входе: модели Qwen-VL, класса LLaVA, а также с поддержкой речи за OpenAI-совместимым API, с тем же непрерывным батчингом. Арендуйте его, если продукту нужны изображения или аудио в промпте без второго стека инференса. От $0,224/ч на прерываемом L40S.
Шаблон бесплатен
Вы платите только цену GPU: vLLM Omni на RTX 5090 стоит $0,481/ч по требованию, $0,240/ч прерываемый, тарификация посекундная.
Тома для состояния
Модели, датасеты и результаты хранятся на томе по $0,08/GB/мес.; сам инстанс остаётся одноразовым.
Приватность по умолчанию
Выделенный GPU, зашифрованный диск, оплата криптой, без KYC, без сохранения IP-адресов — Jupyter и SSH с вашими собственными учётными данными.
Лучшие GPU для vLLM Omni
Три ценовых уровня, хорошо подходящих для этого шаблона, — Хороший, Лучший, Самый лучший. Подходит любая модель GPU из каталога; это оптимальные по цене варианты.
| Уровень | GPU | VRAM | По требованию | Прерываемые | Почему эта карта | Действие |
|---|---|---|---|---|---|---|
| Хороший | RTX 5090 | 32 GB | $0,481 | $0,240 | Быстрая точка входа для визуально-языковых моделей уровня 7B. | Развернуть |
| Лучший | L40S | 48 GB | $0,448 | $0,224 | 48 GB для более крупных мультимодальных моделей и более длинных контекстов изображений. | Развернуть |
| Самый лучший | H100 PCIE | 80 GB | $1,811 | $0,905 | 80 GB и FP8 для пропускной способности мультимодальных нагрузок в продакшене. | Развернуть |
Нужно больше VRAM? Полный каталог перечисляет все модели с доступностью в реальном времени — всего: 83; руководство по VRAM подбирает карту под модель.
Разверните vLLM Omni через консоль, CLI или API
Откройте консоль, выберите шаблон в панели развёртывания, или сделайте это через скрипт:
- Консоль — отфильтруйте по GPU, выберите vLLM Omni в списке шаблонов, задайте диск и переменные окружения, разверните.
- CLI — pip install lowcostgpu, затем команда справа. Справочник CLI.
- API — POST /v1/instances с "template": "vllm-omni". Справочник REST API.
- Свой образ — подойдёт любая ссылка OCI; мы добавляем NVIDIA runtime. Документация по шаблонам.
$ lowcostgpu launch --gpu rtx-5090 --template vllm-omni \
--disk 100 --volume models:/workspace/models
✓ instance i-7a41c0e2 running (27.9s)
# vLLM Omni · RTX 5090 · $0,481/hr · per second
# https://i-7a41c0e2.lowcostgpu.com:8888 (TLS)
$ lowcostgpu stop i-7a41c0e2 # billing ends this secondЧто внутри шаблона vLLM Omni
| Образ | lowcostgpu/vllm-omni |
|---|---|
| CUDA | CUDA 12.9 |
| Доступ | shell по SSH · JupyterLab на проброшенном порту |
| Категория | LLM-сервинг и чат |
| Хранилище | NVMe-диск инстанса (размер задаётся при развёртывании) + опциональные сетевые тома |
| Биллинг | Только цена GPU, посекундно — без платы за шаблон, без платы за подключение |
Другие шаблоны категории llm-сервинг и чат
vLLM на облачном GPU — Продакшен-сервинг LLM с PagedAttention — совместимый с OpenAI эндпоинт из любой модели HF.
SGLang на облачном GPU — Высокопроизводительный сервинг с RadixAttention — особенно хорош для структурированных и агентных нагрузок.
Llama.cpp на облачном GPU — GGUF-инференс со встроенным сервером — самый лёгкий способ запускать квантованные модели.
Ollama на облачном GPU — Скачивание и запуск квантованных моделей одной командой, с лаконичным REST API.
Open WebUI (Ollama) на облачном GPU — Полноценный чат-интерфейс поверх Ollama — диалоги, RAG и управление моделями в браузере.
Oobabooga Text Gen на облачном GPU — WebUI и API для генерации текста — загрузка GPTQ, EXL2 или GGUF с расширениями.- Все шаблоны: 37
vLLM Omni на облачном GPU: FAQ
Переменные окружения, порты и пользовательские образы описаны в документации по шаблонам.
Сколько стоит запустить vLLM Omni на облачном GPU?
Только цена GPU — шаблон бесплатен. От $0,224/ч на прерываемом L40S, $0,481/ч по требованию на RTX 5090. Тарификация посекундная, поэтому час экспериментов стоит час, а не день. Хранилище — $0,08/GB/мес.
Сколько времени занимает запуск vLLM Omni?
Около 30 секунд с момента клика по кнопке «Развернуть»: образ заранее закэширован на машинах, порты проброшены, а TLS терминирован. Перезапуск остановленного инстанса быстрее, а диск остаётся точно таким, каким вы его оставили.
Можно ли сохранить модели и результаты между сессиями?
Да — подключите том при развёртывании. Всё на томе переживает уничтожение инстанса и монтируется на следующий инстанс в регионе за секунды, по цене $0,08/GB/мес. Сам диск инстанса переживает остановку/запуск, но не уничтожение.
Какие мультимодальные модели поддерживаются?
Всё, что есть в мультимодальном реестре vLLM, — Qwen2.5-VL, варианты LLaVA, Pixtral, аудиоэнкодеры в стиле Whisper и другое. Укажите в MODEL идентификатор Hugging Face, и сервер загрузит нужный процессор.