TL;DR
- RTX 4090 даёт самую низкую стоимость за час аудио при батч-транскрибации, запуская faster-whisper large-v3 примерно в 95× реального времени.
- Для круглосуточного API арендуйте L4 на 72 Вт за $0,196 в час на LowCostGPU — около 40× реального времени и на 35 процентов дешевле при зарезервированном тарифе.
- Whisper large-v3 требует всего около 3 GB в float16 и 1,5 GB в int8, так что VRAM никогда не становится решающим фактором — решает произведение пропускной способности и цены.
- Батчинг — это разница между 8× и 90× реального времени на одной 4090; VAD пропускает тишину, экономя 20-40 процентов вычислений.
Единственная метрика: центы за час аудио
Whisper помещается куда угодно — large-v3 занимает около 3 GB в float16, — так что VRAM ничего не решает. Решает пропускная способность × цена: сколько часов аудио карта транскрибирует за час аренды. При батчевом пайплайне faster-whisper разрыв между T4 и H100 составляет примерно 10× по скорости, но лишь около 2× по стоимости часа аудио, потому что быстрые карты стоят дороже в час. Выбирайте по последнему столбцу ниже, а затем — по тому, батч это или сервис.
Карты, ранжированные по стоимости часа аудио
Ориентировочная скорость для faster-whisper large-v3, float16, батчевый пайплайн (батч 16, VAD включён), выражена как кратность реального времени; ваш состав аудио, размер батча и настройки int8 сдвигают эти значения. Цены — сегодняшние тарифы по требованию.
| Карта | По требованию | Скорость (× реального времени) | Часов аудио на GPU-час | $ за час аудио | Примечание |
|---|---|---|---|---|---|
| Tesla T4 16 GB | $0,104 | ~18× | 18 h | $0,0058 | Самая дешёвая datacenter-карта; int8 помогает |
| RTX 3060 12 GB | $0,058 | ~28× | 28 h | $0,0021 | Самая дешёвая потребительская карта, на которой легко помещается large-v3 |
| L4 24 GB | $0,196 | ~40× | 40 h | $0,0049 | 72 Вт, однослотовая — карта для круглосуточно работающего API |
| RTX 4070 12 GB | $0,123 | ~45× | 45 h | $0,0027 | Скорость Ada по низкому тарифу для батчевых задач |
| RTX 4090 24 GB | $0,354 | ~95× | 95 h | $0,0037 | Рабочая лошадка батчевой транскрипции |
| A100 PCIE 80 GB | $0,388 | ~110× | 110 h | $0,0035 | Много параллельных потоков, 80 GB для больших батчей |
| H100 PCIE 80 GB | $1,811 | ~170× | 170 h | $0,0107 | Самая высокая пропускная способность на карту |
Прерываемые мощности сокращают вдвое каждое число в столбце цены — очереди транскрипции — идеальная прерываемая нагрузка, поскольку каждый файл — независимая, перезапускаемая единица.
Какая карта для какой задачи
| Задача | Аренда | Причина |
|---|---|---|
| Архив подкастов, тысячи часов, один раз | RTX 4090, прерываемый | Самая низкая $/час аудио среди потребительских карт; батч допускает паузы |
| Постоянно работающий API для транскрипции | L4, зарезервированный | datacenter-карта, 72 Вт, −35 % зарезервированный, ~40× реального времени — достаточно для стриминга |
| Встречи для небольшой команды, только по вечерам | RTX 3060 | Самая дешёвая карта, комфортно справляющаяся с large-v3; останавливайте её в простое |
| Тысячи параллельных потоков | A100 PCIE или H100 PCIE | 80 GB для больших батчей, самая высокая суммарная пропускная способность |
| Пайплайны диаризации и транскрипции | RTX 4090 или L4 | Модели Pyannote добавляют ~2 GB; на обеих картах есть запас |
Настройка: WebUI и API за 30 секунд
lowcostgpu launch --gpu l4 --template whisper-webui-api --disk 40 --volume audio:/data
# ✓ instance i-5d0a91f2 running (27.3s) · $0,196/hr
# https://i-5d0a91f2.lowcostgpu.com:7860 (Web UI) · :8000/transcribe (REST)
curl -F 'file=@call.mp3' -F 'model=large-v3' https://i-5d0a91f2.lowcostgpu.com:8000/transcribeШаблон Whisper WebUI & API запускает faster-whisper за браузерным интерфейсом и REST-эндпоинтом с таймкодами слов, определением языка и экспортом субтитров. Подключите том для входных файлов и транскриптов, чтобы инстансы оставались одноразовыми.
Как выжать больше из любой карты
- Батчинг. Батчевый пайплайн — это разница между 8× и 90× реального времени на одной и той же 4090; последовательное декодирование по одному файлу впустую тратит ресурс карты.
- int8 на младших картах. На T4 и 3060 веса int8 работают быстрее при незначительной потере точности; на Ada и новее используйте float16.
- Сначала VAD. Детекция голосовой активности пропускает тишину — на 20–40 % меньше вычислений на аудиозаписях встреч.
- Подберите модель по размеру. turbo и distil-large-v3 работают в 4–6× быстрее large-v3 для английского языка, немного уступая в точности.
- Прерываемые — для очередей, зарезервированные — для API. Батчевые задачи стоят вдвое дешевле; эндпоинт, работающий 24/7, платит −35 % и никогда не отключается.
См. также: сервинг LLM на тех же картах и сравнение L4 и T4.
Применить цифры на практике
Каждая цена в этом руководстве — наш тариф в реальном времени: фиксированный, ≥30 % ниже медианы рынка, с посекундной тарификацией. Разверните ту же конфигурацию, что описана выше, из консоли примерно за 30 секунд — оплата криптой, без карты и без KYC.
