TL;DR
- Арендуйте H100 только тогда, когда она выполняет задачу быстрее, чем соотношение цен между двумя картами; в остальных случаях A100 дешевле за один запуск.
- На LowCostGPU это соотношение — $1,680 к $0,468 в час, тогда как запуски BF16 LoRA и QLoRA дают лишь 1,7-2,2×.
- Обе карты вмещают 80 GB, поэтому объём памяти никогда не становится решающим фактором; H100 добавляет 3,35 против 2,0 TB/s пропускной способности и поддержку FP8.
- Полный файнтюнинг в FP8 даёт ускорение 2,5-3× и склоняет выбор к H100; без включённого FP8 вы платите только за пропускную способность.
Правило безубыточности
Обе карты вмещают 80 GB, поэтому выбор никогда не в объёме памяти — а в долларах за законченный запуск. Сегодня H100 SXM стоит $1,680/ч, а A100 SXM4 — $0,468/ч: соотношение 3,59×. Правило, которое решает для любой задачи:
арендуйте H100, если speedup(H100 / A100) > 3,59, иначе арендуйте A100
Ускорения ниже этой линии делают A100 дешевле за запуск, хотя H100 быстрее; выше неё H100 одновременно быстрее и дешевле. Соотношение меняется при еженедельной перепроверке цен — приведённое выше число актуально сейчас.
Что реально отличается
| A100 SXM4 80 GB | H100 SXM 80 GB | Почему это важно для файнтюнинга | |
|---|---|---|---|
| Память | 80 GB HBM2e | 80 GB HBM3 | Одинаковый объём — те же модели помещаются |
| Пропускная способность | 2,0 TB/s | 3,35 TB/s | Шаги оптимизатора и attention ограничены пропускной способностью: ~1,6× только за счёт этого |
| Тензор BF16 (плотный) | 312 TFLOPS | 990 TFLOPS | Слои, упирающиеся в вычисления, масштабируются; маленькие батчи редко загружают любую из карт полностью |
| FP8 | — | Transformer Engine | Главное преимущество H100: 2,5–3× на полных файнтюнингах, которые его задействуют |
| NVLink | 600 GB/s | 900 GB/s | FSDP all-gather при мульти-GPU — важно свыше 2× карт |
| Цена сегодня | $0,468/ч | $1,680/ч | Соотношение 3,59× — линия безубыточности |
Пять задач файнтюнинга с расчётом стоимости
Ориентировочное время выполнения на A100 и ускорение, которое большинство команд получают на H100 для того же рецепта. В колонках стоимости используются сегодняшние цены по требованию; прерываемые мощности снижают обе вдвое — файнтюнинги сохраняют чекпоинты, так что этим стоит воспользоваться.
| Задача | Настройка | Часы A100 | Ускорение H100 | Стоимость A100 | Стоимость H100 | Дешевле |
|---|---|---|---|---|---|---|
| QLoRA, Llama 3.1 8B, 10k пар | Вычисления BF16, база 4-bit | 1,5 h | 1,8× | $0,70 | $1,40 | A100 (50 % меньше) |
| LoRA, Llama 3.1 70B (база 4-bit) | одна карта, использовано 48 GB | 3 h | 2,0× | $1,40 | $2,52 | A100 (44 % меньше) |
| Полный файнтюнинг, 8B, BF16 | 8× узел, FSDP | 6 h | 2,2× | $22,46 | $36,65 | A100 (39 % меньше) |
| Полный файнтюнинг, 8B, FP8 (Transformer Engine) | 8× узел, FSDP | 6 h | 3,0× | $22,46 | $26,88 | A100 (16 % меньше) |
| Проход DPO / RLHF, 8B | политика + референс | 2,5 h | 2,4× | $1,17 | $1,75 | A100 (33 % меньше) |
Закономерность устойчива: адаптерные методы в BF16 выгоднее на A100; всё, что задействует FP8 или выполняется достаточно долго, чтобы пропускная способность стала решающей, выгоднее на H100. Решающий фактор — фактическое время выполнения: запуск на H100, который стоит на 10 % дороже, но завершается на день раньше, обычно правильный выбор при дедлайне.
Таблица решений
| Задача | Аренда | Причина |
|---|---|---|
| QLoRA / LoRA на ≤13B, BF16 | RTX 4090 или A100 PCIe | Помещается в 24–80 GB; ускорение ниже точки безубыточности |
| LoRA на 70B (база 4-bit), одна карта | A100 SXM4 | Упирается в пропускную способность, ускорение 2× остаётся ниже 3,6× |
| Полный файнтюнинг, BF16, мульти-GPU | A100 SXM4, если сроки не поджимают | Ускорение ≈2,2× близко к линии — выбирайте по фактическому времени выполнения |
| Полный файнтюнинг с FP8 (TE, NeMo, TorchAO) | H100 SXM | Ускорение 2,5–3× заметно перекрывает разницу в цене |
| Длины последовательностей ≥32k или крупные микробатчи | H100 SXM (или H200) | Пропускная способность памяти, а на H200 — 141 GB |
Что удешевляет обе карты
- Выбирайте прерываемый режим. Все задачи выше сохраняют чекпоинты; фиксированная скидка −50 % превращает A100 в $0,234/ч, а H100 — в $0,840/ч.
- Включите FP8 перед арендой H100. Без него вы платите только за пропускную способность; с ним H100 оправдывает свою цену.
- Настраивайте на 1×, обучайте на 8×. Отлаживайте конфигурацию на одной карте при темпе расхода GPU-часов в восемь раз ниже, затем масштабируйте.
- Датасеты и чекпоинты на томе по $0,08/GB/мес. — инстанс для обучения остаётся одноразовым.
- Сравните соседей. H100 SXM vs A100 SXM4 и пара PCIe показывают актуальные цифры; руководство по QLoRA содержит точный конфиг axolotl.
Применить цифры на практике
Каждая цена в этом руководстве — наш тариф в реальном времени: фиксированный, ≥30 % ниже медианы рынка, с посекундной тарификацией. Разверните ту же конфигурацию, что описана выше, из консоли примерно за 30 секунд — оплата криптой, без карты и без KYC.
