Сценарий использования · обучение LLM
Обучение LLM на облачных GPU: то же железо, без аукциона
Предобучение и продолженное предобучение выполняются на картах с HBM: H100 SXM по $1,680/GPU·ч фиксированно (медиана рынка $2,40), NVLink внутри узла, InfiniBand между узлами и прерываемые мощности по половине цены для каждой эпохи с чекпоинтом.
Карты для обучения: рейтинг
Полное сравнение — в руководстве H100 vs H200 vs B200.
| Уровень | GPU | VRAM | По требованию | Прерываемые | Почему эта карта | Действие |
|---|---|---|---|---|---|---|
| Хороший | A100 SXM4 | 80 GB | $0,468 | $0,234 | Проверенная рабочая лошадка на 80 GB HBM2e — непревзойдённая $/шаг для экспериментов ≤13B и LoRA-интенсивных лабораторий. | Развернуть |
| Лучший | H100 SXM | 80 GB | $1,680 | $0,840 | По умолчанию: FP8 Transformer Engine, 3,35 TB/s, широкая доступность во всех крупных регионах. | Развернуть |
| Самый лучший | B200 | 192 GB | $6,475 | $3,237 | 192 GB HBM3e и Blackwell FP4/FP8 — минимальное фактическое время, если срок важнее бюджета. | Развернуть |
Стоимость реального запуска, построчно
Продолженное предобучение, 8× H100 SXM, 72 часа в прерываемом режиме, с чекпоинтами на томе:
| Время GPU | 8 × 72 ч × $0,840 | = | $483,84 |
|---|---|---|---|
| Том для чекпоинтов 500 GB | 3 дня × $40,00/мес. | = | $4,00 |
| Входящий трафик датасета 400 GB | 400 × $0,01 | = | $4,00 |
| Итого | ≈ | $492 |
Эквивалент по медиане рынка одной только линии GPU: около $691 на спотовых аукционах, за которыми приходится следить — или $1 382 по требованию.
Приёмы, снижающие стоимость
- Сохранять чекпоинты на том каждые N шагов — после прерывания перезапуск бесплатный, с диска.
- Настраивать на 1×, обучать на 8× — отладка конфигурации при одной восьмой темпа расхода (GPU-часов).
- Использовать FP8/BF16 — Transformer Engine H100/H200 — это скидка, которой никто не пользуется.
- Уничтожать инстанс, сохраняя том — датасеты остаются наготове по $0,08/GB/мес., GPU не тарифицируются.
Шаблоны: PyTorch, axolotl (готовы к FSDP) — либо свой образ через полноценную VM для нетипичных стеков.
GPU для обучения LLM: FAQ
Расчёт размера: руководство по требованиям к VRAM.
На каком GPU лучше обучать LLM?
Для серьёзных запусков H100 SXM ($1,680/ч) — оптимальный по цене и производительности вариант по умолчанию, H200 добавляет 141 GB для более длинного контекста и увеличенных микробатчей, B200 лидирует, когда ограничение — фактическое время. Для экспериментов до 13B параметров узлы 8× A100 по $0,468/GPU·ч почти невозможно превзойти.
По требованию или прерываемый режим для обучения?
Прерываемый — почти всегда: обучение и так делает чекпоинты, а −50 % накапливается за сотни GPU-часов. 72-часовой запуск на 8× H100 в прерываемом режиме стоит около $484 против $968 по требованию. Оставьте по требованию для финального запуска, привязанного к сроку.
Как соединяются многоузловые запуски?
Отдельные машины масштабируются до 8× через NVLink. Дальше кластеры соединяют 8-GPU узлы через InfiniBand с предварительно настроенным NCCL — цены на поды и показатели all-reduce смотрите на странице кластеров.