Сценарий использования · файнтюнинг
Файнтюнинг LLM на облачных GPU: ваши данные, бюджет одного вечера
Адаптерные методы перевели файнтюнинг из области кластеров в область одной карты: QLoRA для модели 8B — примерно за $0,27 на прерываемой карте RTX 4090, или 70B за ночь на одной карте 80 GB. Посекундная тарификация означает, что счётчик останавливается на последнем шаге.
Лестница файнтюнинга
| Уровень | GPU | VRAM | По требованию | Прерываемые | Почему эта карта | Действие |
|---|---|---|---|---|---|---|
| Хороший | RTX 5090 | 32 GB | $0,481 | $0,240 | 32 GB GDDR7 — QLoRA до ~34B на одной карте, вдвое большая пропускная способность памяти, чем у 4090. | Развернуть |
| Лучший | A100 SXM4 | 80 GB | $0,468 | $0,234 | 80 GB HBM2e — классический узел для LoRA и полного файнтюнинга; 8× SXM4 масштабируется без проблем. | Развернуть |
| Самый лучший | H100 PCIE | 80 GB | $1,811 | $0,905 | 80 GB + FP8 — полный файнтюнинг завершается примерно за половину реального времени A100. | Развернуть |
Бюджетный вариант: 24 GB RTX 4090 за $0,177/ч на прерываемой мощности прекрасно тянет QLoRA 8B–13B.
Что помещается куда (QLoRA, 4-битная база)
| Базовая модель | Нужный объём VRAM | Самая дешёвая карта | ≈ за час обучения |
|---|---|---|---|
| Llama 3.1 8B | ~11 GB | RTX 3090 24 GB | $0,074 |
| Qwen 2.5 14B | ~17 GB | RTX 4090 24 GB | $0,177 |
| Qwen 2.5 32B | ~26 GB | RTX 5090 32 GB | $0,240 |
| Llama 3.1 70B | ~48 GB | H100 PCIe 80 GB | $0,905 |
Показаны тарифы прерываемого режима — файнтюнинг использует чекпоинты, поэтому вы платите половину. Полные таблицы — в руководстве по VRAM.
Чистый цикл файнтюнинга
-
Размещение данных на томе
Датасет + выходная директория хранятся на томе за $0,08/GB/мес., а не на одноразовом инстансе.
-
Один YAML, одна команда
Шаблон axolotl: axolotl train qlora.yml — чекпоинты потоково сохраняются на том.
-
Слияние, сервинг, уничтожение
Слейте адаптеры, направьте инстанс vLLM на этот том, уничтожьте тренировочный инстанс. Расходы: ноль.
GPU для файнтюнинга: FAQ
Полный прогон «копируй и запускай» — в пошаговом руководстве по QLoRA.
Сколько стоит типичный файнтюнинг?
Проход QLoRA по 10 тыс. пар инструкций на Llama-3.1-8B занимает ~1,5 ч на одной RTX 4090 — около $0,27 на прерываемой мощности. QLoRA 70B на одной карте 80 GB — прогон за ночь, в пределах нескольких десятков долларов. Полнопараметрический файнтюнинг 8B на 8× A100: несколько сотен долларов.
LoRA, QLoRA или полный файнтюнинг?
Сначала QLoRA: 4-битная база + обучаемые адаптеры помещают 8B в объём до 12 GB и 70B — в ~48 GB, а качество обычно отличается от полного файнтюнинга не больше чем на один пункт для задач следования инструкциям. Переходите на полнопараметрический файнтюнинг, только если сдвиг домена велик, — тогда арендуйте узлы A100/H100 на часы, а не недели.
С какого шаблона начать?
axolotl — один YAML покрывает LoRA/QLoRA/полный файнтюнинг, DeepSpeed и FSDP, и пошаговое руководство написано именно под него. Kohya отвечает за LoRA для изображений.