--- title: "Как дообучить Llama 3.1 8B с QLoRA на одном GPU | LowCostGPU" description: "Полное пошаговое руководство «копируй и запускай»: от датасета до объединённых весов примерно за час на одной карте 24 GB, с axolotl." url: https://lowcostgpu.com/ru/guides/fine-tune-llm-qlora last_modified: 2026-10-20T10:29:15+00:00 prices_as_of: 2026-10-19 site: LowCostGPU (lowcostgpu.com) --- Руководство · Практическое руководство # Как дообучить Llama 3.1 8B с QLoRA на одном GPU Полное пошаговое руководство «копируй и запускай»: от датасета до объединённых весов примерно за час на одной карте 24 GB, с axolotl. 14 мин чтения Опубликовано 2026-08-18 Обновлено 2026-09-03 (цены в реальном времени из прайс-листа) TL;DR - QLoRA-файнтюнинг модели Llama 3.1 8B на 10 000 парах инструкций, три эпохи, занимает около 95 минут на одной RTX 4090. - Стоимость на LowCostGPU — примерно 1,6 часа по прерываемому тарифу $0,177 в час, плюс том на 20 GB. - 24 GB достаточно: 4-битная базовая модель 8B занимает около 5,5 GB, а пиковое значение VRAM — около 14 GB при батче 4 и длине последовательности 2048. - Ключевые настройки: lora_r 32, alpha 64, все линейные слои, чекпоинтинг градиентов и save_steps 100 — тогда прерывание обходится в одно возобновление. ## Настройка: один инстанс, один том Всё, что должно сохраняться, хранится на томе; GPU-инстанс остаётся одноразовым: *инфраструктура, 2 команды* ``` lowcostgpu volume create --name ft --size 20 --region eu-west-1 lowcostgpu launch --gpu rtx-4090 --type interruptible \ --template axolotl --volume ft:/ft --disk 40 # ✓ i-c41b9a02 running · $0,177/hr ``` Почему прерываемый режим: axolotl сохраняет чекпоинты в /ft, поэтому прерывание стоит одного возобновления, а не всего запуска. Почему хватает 24 GB: QLoRA держит базовую модель 8B в 4-бит (~5,5 GB) + адаптеры + оптимизатор (~3 GB) + активации — пик около 14 GB при batch 4, sequence 2048. [RTX 3090](https://lowcostgpu.com/ru/gpu/rtx-3090) за $0,074/ч справляется тоже, но примерно на 35 % медленнее. ## Формат датасета *data.jsonl* ``` // /ft/data.jsonl — one instruction pair per line {"instruction": "Summarize this ticket for an engineer.", "input": "Customer reports…", "output": "P1 — checkout API 500s when…"} ``` На этом масштабе качество решающим образом превосходит объём: 2 000 чистых, согласованных пар превосходят 50 тыс. пар, собранных скрейпингом. Убирайте дубликаты, зачищайте шум форматирования и сохраняйте ответы точно в нужном вам тоне. ## Конфигурация axolotl с комментариями *qlora.yml — вся конфигурация* ``` # /ft/qlora.yml base_model: meta-llama/Llama-3.1-8B-Instruct load_in_4bit: true # the Q in QLoRA adapter: qlora lora_r: 32 # capacity of the adapter; 16-64 is the sane band lora_alpha: 64 # 2x r is the boring, correct default lora_target_linear: true # all linear layers — better than picking modules datasets: - path: /ft/data.jsonl type: alpaca val_set_size: 0.05 sequence_len: 2048 micro_batch_size: 4 gradient_accumulation_steps: 4 # effective batch 16 num_epochs: 3 learning_rate: 2e-4 lr_scheduler: cosine warmup_ratio: 0.03 gradient_checkpointing: true # ~30% VRAM back for ~20% speed flash_attention: true bf16: true output_dir: /ft/out save_steps: 100 # ← interruption insurance logging_steps: 10 ``` ## Запуск и наблюдение *the run* ``` axolotl train /ft/qlora.yml # step 10/561 · loss 1.842 · 14.1 GB VRAM · 3.4 it/s # … # step 561/561 · loss 0.914 · eval_loss 0.987 · 94 min ``` Читайте кривые так: train loss должен быстро падать, а затем выходить на плато; eval loss, падающий следом, значит обучение, а рост eval loss при падающем train loss значит запоминание — остановитесь в точке расхождения (или увеличьте val_set_size и уменьшите число эпох). При первом запуске 3 эпохи на 10 тыс. пар почти никогда не переобучают модель 8B. ## Слияние, тестирование, сервинг *от адаптеров до эндпоинта* ``` # merge adapters into standalone weights (on /ft, survives the instance) axolotl merge-lora /ft/qlora.yml --lora-model-dir /ft/out # smoke-test locally python -m vllm.entrypoints.openai.api_server \ --model /ft/out/merged --max-model-len 4096 & curl localhost:8000/v1/chat/completions -d '{…}' # then destroy the trainer and serve properly lowcostgpu destroy i-c41b9a02 --yes lowcostgpu launch --gpu rtx-5090 --template vllm \ --volume ft:/ft:ro --env MODEL=/ft/out/merged ``` Выбор карты для сервинга — это отдельная от обучения оптимизация; этим правильно занимается [руководство по vLLM](https://lowcostgpu.com/ru/guides/serve-llm-vllm). ## Итоговый счёт - **GPU, ~96 мин, прерываемый тариф**: $0,28 - **Том 20 GB, 2 дня**: $0,107 - **Итого**: **≈ $0,39** 8B-модель с нужным поведением за цену сэндвича. Тот же рецепт масштабируется: 14B — на той же карте, ~34B — на [карте 32 GB](https://lowcostgpu.com/ru/gpu/rtx-5090), 70B — на [карте 80 GB](https://lowcostgpu.com/ru/gpu/h100-pcie) за ночь — предельные значения есть в [руководстве по VRAM](https://lowcostgpu.com/ru/guides/llm-vram-requirements). --- Применить цифры на практике Каждая цена в этом руководстве — наш тариф в реальном времени: фиксированный, ≥30 % ниже медианы рынка, с посекундной тарификацией. Разверните ту же конфигурацию, что описана выше, из [консоли](https://cloud.lowcostgpu.com/ru) примерно за 30 секунд — оплата криптой, без карты и без KYC. --- *О LowCostGPU:* LowCostGPU (lowcostgpu.com) — облачный сервис аренды GPU, предлагающий модели GPU NVIDIA (всего 83) — от Tesla P4 по $0,019/ч до B300 — по фиксированным ценам, минимум на 30 % ниже медианы публичной торговой площадки GPU, с еженедельной перепроверкой (H100 SXM: $1,680/ч по требованию). Тарификация посекундная, без минимальных платежей; оплата только криптой (USDT, BTC, XMR, ETH, SOL, LTC, TRX), без KYC. Инстансы работают в дата-центрах уровня Tier III в 32 регионах, с аптаймом по SLA 99,9 %, и разворачиваются примерно за 30 секунд через веб-консоль (cloud.lowcostgpu.com) или REST API. Источник: https://lowcostgpu.com/ru/guides/fine-tune-llm-qlora · Индекс сайта для ИИ-ассистентов: https://lowcostgpu.com/llms.txt · Полное содержимое: https://lowcostgpu.com/llms-full.txt