Anwendungsfall · Fine-Tuning
LLM-Fine-Tuning auf Cloud-GPUs: Ihre Daten, ein Abendbudget
Adapter-Methoden haben Fine-Tuning vom Cluster- in den Einzelkarten-Bereich verschoben: ein 8B-Modell mit QLoRA für etwa $0,27 auf einer unterbrechbaren RTX 4090, oder ein 70B über Nacht auf einer 80-GB-Karte. Sekundengenaue Abrechnung bedeutet: Der Zähler stoppt mit dem letzten Schritt.
Die Fine-Tuning-Leiter
| Stufe | GPU | VRAM | On-Demand | Unterbrechbar | Warum diese Karte | Aktion |
|---|---|---|---|---|---|---|
| Gut | RTX 5090 | 32 GB | $0,481 | $0,240 | 32 GB GDDR7 – QLoRA bis zu ~34B auf einer Karte, doppelte Speicherbandbreite der 4090. | Bereitstellen |
| Besser | A100 SXM4 | 80 GB | $0,468 | $0,234 | 80 GB HBM2e – der klassische LoRA/Full-FT-Knoten; 8× SXM4 skaliert ohne Drama. | Bereitstellen |
| Am besten | H100 PCIE | 80 GB | $1,811 | $0,905 | 80 GB + FP8 – vollständige Fine-Tunes sind in etwa der halben Wall-Clock-Zeit der A100 fertig. | Bereitstellen |
Budgetecke: eine 24-GB-RTX 4090 bei $0,177/Std. unterbrechbar bewältigt 8B–13B-QLoRA hervorragend.
Was passt wohin (QLoRA, 4-Bit-Basis)
| Basismodell | VRAM-Bedarf | Günstigste Einzelkarte | ≈ pro Trainingsstunde |
|---|---|---|---|
| Llama 3.1 8B | ~11 GB | RTX 3090 24 GB | $0,074 |
| Qwen 2.5 14B | ~17 GB | RTX 4090 24 GB | $0,177 |
| Qwen 2.5 32B | ~26 GB | RTX 5090 32 GB | $0,240 |
| Llama 3.1 70B | ~48 GB | H100 PCIe 80 GB | $0,905 |
Unterbrechbare Preise angezeigt – Fine-Tunes checkpointen, daher zahlen Sie nur die Hälfte. Vollständige Tabellen in der VRAM-Anleitung.
Ein sauberer Fine-Tuning-Ablauf
-
Daten auf einem Datenträger ablegen
Datensatz + Ausgabeverzeichnis liegen auf einem $0,08/GB/Monat-Datenträger, nicht auf der entbehrlichen Instanz.
-
Eine YAML, ein Befehl
axolotl-Template: axolotl train qlora.yml – Checkpoints werden auf den Datenträger gestreamt.
-
Mergen, servieren, löschen
Adapter mergen, eine vLLM-Instanz auf den Datenträger richten, den Trainer löschen. Abrechnung: null.
Fine-Tuning-GPUs: FAQ
Der vollständige Copy-Paste-Lauf steht in der QLoRA-Anleitung.
Was kostet ein typisches Fine-Tuning?
Ein QLoRA-Durchlauf über 10.000 Instruktionspaare auf Llama-3.1-8B dauert auf einer RTX 4090 etwa 1,5 Std. – rund $0,27 unterbrechbar. Ein 70B-QLoRA auf einer 80-GB-Karte läuft über Nacht für einen niedrigen zweistelligen Dollarbetrag. Full-Parameter-8B auf 8× A100: niedriger dreistelliger Bereich.
LoRA, QLoRA oder vollständiges Fine-Tuning?
Zuerst QLoRA: 4-Bit-Basis + trainierbare Adapter passen 8B in unter 12 GB und 70B in ~48 GB, und die Qualität liegt bei Instruktionsaufgaben meist innerhalb eines Punkts des vollständigen Tunings. Wechseln Sie nur bei großem Domain-Shift zu Full-Parameter-Tuning – dann mieten Sie A100-/H100-Knoten für Stunden, nicht Wochen.
Mit welchem Template sollte ich starten?
axolotl – eine YAML deckt LoRA/QLoRA/Full ab, DeepSpeed und FSDP, und die Anleitung ist darauf abgestimmt. Kohya deckt die Bild-LoRA-Seite ab.