Cas d’usage · fine-tuning
Fine-tuner des LLM sur GPU cloud : vos données, un budget d’une soirée
Les méthodes à adaptateurs ont fait passer le fine-tuning du territoire des clusters à celui d’une seule carte : un QLoRA sur un modèle 8B pour environ $0,27 sur un RTX 4090 interruptible, ou un 70B en une nuit sur une carte de 80 GB. La facturation à la seconde signifie que le compteur s’arrête au dernier pas.
L’échelle du fine-tuning
| Palier | GPU | VRAM | À la demande | Interruptible | Pourquoi cette carte | Action |
|---|---|---|---|---|---|---|
| Bon | RTX 5090 | 32 GB | $0,481 | $0,240 | 32 GB GDDR7 — QLoRA jusqu’à ~34B sur une seule carte, deux fois la bande passante mémoire de la 4090. | Déployer |
| Meilleur | A100 SXM4 | 80 GB | $0,468 | $0,234 | 80 GB HBM2e — le nœud LoRA/full-FT classique ; le 8× SXM4 monte en charge sans accroc. | Déployer |
| Le meilleur | H100 PCIE | 80 GB | $1,811 | $0,905 | 80 GB + FP8 — les fine-tunes complets se terminent en environ la moitié de la durée réelle d’un A100. | Déployer |
Coin budget : un RTX 4090 de 24 GB à $0,177/h interruptible gère très bien les QLoRA 8B–13B.
Ce qui tient où (QLoRA, base 4 bits)
| Modèle de base | VRAM nécessaire | Carte la moins chère | ≈ par heure d’entraînement |
|---|---|---|---|
| Llama 3.1 8B | ~11 GB | RTX 3090 24 GB | $0,074 |
| Qwen 2.5 14B | ~17 GB | RTX 4090 24 GB | $0,177 |
| Qwen 2.5 32B | ~26 GB | RTX 5090 32 GB | $0,240 |
| Llama 3.1 70B | ~48 GB | H100 PCIe 80 GB | $0,905 |
Tarifs interruptibles affichés — les fine-tunes font des checkpoints, donc vous ne payez que la moitié. Tableaux complets dans le guide VRAM.
Une boucle de fine-tuning propre
-
Déposer les données sur un volume
Le dataset et le dossier de sortie résident sur un volume à $0,08/GB/mois, pas sur l’instance jetable.
-
Un YAML, une commande
Template axolotl : axolotl train qlora.yml — les checkpoints sont transférés en continu vers le volume.
-
Fusionner, servir, détruire
Fusionnez les adaptateurs, pointez une instance vLLM vers le volume, détruisez l’instance d’entraînement. Facturation : zéro.
GPU pour le fine-tuning : FAQ
Le run complet à copier-coller se trouve dans le tutoriel QLoRA.
Combien coûte un fine-tune typique ?
Un passage QLoRA sur 10 000 paires d’instructions avec Llama-3.1-8B prend environ 1,5 h sur un RTX 4090 — environ $0,27 en interruptible. Un QLoRA 70B sur une carte de 80 GB tient en une nuit, pour quelques dizaines de dollars. Fine-tune complet du 8B sur 8× A100 : quelques centaines de dollars.
LoRA, QLoRA ou fine-tune complet ?
QLoRA d’abord : une base en 4 bits + des adaptateurs entraînables font tenir un 8B en moins de 12 GB et un 70B en ~48 GB, avec une qualité qui reste généralement à un point de pourcentage du fine-tune complet pour les tâches d’instruction. Ne passez au fine-tune complet que si le décalage de domaine est important — louez alors des nœuds A100/H100 pour quelques heures, pas des semaines.
Par quel template commencer ?
axolotl — un seul fichier YAML couvre LoRA, QLoRA et le fine-tune complet, ainsi que DeepSpeed et FSDP, et c’est sur lui que s’appuie le tutoriel. Kohya couvre le volet LoRA image.