Anwendungsfall · LLM-Training
LLM-Training auf Cloud-GPUs: dasselbe Silizium, keine Auktion
Pretraining und fortgesetztes Pretraining spielen sich auf HBM-Karten ab: H100 SXM zu fixierten $1,680/GPU-Std. (Marktmedian $2,40), NVLink innerhalb des Knotens, InfiniBand zwischen den Knoten und unterbrechbare Kapazität zum halben Preis für jede per Checkpoint gesicherte Epoche.
Die Trainingskarten im Ranking
Der vollständige Vergleich steht in der Anleitung zu H100 vs H200 vs B200.
| Stufe | GPU | VRAM | On-Demand | Unterbrechbar | Warum diese Karte | Aktion |
|---|---|---|---|---|---|---|
| Gut | A100 SXM4 | 80 GB | $0,468 | $0,234 | Bewährtes 80-GB-HBM2e-Arbeitspferd – unschlagbare $/Schritt für ≤13B-Experimente und LoRA-lastige Labore. | Bereitstellen |
| Besser | H100 SXM | 80 GB | $1,680 | $0,840 | Der Standard: FP8 Transformer Engine, 3,35 TB/s, in jeder wichtigen Region reichlich verfügbar. | Bereitstellen |
| Am besten | B200 | 192 GB | $6,475 | $3,237 | 192 GB HBM3e und Blackwell FP4/FP8 – kürzeste Wall-Clock-Zeit, wenn die Deadline das Budget ist. | Bereitstellen |
Kosten eines echten Laufs, Position für Position
Fortgesetztes Pretraining, 8× H100 SXM, 72 Stunden, unterbrechbar mit Datenträger-Checkpoints:
| GPU-Zeit | 8 × 72 Std. × $0,840 | = | $483,84 |
|---|---|---|---|
| Checkpoint-Datenträger 500 GB | 3 Tage × $40,00/Monat | = | $4,00 |
| Datensatz-Ingress 400 GB | 400 × $0,01 | = | $4,00 |
| Gesamt | ≈ | $492 |
Das Marktmedian-Äquivalent allein für die GPU-Position: etwa $691 bei Spot-Auktionen, die Sie überwachen müssen – oder $1.382 On-Demand.
Muster, die es günstig machen
- Alle N Schritte auf einem Datenträger checkpointen – Unterbrechungen kosten nichts, Neustart vom Datenträger.
- Auf 1× tunen, auf 8× trainieren – die Konfiguration bei einem Achtel der laufenden Kosten debuggen.
- Mit FP8/BF16 packen – die Transformer Engine von H100/H200 ist der Rabatt, den niemand nutzt.
- Löschen, Datenträger behalten – Datensätze bleiben warm für $0,08/GB/Monat, GPUs kosten nichts.
Templates: PyTorch, axolotl (FSDP-fähig) – oder Ihr eigenes Image mit einer vollständigen VM für exotische Stacks.
LLM-Trainings-GPUs: FAQ
Dimensionierung: Anleitung zu VRAM-Anforderungen.
Auf welcher GPU sollte ich ein LLM trainieren?
Für ernsthafte Läufe ist die H100 SXM ($1,680/Std.) die Preis-Leistungs-Standardwahl; die H200 fügt 141 GB für längeren Kontext und größere Mikro-Batches hinzu; die B200 führt, wenn die Wall-Clock-Zeit der limitierende Faktor ist. Für Sub-13B-Experimente sind 8× A100-Knoten zu $0,468/GPU-Std. kaum zu schlagen.
On-Demand oder unterbrechbar fürs Training?
Unterbrechbar, fast immer – Training legt ohnehin Checkpoints an, und −50 % summiert sich über Hunderte von GPU-Stunden. Ein 72-Stunden-Lauf auf 8× H100 kostet unterbrechbar etwa $484 gegenüber $968 On-Demand. On-Demand ist für den finalen Deadline-Lauf reserviert.
Wie werden Multi-Node-Läufe verbunden?
Einzelne Maschinen skalieren mit NVLink bis 8×. Darüber hinaus verbinden Cluster 8-GPU-Knoten über InfiniBand mit vorab optimiertem NCCL – Pod-Preise und All-Reduce-Werte finden Sie auf der Cluster-Seite.