TL;DR
- Mieten Sie die H100 nur, wenn sie den Job schneller erledigt, als es das Preisverhältnis zwischen beiden Karten rechtfertigt; andernfalls ist die A100 pro Lauf günstiger.
- Auf LowCostGPU liegt dieses Verhältnis bei $1,680 gegenüber $0,468 pro Stunde, während BF16-LoRA- und QLoRA-Läufe nur 1,7–2,2× erreichen.
- Beide Karten bieten 80 GB, sodass die Kapazität nie den Ausschlag gibt; die H100 hat mit 3,35 TB/s gegenüber 2,0 TB/s mehr Bandbreite, dazu FP8.
- Vollständige FP8-Fine-Tunes erreichen 2,5–3× und verschieben die Entscheidung zugunsten der H100; ohne aktiviertes FP8 zahlen Sie nur für Bandbreite.
Die Break-even-Regel
Beide Karten bieten 80 GB, die Wahl ist also nie eine Frage der Kapazität – sondern eine Frage der Dollar pro abgeschlossenem Lauf. Aktuell kostet die H100 SXM $1,680/Std. und die A100 SXM4 $0,468/Std.: ein Verhältnis von 3,59×. Die Regel, die für jeden Job gilt:
die H100 mieten, wenn speedup(H100 / A100) > 3,59, sonst die A100 mieten
Speedups unterhalb dieser Linie machen die A100 pro Lauf günstiger, obwohl die H100 schneller ist; darüber ist die H100 sowohl schneller als auch günstiger. Das Verhältnis ändert sich mit der wöchentlichen Preisprüfung – die Zahl oben ist live.
Was sich tatsächlich unterscheidet
| A100 SXM4 80 GB | H100 SXM 80 GB | Warum das für das Fine-Tuning wichtig ist | |
|---|---|---|---|
| Speicher | 80 GB HBM2e | 80 GB HBM3 | Gleiche Kapazität – dieselben Modelle passen |
| Bandbreite | 2,0 TB/s | 3,35 TB/s | Optimierer-Schritte und Attention sind bandbreitenlimitiert: ~1,6× allein dadurch |
| BF16-Tensor (dense) | 312 TFLOPS | 990 TFLOPS | Rechenlimitierte Layer skalieren; kleine Batches lasten selten eine von beiden aus |
| FP8 | — | Transformer Engine | Die eigentliche Stärke der H100: 2,5–3× bei vollständigen Fine-Tunings, die sie nutzen |
| NVLink | 600 GB/s | 900 GB/s | Multi-GPU-FSDP-All-Gathers; relevant ab 2× Karten |
| Preis heute | $0,468/Std. | $1,680/Std. | Verhältnis 3,59× – die Break-even-Linie |
Fünf Fine-Tuning-Jobs, kalkuliert
Ungefähre Wall-Clock-Zeit auf der A100 und der Speedup, den die meisten Teams bei gleichem Rezept auf einer H100 messen. Die Kostenspalten verwenden die aktuellen On-Demand-Preise; unterbrechbare Kapazität halbiert beide – Fine-Tuning-Läufe legen Checkpoints an, nutzen Sie das.
| Job | Setup | A100-Stunden | H100-Speedup | A100-Kosten | H100-Kosten | Günstiger |
|---|---|---|---|---|---|---|
| QLoRA, Llama 3.1 8B, 10k Paare | BF16-Berechnung, 4-Bit-Basismodell | 1,5 h | 1,8× | $0,70 | $1,40 | A100 (50 % weniger) |
| LoRA, Llama 3.1 70B (4-Bit-Basis) | Einzelkarte, 48 GB genutzt | 3 h | 2,0× | $1,40 | $2,52 | A100 (44 % weniger) |
| Vollständiges Fine-Tuning, 8B, BF16 | 8×-Knoten, FSDP | 6 h | 2,2× | $22,46 | $36,65 | A100 (39 % weniger) |
| Vollständiges Fine-Tuning, 8B, FP8 (Transformer Engine) | 8×-Knoten, FSDP | 6 h | 3,0× | $22,46 | $26,88 | A100 (16 % weniger) |
| DPO-/RLHF-Durchlauf, 8B | Policy + Referenz | 2,5 h | 2,4× | $1,17 | $1,75 | A100 (33 % weniger) |
Das Muster ist eindeutig: Adaptermethoden in BF16 bevorzugen die A100; alles, was FP8 nutzt oder lange genug läuft, sodass die Bandbreite entscheidet, bevorzugt die H100. Die Wall-Clock-Zeit gibt den Ausschlag – ein H100-Lauf, der 10 % mehr kostet, aber einen Tag früher fertig ist, ist bei einer Deadline meist die richtige Wahl.
Entscheidungstabelle
| Ihr Vorhaben | Mieten | Grund |
|---|---|---|
| QLoRA / LoRA bei ≤13B, BF16 | RTX 4090 oder A100 PCIe | Passt in 24–80 GB; Beschleunigung unter der Rentabilitätsschwelle |
| LoRA auf 70B (4-Bit-Basis), Einzelkarte | A100 SXM4 | Bandbreitenlimitiert, aber 2×-Beschleunigung bleibt unter 3,6× |
| Vollständiges Fine-Tuning, BF16, Multi-GPU | A100 SXM4, außer bei engem Zeitplan | ≈2,2× Speedup liegt nahe an der Linie – nach Wall-Clock-Zeit entscheiden |
| Vollständiges Fine-Tuning mit FP8 (TE, NeMo, TorchAO) | H100 SXM | 2,5–3×-Beschleunigung schlägt das Preisverhältnis klar |
| Sequenzlängen ≥32k oder große Micro-Batches | H100 SXM (oder H200) | Speicherbandbreite und, bei der H200, 141 GB |
Jede der beiden Karten günstiger machen
- Wählen Sie unterbrechbar. Jeder Job baut auf Checkpoints auf; der pauschale Abschlag von −50 % macht aus einer A100 $0,234/Std. und aus einer H100 $0,840/Std.
- Aktivieren Sie FP8, bevor Sie eine H100 mieten. Ohne FP8 zahlen Sie nur für Bandbreite; mit FP8 rechtfertigt die H100 ihren Preis.
- Tunen Sie auf 1×, trainieren Sie auf 8×. Debuggen Sie die Konfiguration auf einer einzelnen Karte bei einem Achtel der laufenden Kosten, skalieren Sie dann hoch.
- Datensätze und Checkpoints auf einem Datenträger für $0,08/GB/Monat – die Trainingsinstanz bleibt austauschbar.
- Vergleichen Sie die Nachbarn. H100 SXM vs A100 SXM4 und das PCIe-Paar liefern Live-Zahlen; die QLoRA-Anleitung enthält die exakte axolotl-Konfiguration.
Zahlen nutzen
Jeder Preis in dieser Anleitung ist unser Live-Preis – festgelegt, ≥30 % unter dem Marktmedian, sekundengenau abgerechnet. Stellen Sie das exakte Setup oben über die Konsole in etwa 30 Sekunden bereit, bezahlt in Krypto, ohne Karte und ohne KYC.
