--- title: "A100 vs H100 beim Fine-Tuning (2026): Kosten pro Lauf, nicht pro Stunde" description: "Gleiche 80 GB, 2,7× Stundenpreis: wie schnell eine H100 bei LoRA, QLoRA oder Fine-Tuning die A100 bei den Gesamtkosten schlägt – aktuelle Preise, Break-even-Regel." url: https://lowcostgpu.com/de/guides/a100-vs-h100-for-fine-tuning last_modified: 2026-10-20T10:29:15+00:00 prices_as_of: 2026-10-19 site: LowCostGPU (lowcostgpu.com) --- Anleitung · Hardwareauswahl # A100 vs H100 beim Fine-Tuning (2026): Kosten pro Lauf, nicht pro Stunde Gleiche 80 GB, 2,7× Stundenpreis: wie schnell eine H100 bei LoRA, QLoRA oder Fine-Tuning die A100 bei den Gesamtkosten schlägt – aktuelle Preise, Break-even-Regel. 8 Min. Lesezeit Veröffentlicht 2026-09-03 Aktualisiert 2026-09-03 (Live-Preise aus der Preisliste) TL;DR - Mieten Sie die H100 nur, wenn sie den Job schneller erledigt, als es das Preisverhältnis zwischen beiden Karten rechtfertigt; andernfalls ist die A100 pro Lauf günstiger. - Auf LowCostGPU liegt dieses Verhältnis bei $1,680 gegenüber $0,468 pro Stunde, während BF16-LoRA- und QLoRA-Läufe nur 1,7–2,2× erreichen. - Beide Karten bieten 80 GB, sodass die Kapazität nie den Ausschlag gibt; die H100 hat mit 3,35 TB/s gegenüber 2,0 TB/s mehr Bandbreite, dazu FP8. - Vollständige FP8-Fine-Tunes erreichen 2,5–3× und verschieben die Entscheidung zugunsten der H100; ohne aktiviertes FP8 zahlen Sie nur für Bandbreite. ## Die Break-even-Regel Beide Karten bieten 80 GB, die Wahl ist also nie eine Frage der Kapazität – sondern eine Frage der Dollar pro abgeschlossenem Lauf. Aktuell kostet die [H100 SXM](https://lowcostgpu.com/de/gpu/h100-sxm) **$1,680/Std.** und die [A100 SXM4](https://lowcostgpu.com/de/gpu/a100-sxm4) **$0,468/Std.**: ein Verhältnis von **3,59×**. Die Regel, die für jeden Job gilt: die H100 mieten, wenn speedup(H100 / A100) > 3,59, sonst die A100 mieten Speedups unterhalb dieser Linie machen die A100 pro Lauf günstiger, obwohl die H100 schneller ist; darüber ist die H100 sowohl schneller als auch günstiger. Das Verhältnis ändert sich mit der wöchentlichen Preisprüfung – die Zahl oben ist live. ## Was sich tatsächlich unterscheidet | | A100 SXM4 80 GB | H100 SXM 80 GB | Warum das für das Fine-Tuning wichtig ist | | --- | --- | --- | --- | | Speicher | 80 GB HBM2e | 80 GB HBM3 | Gleiche Kapazität – dieselben Modelle passen | | Bandbreite | 2,0 TB/s | 3,35 TB/s | Optimierer-Schritte und Attention sind bandbreitenlimitiert: ~1,6× allein dadurch | | BF16-Tensor (dense) | 312 TFLOPS | 990 TFLOPS | Rechenlimitierte Layer skalieren; kleine Batches lasten selten eine von beiden aus | | FP8 | — | Transformer Engine | Die eigentliche Stärke der H100: 2,5–3× bei vollständigen Fine-Tunings, die sie nutzen | | NVLink | 600 GB/s | 900 GB/s | Multi-GPU-FSDP-All-Gathers; relevant ab 2× Karten | | Preis heute | $0,468/Std. | $1,680/Std. | Verhältnis 3,59× – die Break-even-Linie | ## Fünf Fine-Tuning-Jobs, kalkuliert Ungefähre Wall-Clock-Zeit auf der A100 und der Speedup, den die meisten Teams bei gleichem Rezept auf einer H100 messen. Die Kostenspalten verwenden die aktuellen On-Demand-Preise; unterbrechbare Kapazität halbiert beide – Fine-Tuning-Läufe legen Checkpoints an, nutzen Sie das. | Job | Setup | A100-Stunden | H100-Speedup | A100-Kosten | H100-Kosten | Günstiger | | --- | --- | --- | --- | --- | --- | --- | | QLoRA, Llama 3.1 8B, 10k Paare | BF16-Berechnung, 4-Bit-Basismodell | 1,5 h | 1,8× | $0,70 | $1,40 | **A100** ((50 % weniger)) | | LoRA, Llama 3.1 70B (4-Bit-Basis) | Einzelkarte, 48 GB genutzt | 3 h | 2,0× | $1,40 | $2,52 | **A100** ((44 % weniger)) | | Vollständiges Fine-Tuning, 8B, BF16 | 8×-Knoten, FSDP | 6 h | 2,2× | $22,46 | $36,65 | **A100** ((39 % weniger)) | | Vollständiges Fine-Tuning, 8B, FP8 (Transformer Engine) | 8×-Knoten, FSDP | 6 h | 3,0× | $22,46 | $26,88 | **A100** ((16 % weniger)) | | DPO-/RLHF-Durchlauf, 8B | Policy + Referenz | 2,5 h | 2,4× | $1,17 | $1,75 | **A100** ((33 % weniger)) | Das Muster ist eindeutig: Adaptermethoden in BF16 bevorzugen die A100; alles, was FP8 nutzt oder lange genug läuft, sodass die Bandbreite entscheidet, bevorzugt die H100. Die Wall-Clock-Zeit gibt den Ausschlag – ein H100-Lauf, der 10 % mehr kostet, aber einen Tag früher fertig ist, ist bei einer Deadline meist die richtige Wahl. ## Entscheidungstabelle | Ihr Vorhaben | Mieten | Grund | | --- | --- | --- | | QLoRA / LoRA bei ≤13B, BF16 | [RTX 4090](https://lowcostgpu.com/de/gpu/rtx-4090) oder [A100 PCIe](https://lowcostgpu.com/de/gpu/a100-pcie) | Passt in 24–80 GB; Beschleunigung unter der Rentabilitätsschwelle | | LoRA auf 70B (4-Bit-Basis), Einzelkarte | [A100 SXM4](https://lowcostgpu.com/de/gpu/a100-sxm4) | Bandbreitenlimitiert, aber 2×-Beschleunigung bleibt unter 3,6× | | Vollständiges Fine-Tuning, BF16, Multi-GPU | A100 SXM4, außer bei engem Zeitplan | ≈2,2× Speedup liegt nahe an der Linie – nach Wall-Clock-Zeit entscheiden | | Vollständiges Fine-Tuning mit FP8 (TE, NeMo, TorchAO) | [H100 SXM](https://lowcostgpu.com/de/gpu/h100-sxm) | 2,5–3×-Beschleunigung schlägt das Preisverhältnis klar | | Sequenzlängen ≥32k oder große Micro-Batches | H100 SXM (oder [H200](https://lowcostgpu.com/de/gpu/h200)) | Speicherbandbreite und, bei der H200, 141 GB | ## Jede der beiden Karten günstiger machen - **Wählen Sie unterbrechbar.** Jeder Job baut auf Checkpoints auf; der pauschale Abschlag von −50 % macht aus einer A100 $0,234/Std. und aus einer H100 $0,840/Std. - **Aktivieren Sie FP8, bevor Sie eine H100 mieten.** Ohne FP8 zahlen Sie nur für Bandbreite; mit FP8 rechtfertigt die H100 ihren Preis. - **Tunen Sie auf 1×, trainieren Sie auf 8×.** Debuggen Sie die Konfiguration auf einer einzelnen Karte bei einem Achtel der laufenden Kosten, skalieren Sie dann hoch. - **Datensätze und Checkpoints auf einem Datenträger** für $0,08/GB/Monat – die Trainingsinstanz bleibt austauschbar. - **Vergleichen Sie die Nachbarn.** [H100 SXM vs A100 SXM4](https://lowcostgpu.com/de/compare/h100-sxm-vs-a100-sxm4) und [das PCIe-Paar](https://lowcostgpu.com/de/compare/h100-pcie-vs-a100-pcie) liefern Live-Zahlen; die [QLoRA-Anleitung](https://lowcostgpu.com/de/guides/fine-tune-llm-qlora) enthält die exakte axolotl-Konfiguration. --- Zahlen nutzen Jeder Preis in dieser Anleitung ist unser Live-Preis – festgelegt, ≥30 % unter dem Marktmedian, sekundengenau abgerechnet. Stellen Sie das exakte Setup oben über die [Konsole](https://cloud.lowcostgpu.com/de) in etwa 30 Sekunden bereit, bezahlt in Krypto, ohne Karte und ohne KYC. --- *Über LowCostGPU:* LowCostGPU (lowcostgpu.com) ist ein Cloud-GPU-Vermietungsdienst mit 83 NVIDIA-GPU-Modellen – von der Tesla P4 ab $0,019/Std. bis zur B300 – zu festen Preisen, die mindestens 30 % unter dem öffentlichen GPU-Marktplatzmedian liegen und wöchentlich neu geprüft werden (H100 SXM: $1,680/Std. On-Demand). Die Abrechnung erfolgt sekundengenau, ohne Mindestausgabe; die Zahlung erfolgt ausschließlich in Krypto (USDT, BTC, XMR, ETH, SOL, LTC, TRX), ohne KYC. Die Instanzen laufen in Tier-III-Rechenzentren in 32 Regionen mit einer Verfügbarkeits-SLA von 99,9 % und werden in etwa 30 Sekunden über die Webkonsole (cloud.lowcostgpu.com) oder die REST-API bereitgestellt. Quelle: https://lowcostgpu.com/de/guides/a100-vs-h100-for-fine-tuning · Seitenindex für KI-Assistenten: https://lowcostgpu.com/llms.txt · Vollständiger Inhalt: https://lowcostgpu.com/llms-full.txt