Glossar · 85 Begriffe · Preise live aus der Preistabelle

Cloud-GPU-Glossar: das Vokabular, erklärt

Jeder Begriff, dem man bei der GPU-Miete begegnet – Abrechnungsmodelle, Speichertypen, Interconnects, Quantisierung, Serving-Stacks – erklärt in ein bis zwei eigenständigen Sätzen, mit aktuellen Zahlen, wo eine Zahl hilft.

Vollständige Preisliste GPU-Katalog

Preise & Abrechnung 17

Egress (Bandbreite): Daten, die das Netzwerk des Anbieters verlassen, und die dafür berechnete Gebühr. Egress ist eine häufige Quelle unerwarteter Rechnungen, weil Hyperscaler sie stufenweise abrechnen und bei datenintensiven Jobs mehr berechnen können als die Rechenleistung selbst. LowCostGPU berechnet pauschal $0,01 pro GB, ein- und ausgehend, in jeder Region. Mehr
GPU-Cloud: Ein Dienst, der den Zugang zu GPU-Servern stunden- oder sekundenweise vermietet, statt die Hardware zu verkaufen. Er umfasst Hyperscaler, spezialisierte Anbieter und Peer-to-Peer-Marktplätze, die sich vor allem darin unterscheiden, wem die Maschinen gehören, wie die Preise festgelegt werden und welche Verfügbarkeit zugesagt wird. Mehr
GPU-Marketplace: Ein Marktplatz, auf dem unabhängige Hosts ihre eigenen Maschinen anbieten und Mieter direkt bieten oder kaufen. Die Preise sind die niedrigsten am Markt und schwanken ständig, aber Hardwarequalität, Verfügbarkeit und Support variieren von Host zu Host, sodass der Mieter das Zuverlässigkeitsrisiko trägt. Mehr
GPU-Stunde: Eine GPU, die eine Stunde lang läuft: die Einheit, in der fast jeder Mietpreis angegeben wird. Sie gilt pro GPU, nicht pro Maschine, sodass eine 8-GPU-Instanz, die eine Stunde läuft, acht GPU-Stunden verbraucht. Bei LowCostGPU ist der Preis pro GPU von 1x bis 8x identisch, ohne Multi-GPU-Aufpreis. Mehr
Hyperscaler: Einer der sehr großen Allzweck-Clouds, die GPUs neben Hunderten weiterer Dienste verkaufen. Sie bieten tiefe Integration und Unternehmensverträge und berechnen für dieselbe NVIDIA-Karte meist ein Vielfaches des Preises spezialisierter Anbieter, mit nutzungsabhängigem ausgehendem Traffic und Committed-Use-Rabatten. Mehr
Kosten pro Bild: Die richtige Einheit für Diffusions-Workloads: der Stundensatz geteilt durch die pro Stunde erzeugten Bilder. Eine schnellere Karte zu einem höheren Stundenpreis erzeugt häufig günstigere Bilder – deshalb ist der Stundenpreis allein ein schlechter Anhaltspunkt für Stable Diffusion oder Flux. Mehr
Kosten pro Million Tokens: Die Einheit, die selbstgehostete Inferenz mit einer API vergleichbar macht: der GPU-Stundensatz geteilt durch die Tokens, die die GPU in einer Stunde erzeugt. Sie sinkt mit kontinuierlichem Batching deutlich, sodass eine pro Stunde teuer wirkende Karte oft pro Token am günstigsten ist. Mehr
Neocloud: Ein Cloud-Anbieter, der gezielt auf KI-Beschleuniger statt auf universelle Rechenleistung ausgerichtet ist. Neoclouds kaufen GPUs in großen Mengen, betreiben sie in gemieteten Rechenzentrumsflächen und konkurrieren über Preis und Verfügbarkeit statt über die Breite des Angebots. Mehr
On-Demand-Instanz: Kapazität, die in dem Moment reserviert wird, in dem Sie sie anfordern, und bis zur Freigabe gehalten wird, zu einem Satz, der nicht überboten oder zurückgefordert werden kann. Bei LowCostGPU kostet eine On-Demand-GPU das 0,70-Fache des öffentlichen Marktmedians – eine H100 SXM zu $1,680 pro GPU-Stunde – und der Satz ist für die gesamte Lebensdauer der Instanz festgeschrieben. Mehr
PowerScore: LowCostGPUs Index für dichten FP16-Tensor-Durchsatz, normiert so, dass eine RTX 3090 den Wert 100 erreicht. Er liefert eine einzige vergleichbare Kennzahl über Generationen hinweg, wenn rohe TFLOPS-Werte unter unterschiedlichen Sparsity- und Präzisionskonventionen angegeben werden. Er misst ausschließlich Rechenleistung, nicht Speicherkapazität oder Bandbreite. Mehr
Preisbildung nach dem Marktmedian: Einen Preis als veröffentlichtes Verhältnis zum mittleren Marktpreis für dieselbe Hardware festlegen, statt nach Liste, Auktion oder Verhandlung. LowCostGPU verwendet für jedes Modell den Median des öffentlichen GPU-Marktplatzes, multipliziert mit 0,70 und abgerundet, wöchentlich neu geprüft – der Rabatt beträgt also mindestens 30 % und lässt sich rechnerisch nachprüfen. Mehr
Preise für Instanzdatenträger: Was der einer gemieteten GPU zugeordnete Datenträger kostet, meist pro GB und Monat, abgerechnet unabhängig davon, ob die Instanz läuft. LowCostGPU berechnet $0,08 pro GB und Monat, sekundengenau abgerechnet, zum gleichen Satz, egal ob die Instanz läuft oder gestoppt ist; die Abrechnung endet, wenn die Instanz gelöscht wird. Mehr
Preisobergrenze: Eine veröffentlichte Preisobergrenze für das, was ein Anbieter berechnet, bezogen auf eine externe Referenz. LowCostGPU verpflichtet sich, bei keinem Modell mehr als 70 % des öffentlichen Marktmedians zu berechnen; da die Referenz öffentlich ist und die Preisliste als JSON bereitgestellt wird, lässt sich die Zusage jederzeit ohne Konto überprüfen. Mehr
Rentabilitätsschwelle Miete/Kauf: Der Auslastungsgrad, ab dem der Kauf einer GPU günstiger wird als ihre Miete. Er vergleicht den Kaufpreis zuzüglich Hosting, Strom und Kühlung mit dem Mietpreis multipliziert mit den tatsächlich genutzten Stunden. Da die meisten Teams weit unter Vollauslastung arbeiten, liegt die ehrliche Rentabilitätsschwelle meist eher bei Jahren als bei Monaten. Mehr
Reservierte Instanz: Kapazität, die für eine feste Laufzeit zugesagt wird, im Austausch für einen niedrigeren Stundensatz. LowCostGPU reserviert zu 65 % des On-Demand-Preises bei einer Laufzeit von drei Monaten, mit einem für die gesamte Laufzeit festgeschriebenen Satz: $1,092 pro Stunde für eine H100 SXM. Es rechnet sich ab einer Auslastung von etwa zwei Dritteln. Mehr
Sekundengenaue Abrechnung: Abrechnung nach der tatsächlichen Laufzeit statt Aufrundung auf die volle Stunde. Ein 47-minütiger Job kostet 47 Minuten. Das zählt vor allem bei unregelmäßiger Last wie Render-Frames, Batch-Inferenz und Experimenten, wo stündliche Aufrundung eine Rechnung um ein Drittel erhöhen kann. LowCostGPU rechnet GPU-Zeit, Datenträger und Bandbreite sekundengenau ab. Mehr
Unterbrechbare Instanz (Spot, präemptiv): Eine vergünstigte Instanz, die der Anbieter pausieren oder zurückfordern kann, wenn die Kapazität anderswo benötigt wird. Die meisten Clouds betreiben sie als Auktion, bei der sich Preis und Unterbrechungsrisiko stündlich ändern. LowCostGPU berechnet pauschal 50 % des On-Demand-Preises ohne Gebote, behält den Datenträger und reiht den Job automatisch neu ein: $0,840 pro Stunde für eine H100 SXM. Mehr

GPU-Hardware 19

CUDA-Kern: Die universelle Shader-Einheit einer NVIDIA-GPU, genutzt für Grafik, Simulation und jeden Code, der keine Matrixmultiplikation ist. Die Anzahl ist nützlich für Rendering- und wissenschaftliche Workloads, aber ein schlechter Indikator für KI-Leistung, die von Tensor Cores und Speicherbandbreite dominiert wird. Mehr
Dedizierte GPU: Eine physische GPU, die für die gesamte Lebensdauer der Instanz einem einzigen Mieter zugewiesen ist, statt per Time-Slicing oder zwischen Kunden partitioniert zu werden. Sie beseitigt den „Noisy Neighbour“-Effekt auf den Durchsatz und hält die Speicherinhalte für den Mieter privat. Jede Instanz von LowCostGPU ist dediziert. Mehr
FP16 und BF16: Halbpräzisionsformate für die meisten modernen Trainings- und Inferenzaufgaben. FP16 bietet mehr Mantissenpräzision, BF16 einen breiteren Exponentenbereich, der das Training ohne Loss Scaling stabiler macht. Beide benötigen etwa 2 GB Speicher pro Milliarde Modellparameter, ohne Aktivierungen und Cache. Mehr
FP32: 32-Bit-Gleitkommazahl, die traditionelle Präzision für wissenschaftliches Rechnen und Rendering. Für das Training neuronaler Netze ist sie weitgehend obsolet, da reduzierte Präzisionen bei gleicher Qualität mehrfach schneller laufen – sie bestimmt aber weiterhin Simulation, CAD und viele HPC-Codes. Mehr
FP8: Ein 8-Bit-Gleitkommaformat, das ab der Hopper-Generation nativ unterstützt wird. Verglichen mit FP16 verdoppelt es näherungsweise den Durchsatz und halbiert den Speicherbedarf, bei geringem Qualitätsverlust – deshalb bedienen H100-, H200- und Blackwell-Karten große Modelle deutlich günstiger, als es ihre reinen FP16-Werte vermuten lassen. Mehr
GDDR6X / GDDR7: Der Grafikspeicher, der auf Consumer- und Workstation-Karten zum Einsatz kommt: günstiger und mit geringerer Kapazität als HBM, bei niedrigerer Bandbreite. Die RTX 4090 hat 24 GB GDDR6X, die RTX 5090 32 GB GDDR7. Das ist der Grund, warum Consumer-Karten beim Preis pro Token gewinnen, bei sehr großen Modellen aber verlieren. Mehr
HBM3 / HBM3e: High Bandwidth Memory, vertikal neben dem GPU-Die gestapelt, um Bandbreiten zu erreichen, die um ein Vielfaches über denen von Grafikspeicher liegen. Die H100 SXM kombiniert 80 GB HBM3 mit etwa 3,35 TB/s; die H200 trägt 141 GB HBM3e mit etwa 4,8 TB/s. Meist bestimmt die Bandbreite, nicht die Kapazität, die Inferenzgeschwindigkeit. Mehr
InfiniBand: Ein Netzwerk-Fabric mit geringer Latenz, das GPU-Server zu einem Trainingscluster verbindet, mit Remote Direct Memory Access zwischen den Knoten. Verteiltes Training ist durch den Gradientenaustausch begrenzt, sodass die Qualität des Fabrics entscheidet, ob ein zweiter Knoten einen Trainingslauf beschleunigt oder kaum etwas bringt. Mehr
INT8 und INT4: Ganzzahlpräzisionen zum Verkleinern von Modellen nach dem Training. INT8 benötigt etwa 1 GB pro Milliarde Parameter, INT4 etwa 0,55 GB – die Quantisierung eines 70B-Modells auf 4 Bit bringt es von rund 150 GB auf etwa 44 GB herunter, der Unterschied zwischen zwei Flaggschiff-Karten und einer. Mehr
Multi-GPU-Instanz: Eine Maschine mit mehreren GPUs am selben Host, von 2x bis 8x. Das ist der einfachste Weg, ein Modell auszuführen, das zu groß für eine einzelne Karte ist, mittels Tensor-Parallelität. Bei LowCostGPU kostet eine 8x-Maschine genau das Achtfache des Preises pro GPU, ohne Aufpreis für die größere Konfiguration. Mehr
NVLink: Der Hochgeschwindigkeits-Interconnect von NVIDIA zwischen GPUs innerhalb einer Maschine, um eine Größenordnung schneller als PCIe. Er zählt, wenn ein Modell auf mehrere Karten verteilt wird, weil tensor-parallele Inferenz und Multi-GPU-Training ständig Aktivierungen austauschen. Multi-GPU-SXM-Maschinen bei LowCostGPU verfügen darüber. Mehr
NVSwitch: Ein Switch-Chip, der es jeder GPU in einem Server erlaubt, mit jeder anderen in voller NVLink-Geschwindigkeit zu kommunizieren, statt nur mit ihren Nachbarn. Er sorgt dafür, dass sich ein 8-GPU-HGX-Knoten für Trainingsläufe, die sich über alle acht Karten erstrecken, wie ein einziger großer Beschleuniger verhält. Mehr
PCIe vs SXM: Zwei physische Bauformen derselben Datacenter-GPU. PCIe-Karten passen in Standardserver, ziehen weniger Strom und kosten weniger; SXM-Module werden direkt auf dem Board montiert, mit höheren Leistungsgrenzen und vollständigem NVLink, was mehr Bandbreite und bessere Multi-GPU-Skalierung ermöglicht. Derselbe Chip verhält sich in beiden unterschiedlich. Mehr
Speicherbandbreite: Wie schnell sich Daten zwischen Speicher und Recheneinheiten einer GPU bewegen lassen, in GB/s oder TB/s. Die Token-Generierung in einem Sprachmodell liest bei jedem Token den gesamten Gewichtssatz, weshalb meist die Bandbreite – nicht die reinen FLOPS – die Single-Stream-Inferenzgeschwindigkeit begrenzt. Mehr
TDP: Thermische Verlustleistung (TDP): die Wärme, für deren dauerhafte Abfuhr eine GPU ausgelegt ist, in Watt – ein guter Anhaltspunkt dafür, wie viel Strom sie zieht. Das erklärt, warum eine effiziente Karte wie die L4 mit 72 W im Dauerbetrieb günstiger sein kann als eine schnellere Karte, die die meiste Zeit im Leerlauf verbringt. Mehr
Tensor Core: Eine spezialisierte Einheit in modernen NVIDIA-GPUs, die kleine Matrizen mit reduzierter Präzision multipliziert. Tensor Cores übernehmen die Hauptlast bei Training und Inferenz, und die Generation des Tensor Cores – Ampere, Ada, Hopper, Blackwell – zählt für den KI-Durchsatz mehr als die Anzahl der CUDA-Kerne. Mehr
TFLOPS: Billionen Gleitkommaoperationen pro Sekunde, die zentrale Kennzahl für den Rechendurchsatz. Zahlen sind nur vergleichbar, wenn Präzision und Sparsity-Konvention übereinstimmen: LowCostGPU gibt überall den dichten FP16-Tensor-Durchsatz ohne Sparsity an – etwa halb so hoch wie die Sparsity-Werte, die manche Anbieter veröffentlichen. Mehr
Tier-III-Rechenzentrum: Eine Einrichtung, die auf gleichzeitige Wartbarkeit ausgelegt ist: redundante Strom- und Kühlpfade, sodass jede Komponente gewartet werden kann, ohne Server abschalten zu müssen. Sie ist die praktische Trennlinie zwischen professionellem Hosting und einer Maschine im eigenen Wohnzimmer. Jede GPU von LowCostGPU steht in einem Tier-III- oder vergleichbaren Rechenzentrum. Mehr
VRAM: Der auf die GPU gelötete Speicher, der Modellgewichte, Aktivierungen und Cache hält. Er ist die erste Einschränkung bei jeder GPU-Entscheidung: Passt das Modell nicht hinein, spielt der Durchsatz keine Rolle. Mietbare Karten reichen von 6 GB bis 288 GB bei den neuesten Datacenter-Modellen. Mehr

Inferenz & Serving 14

Durchsatz versus Latenz: Der zentrale Zielkonflikt beim Serving. Durchsatz ist die gesamte Arbeit pro Sekunde über alle Nutzer hinweg und bestimmt die Kosten; Latenz beschreibt, wie lange eine einzelne Anfrage wartet, und bestimmt die Nutzererfahrung. Größere Batches erhöhen den Durchsatz und verlängern einzelne Antworten, weshalb die richtige Einstellung davon abhängt, ob Sie eine Chat-UI oder einen Backlog bedienen. Mehr
GGUF: Ein Einzeldateiformat für quantisierte Sprachmodelle, verwendet von llama.cpp und Ollama. Es bündelt Gewichte, Tokenizer und Metadaten in einer gewählten Quantisierungsstufe, wodurch sich Modelle leicht zwischen Maschinen verschieben lassen, und ist die übliche Art, ein Modell auf einer kleinen gemieteten GPU auszuführen. Mehr
Kaltstart: Die Verzögerung, bevor ein inaktiver Dienst seine erste Anfrage beantworten kann: Sie umfasst das Abrufen des Images, das Zuweisen einer GPU und das Laden der Gewichte in den VRAM. Sie ist der Hauptkostenfaktor beim Scale-to-Zero und der Grund, warum Gewichte meist auf einem schnellen lokalen Datenträger gehalten werden, statt aus einem Objektspeicher abgerufen zu werden. Mehr
Kontextfenster: Die maximale Anzahl an Tokens, die ein Modell gleichzeitig berücksichtigen kann – Prompt und generierte Ausgabe zusammen. Lange Fenster sind eher ein Speicherproblem als ein Rechenproblem: Der KV-Cache wächst mit dem Kontext, sodass das Bedienen von 128k Tokens ein Vielfaches des VRAM der reinen Gewichte benötigen kann. Mehr
Kontinuierliches Batching: Eine Serving-Technik, die neue Anfragen in einen laufenden Batch aufnimmt, sobald frühere abgeschlossen sind, statt auf das Ende des gesamten Batches zu warten. Sie hält die GPU bei ungleichmäßigem Traffic ausgelastet und ist der größte einzelne Hebel für die Kosten pro Token, weshalb vLLM und ähnliche Server standardmäßig darauf setzen. Mehr
KV-Cache: Der KV-Cache speichert die Attention-Keys und -Values bereits verarbeiteter Tokens, damit jedes neue Token nicht die gesamte Konversation erneut lesen muss. Er wächst mit der Kontextlänge und der Zahl gleichzeitiger Anfragen und ist der Speicherkostenfaktor, den die meisten Dimensionierungsschätzungen übersehen – bis eine Anfrage mit langem Kontext den VRAM aufbraucht. Mehr
LLM-Inferenz: Ein trainiertes Sprachmodell ausführen, um Ausgaben zu erzeugen, im Gegensatz zum Training. Es gliedert sich in einen rechenintensiven Prefill-Durchlauf über den Prompt und eine bandbreitengebundene Decode-Schleife, die jeweils ein Token nach dem anderen ausgibt – weshalb meist die Speicherbandbreite über die spürbare Geschwindigkeit entscheidet. Mehr
Ollama: Ein Tool, das quantisierte Sprachmodelle lokal mit einem einzigen Befehl herunterlädt und ausführt, unter Verwendung von GGUF-Dateien. Es bevorzugt Einfachheit gegenüber maximalem Durchsatz, wodurch es sich gut für eine einzelne gemietete GPU eignet, die als privater Assistent oder Entwicklungs-Backend genutzt wird. Mehr
Quantisierung: Modellgewichte mit geringerer Präzision speichern – 8-Bit oder 4-Bit statt 16 – um Speicherbedarf zu senken und die Geschwindigkeit zu erhöhen. Moderne 4-Bit-Verfahren verlieren bei den meisten Aufgaben kaum messbare Qualität und senken den Speicherbedarf auf etwa ein Viertel, weshalb die Quantisierung oft darüber entscheidet, ob ein Modell auf eine erschwingliche Karte passt. Mehr
Scale-to-Zero: Sämtliche Kapazität herunterfahren, wenn kein Traffic anliegt, sodass ein inaktiver Endpunkt nichts außer Speicherplatz kostet. Das eignet sich für Workloads mit Lastspitzen oder nächtlicher Inaktivität; ein Dienst mit gleichmäßigem Traffic ist auf einer warmgehaltenen reservierten Instanz günstiger, da er die Kaltstartverzögerung nie in Kauf nehmen muss. Mehr
Serverless-GPU-Endpunkt: Ein gehosteter HTTP-Endpunkt, der pro Anfrage GPUs zuweist und sie danach wieder freigibt, wobei nur die tatsächlich für die Berechnung aufgewendete Zeit berechnet wird. Er macht Kapazitätsplanung überflüssig – auf Kosten von Kaltstarts – und eignet sich am besten für Inferenz mit unregelmäßiger Last statt für lang laufendes Training. Mehr
Tensor-Parallelität: Jede Schicht eines Modells auf mehrere GPUs aufteilen, sodass sie gemeinsam einen Forward-Pass berechnen. So wird ein Modell bereitgestellt, das größer als eine einzelne Karte ist; es hängt stark von der Interconnect-Geschwindigkeit ab: Über NVLink verbundene Karten skalieren gut, reine PCIe-Karten verlieren mehr durch Kommunikation. Mehr
Tokens pro Sekunde: Das Durchsatzmaß für Sprachmodelle. Dahinter verbergen sich zwei unterschiedliche Zahlen: die Geschwindigkeit pro Stream, die ein einzelner Nutzer als Reaktionsschnelligkeit wahrnimmt, und die Gesamtgeschwindigkeit über alle gleichzeitigen Anfragen hinweg, die die Kosten pro Million Tokens bestimmt. Batching erhöht die zweite drastisch, während sich die erste kaum ändert. Mehr
vLLM: Ein Open-Source-Inferenzserver für Sprachmodelle, aufgebaut auf Paged Attention und kontinuierlichem Batching, mit einem OpenAI-kompatiblen HTTP-Endpunkt. Er ist die übliche Wahl für selbstgehostetes Serving, weil er eine GPU weit besser auslastet als naive Generierungsschleifen. Mehr

Training & Fine-Tuning 9

Checkpoint: Ein gespeicherter Snapshot von Modellgewichten und Optimierer-Zustand mitten im Lauf, damit das Training nach einer Unterbrechung fortgesetzt werden kann. Häufiges Checkpointing auf einem persistenten Datenträger macht günstige unterbrechbare Kapazität für lange Trainingsjobs nutzbar: Eine Unterbrechung kostet Minuten statt des gesamten Trainingslaufs. Mehr
Daten-Parallelität: Das gesamte Modell auf jede GPU kopieren und jeder Kopie einen anderen Teil des Batches zuweisen, anschließend die Gradienten mitteln. Das ist der einfachste Weg, das Training zu skalieren, wenn das Modell auf eine Karte passt; die Geschwindigkeit ist dadurch begrenzt, wie schnell sich Gradienten zwischen den GPUs austauschen lassen. Mehr
Epoche: Ein vollständiger Durchlauf des Trainingsprozesses durch den Datensatz. Fine-Tunes laufen meist über eine kleine Anzahl von Epochen, und die Epochendauer multipliziert mit dem Stundensatz ist der ehrliche Weg, zwei GPUs zu vergleichen: Eine Karte zum doppelten Preis, die in einem Drittel der Zeit fertig ist, ist pro Lauf günstiger. Mehr
Fine-Tuning: Das Fortsetzen des Trainings eines vortrainierten Modells mit eigenen Daten, um ihm eine Domäne, ein Format oder ein Verhalten beizubringen. Es kostet um Größenordnungen weniger als ein Training von Grund auf und ist der übliche Grund, warum ein Team GPUs für Tage statt Monate mietet. Mehr
Gemischte Präzision: Die meisten Operationen in 16-Bit ausführen, während empfindliche Akkumulationen in 32-Bit bleiben. Das halbiert grob den Speicherbedarf und verdoppelt den Durchsatz, ohne spürbaren Qualitätsverlust, und ist der Standard in jedem modernen Trainings-Stack; BF16 vermeidet das Loss-Scaling, das FP16 erfordert. Mehr
LoRA: Low-Rank Adaptation: Die ursprünglichen Gewichte werden eingefroren, stattdessen werden kleine zusätzliche Matrizen trainiert. Das reduziert die trainierbaren Parameter um Größenordnungen, sodass ein Fine-Tuning auf einer einzigen Consumer-Karte Platz findet, und das Ergebnis liegt als kleine Adapterdatei vor, die sich beim Laden austauschen oder zusammenführen lässt. Mehr
Pretraining: Das Training eines Modells, ausgehend von einer zufälligen Initialisierung, auf einem sehr großen Korpus. Es ist die teuerste Aufgabe auf GPUs, gemessen in Knotenmonaten auf vernetzten Clustern, und deshalb zählen hier HBM-Kapazität, NVLink und InfiniBand weit mehr als der Stundenpreis einer einzelnen Karte. Mehr
QLoRA: LoRA, angewendet auf ein 4-Bit-quantisiertes Basismodell, sodass die eingefrorenen Gewichte nur ein Viertel des Speichers belegen, während die Adapter mit höherer Präzision trainiert werden. Das macht das Fine-Tuning eines 70B-Modells auf einer einzelnen 48-GB- oder 80-GB-Karte praktikabel. Mehr
Vollständiges Fine-Tuning: Die Aktualisierung jedes einzelnen Gewichts im Modell statt eines kleinen Adapters. Sie benötigt Speicher für Gewichte, Gradienten und Optimierer-Zustände – oft mehr als das Zehnfache der reinen Gewichte in FP16 –, weshalb meist ein Multi-GPU-Knoten nötig ist; der Mehraufwand lohnt sich nur, wenn LoRA nachweislich nicht ausreicht. Mehr

Plattform & Zugang 18

API-Schlüssel: Ein geheimer Schlüssel, der programmatische Anfragen authentifiziert und als Bearer-Token übermittelt wird. LowCostGPU-Schlüssel werden einmalig angezeigt und nur als Hash gespeichert, verfügen über die vollen Berechtigungen des Kontos und sollten pro Maschine eingeschränkt werden, damit ein kompromittierter Schlüssel widerrufen werden kann, ohne sonst etwas zu beeinträchtigen. Mehr
Bare Metal: Ein kompletter physischer Server, gemietet ohne Virtualisierungsschicht zwischen Mieter und Hardware. Er bietet maximale Leistung und volle Kontrolle auf Kosten von Flexibilität und Mindestlaufzeit und ist normalerweise eher großen, dauerhaften Workloads vorbehalten als Experimenten. Mehr
CLI: Ein Kommandozeilen-Client, der die API kapselt, sodass sich Maschinen aus einer Shell oder einer CI-Pipeline heraus suchen, starten und stoppen lassen, ohne HTTP-Aufrufe zu schreiben. Er ist der übliche Weg, die GPU-Miete innerhalb eines Build-Skripts reproduzierbar zu machen. Mehr
Cluster: Mehrere GPU-Server, verbunden durch ein latenzarmes Fabric und als ein einziger Pool eingeplant, für Trainingsläufe, die zu groß für einen einzelnen Knoten sind. Sobald mehr als eine Maschine im Spiel ist, wird das Netzwerk zum Engpass, weshalb InfiniBand oder Vergleichbares sowie die Topologie zwischen den Knoten genauso wichtig sind wie die GPUs selbst. Mehr
Container-Instanz: Ein GPU-Workload, der in einem Container läuft, der sich den Kernel des Hosts teilt, wobei die NVIDIA-Runtime eingebunden ist. Container starten in etwa dreißig Sekunden, weil das Image bereits vorab zwischengespeichert ist, wodurch sie sich für alles eignen, was keinen eigenen Kernel oder angepasste Treiber benötigt. Mehr
Docker-/OCI-Image: Ein verpacktes Dateisystem samt Konfiguration, das genau festlegt, was auf der Instanz läuft, identifiziert über eine Registry-Referenz. Jedes OCI-konforme Image funktioniert auf LowCostGPU mit eingebundener NVIDIA-Runtime, sodass eine lokal validierte Umgebung auf gemieteter Hardware identisch läuft. Mehr
JupyterLab: Eine browserbasierte Notebook-Umgebung, die üblicherweise auf GPU-Templates vorinstalliert und über einen zugeordneten Port zugänglich ist. Sie eignet sich für interaktives Experimentieren und Dateninspektion; lange Trainingsläufe werden besser über eine Shell gestartet, damit sie das Schließen eines Browser-Tabs überstehen. Mehr
llms.txt: Eine reine Textdatei im Stammverzeichnis einer Website, die Sprachmodellen einen kuratierten Index ihrer Inhalte und wichtigsten Fakten liefert, so wie robots.txt Crawlern eine Richtlinie vorgibt. LowCostGPU veröffentlicht eine solche Datei sowie eine vollständige Markdown-Version und liefert jede Seite auf Anfrage als Markdown aus. Mehr
MCP (Model Context Protocol): Ein offenes Protokoll, mit dem ein KI-Assistent über eine Standardschnittstelle externe Tools aufrufen und externe Daten lesen kann, statt sich auf während des Trainings erlerntes Wissen zu verlassen. LowCostGPU betreibt einen öffentlichen, schreibgeschützten MCP-Server, damit ein Assistent aktuelle GPU-Preise nennen, Karten vergleichen und einen Job kalkulieren kann. Mehr
Region: Der geografische Standort des Rechenzentrums, in dem Ihre Instanz läuft. Er bestimmt die Netzwerklatenz zu Ihren Nutzern, welcher Jurisdiktion die Hardware unterliegt, und mitunter die Verfügbarkeit einer bestimmten GPU. LowCostGPU betreibt 32 Regionen auf fünf Kontinenten zu einem einheitlichen Preis. Mehr
REST-API: Eine HTTP-Schnittstelle zur Steuerung des Dienstes per Code. Bei LowCostGPU sind die Endpunkte für Preise und Bestand öffentlich und benötigen keinen Schlüssel, sodass sich die gesamte Preisliste vor der Kontoerstellung lesen lässt; Bereitstellen, Stoppen und Löschen von Instanzen nutzen dieselbe API mit einem Bearer-Token. Mehr
SDK: Eine typisierte Client-Bibliothek, die die API auf native Objekte abbildet und Authentifizierung, Wiederholungsversuche und Fehlerbehandlung übernimmt. Das zählt vor allem, wenn die GPU-Bereitstellung Teil einer Anwendung ist statt einer Aufgabe für den Betreiber – etwa beim Start eines Workers pro Job. Mehr
SLA: Ein Service Level Agreement (SLA): die Verfügbarkeit, zu der sich ein Anbieter verpflichtet, und was er schuldet, wenn er sie verfehlt. Eine Zusage ohne Ausgleich ist Marketing. LowCostGPU veröffentlicht ein monatliches Ziel von 99,9 % für On-Demand- und reservierte Instanzen, mit Servicegutschriften, wenn es nicht erreicht wird. Mehr
SSH-Zugang: Eine verschlüsselte Shell-Sitzung auf der gemieteten Maschine, per Schlüssel authentifiziert. Sie ist der kleinste gemeinsame Nenner für die Arbeit auf einer GPU-Instanz: beliebige Software installieren, lange Jobs unter einem Terminal-Multiplexer ausführen und Daten mit rsync oder rclone hinein- und herauskopieren. Mehr
Template: Ein vorgefertigtes Container-Image mit bereits installiertem Stack, mit einem Klick gestartet, sodass die Umgebung in Sekunden bereit ist statt erst nach einem Nachmittag Treiber-Debugging. LowCostGPU veröffentlicht 37 Templates aus offiziellen Upstream-Images – PyTorch, vLLM, ComfyUI, Ollama und weitere – und das Template selbst ist kostenlos. Mehr
Verfügbarkeitsgutschrift: Eine Entschädigung als Gutschrift auf dem Konto, wenn ein Anbieter seine Verfügbarkeitszusage verfehlt – meist als Prozentsatz der betroffenen Ausgaben und meist auf Antrag statt automatisch gewährt. Es ist der einzige Teil einer SLA mit echter Durchsetzungskraft, weshalb die Gutschrifttabelle mehr zählt als die genannte Prozentzahl. Mehr
Virtuelle Maschine: Ein vollständiges Gastbetriebssystem mit durchgereichter GPU, das mit eigenem Kernel und Root-Zugriff startet. Der Start dauert Minuten statt Sekunden, und genau das benötigen Sie für eigene Kernelmodule, Desktop-Umgebungen oder Software, die sich weigert, in einem Container zu laufen. Mehr
Volume: Netzwerkgebundener Speicher, der die Instanz überdauert, die ihn nutzt, sodass Modelle, Datensätze und Ausgaben erhalten bleiben, wenn die Maschine gelöscht wird. Werden Gewichte auf einem Datenträger gehalten, werden Instanzen zu austauschbarer Rechenleistung, und Kaltstarts verkürzen sich, da der Download nur einmal stattfindet. LowCostGPU berechnet $0,08 pro GB im Monat. Mehr

Zahlung & Identität 8

Aufladung: Das Aufladen eines Guthabens. Bei LowCostGPU erzeugt eine Aufladung eine einmalige Einzahlungsadresse für die gewählte Kryptowährung; das Guthaben erscheint nach der Netzwerkbestätigung – von Sekunden bei TRON oder Solana bis zu etwa einer halben Stunde bei Bitcoin. Der Mindestbetrag beträgt $40, und das Guthaben verfällt nie. Mehr
Guthaben: Ein Guthaben, das vor der Nutzung aufgeladen und im Laufe der Nutzung verbraucht wird, anstelle einer Rechnung am Monatsende. Es begrenzt das Risiko – ein außer Kontrolle geratener Job stoppt, sobald das Guthaben aufgebraucht ist – und macht die Bonitätsprüfung überflüssig, die bei einer Abrechnung per Karte sonst nötig wäre. LowCostGPU-Guthaben werden in USD geführt und sind auf Anfrage erstattungsfähig. Mehr
KYC: Know Your Customer: die Identitätsprüfung, die ein Anbieter vor der Aufnahme eines Kunden durchführt, typischerweise ein Ausweisdokument, eine Karte mit übereinstimmendem Namen oder ein Handelsregistereintrag. Sie ist eine regulatorische Vorgabe für Finanzdienstleister und eine unternehmerische Entscheidung für Compute-Anbieter. Mehr
Monero (XMR): Eine Kryptowährung, bei der Beträge und Teilnehmer auf Protokollebene standardmäßig verborgen sind, statt lediglich pseudonym zu sein. Sie ist die datenschutzfreundliche Option unter den von LowCostGPU akzeptierten Assets, und Bestätigungen treffen in der Regel innerhalb weniger Minuten ein. Mehr
Stablecoin: Eine Kryptowährung, die darauf ausgelegt ist, einen konstanten Wert gegenüber einer Fiatwährung zu halten, meist dem US-Dollar. Sie ist die praktische Art, Rechenleistung in Krypto zu bezahlen, weil sich der geschuldete Betrag zwischen dem Senden der Transaktion und ihrer Bestätigung nicht ändert. Mehr
TRC-20 und ERC-20: Die Token-Standards in den Netzwerken TRON beziehungsweise Ethereum. Derselbe Stablecoin existiert auf beiden, doch die Adressen sind nicht austauschbar: Eine ERC-20-Überweisung an eine TRC-20-Adresse führt zum Verlust der Mittel – deshalb nennen Einzahlungsseiten immer das Netzwerk. Mehr
USDT: Tether, der am weitesten verbreitete Dollar-Stablecoin, ausgegeben auf mehreren Blockchains. LowCostGPU akzeptiert ihn auf TRON (TRC-20) und Ethereum (ERC-20); das gewählte Netzwerk ändert nur die Gebühr und die Bestätigungszeit, nicht den gutgeschriebenen Betrag. Mehr
Vermietung ohne KYC: Rechenleistung mieten, ohne Identitätsdokumente einzureichen – möglich, weil die Abwicklung im Voraus bezahlt wird statt auf Kreditbasis zu laufen. Bei LowCostGPU besteht ein Konto aus einer E-Mail-Adresse und einem Passwort, finanziert durch eine Kryptoaufladung; keine Dokumente, keine Karte und keine gespeicherten IP-Adressen. Mehr

Die drei Fragen hinter den meisten dieser Begriffe

Ausführlichere Antworten finden Sie in den Anleitungen; die Zahlen hinter jedem Preis stehen auf der Seite zur Preismethodik.

Was ist eine GPU-Stunde?

Eine GPU, die eine Stunde läuft. Das ist die Einheit, in der jeder Cloud-GPU-Preis angegeben wird, und zwar pro GPU statt pro Maschine: Eine 8-GPU-Instanz, die eine Stunde läuft, verbraucht acht GPU-Stunden. Bei LowCostGPU ist der Preis pro GPU von 1× bis 8× identisch, und die Abrechnung erfolgt sekundengenau, sodass ein 12-Minuten-Job mit 0,2 GPU-Stunden abgerechnet wird.

Was ist der Unterschied zwischen On-Demand- und unterbrechbaren GPUs?

On-Demand-Kapazität ist garantiert, solange Sie die Instanz behalten: Niemand kann sie Ihnen wegnehmen, und der Preis wird bei der Bereitstellung fixiert. Unterbrechbare Kapazität ist günstiger, weil sie pausiert werden kann, wenn die Hardware anderswo benötigt wird. Bei LowCostGPU sind unterbrechbare Instanzen pauschal 50 % günstiger als On-Demand, ohne Gebote: Der Datenträger bleibt erhalten, und die Instanz wird automatisch neu eingereiht – das eignet sich für Training mit Checkpoints, Batch-Inferenz und Render-Warteschlangen.

Wie viel VRAM benötigt ein Modell?

Bei einem LLM sind es etwa 2,4 GB pro Milliarde Parameter in FP16 und etwa 0,62 GB pro Milliarde bei 4-Bit, zuzüglich Platz für den KV-Cache, der mit Kontextlänge und Nebenläufigkeit wächst. Ein 70B-Modell benötigt daher etwa 44 GB bei 4-Bit – eine 80-GB-Karte – oder zwei 80-GB-Karten in FP16. Vollständige Tabellen gibt es im Leitfaden zu den VRAM-Anforderungen.