Läuft in ~30 s
Vorab zwischengespeichertes Image, Ports zugeordnet, TLS terminiert – der Stack läuft, bevor Sie diesen Satz zu Ende gelesen haben.
Template · Training & Fine-Tuning · CUDA 12.6
Axolotl-Fine-Tuning auf einer Cloud-GPU starten, in 30 Sekunden
Fine-Tuning von Llama, Qwen oder Mistral aus einer einzigen YAML-Datei – LoRA, QLoRA und Multi-GPU-FSDP. Axolotl übernimmt das Fine-Tuning von Llama, Qwen, Mistral und weiteren Modellen aus einer einzigen YAML-Datei: LoRA, QLoRA, Full-Parameter, DeepSpeed und FSDP, inklusive vorbereiteter Datensatzformate. Auf diesem Template basiert unsere QLoRA-Anleitung – Checkpoints landen auf einem Datenträger, die Trainer-Instanz ist danach entbehrlich. Ab $0,177/Std. auf einer unterbrechbaren RTX 4090.
Template ist kostenlos
Sie zahlen nur den GPU-Preis: Axolotl – Fine-Tuning auf einer RTX 4090 kostet $0,354/Std. On-Demand, $0,177/Std. unterbrechbar, abgerechnet pro Sekunde.
Volumes für Zustandsdaten
Modelle, Datensätze und Ausgaben liegen auf einem Datenträger für $0,08/GB/Monat; die Instanz bleibt austauschbar.
Standardmäßig privat
Dedizierte GPU, verschlüsselter Datenträger, Kryptozahlungen, ohne KYC, keine gespeicherten IPs – Jupyter und SSH hinter Ihren eigenen Zugangsdaten.
Beste GPUs für Axolotl – Fine-Tuning
Drei Preisstufen, mit denen dieses Template gut läuft – gut, besser, am besten. Jedes Modell im Katalog funktioniert; dies sind die besten Preis-Leistungs-Optionen.
| Stufe | GPU | VRAM | On-Demand | Unterbrechbar | Warum diese Karte | Aktion |
|---|---|---|---|---|---|---|
| Gut | RTX 4090 | 24 GB | $0,354 | $0,177 | QLoRA 8B–13B auf 24 GB für ein paar Dollar. | Bereitstellen |
| Besser | A100 SXM4 | 80 GB | $0,468 | $0,234 | 80 GB mit NVLink für vollständige Fine-Tunes und 8× FSDP. | Bereitstellen |
| Am besten | H100 PCIE | 80 GB | $1,811 | $0,905 | 80 GB + FP8 – vollständige Fine-Tunes in etwa der halben Wall-Clock-Zeit des A100. | Bereitstellen |
Mehr VRAM benötigt? Der vollständige Katalog listet alle 83 Modelle mit Verfügbarkeit in Echtzeit auf; der VRAM-Leitfaden ordnet Modelle den passenden Karten zu.
Axolotl – Fine-Tuning über Konsole, CLI oder API bereitstellen
Wählen Sie das Template in der Bereitstellungsleiste der Konsole, oder erledigen Sie es per Skript:
- Konsole – nach GPU filtern, Axolotl – Fine-Tuning im Template-Auswahlmenü wählen, Datenträger und Umgebungsvariablen festlegen, bereitstellen.
- CLI – pip install lowcostgpu, dann der Befehl rechts. CLI-Referenz.
- API – POST /v1/instances mit "template": "axolotl-fine-tuning". REST-Referenz.
- Eigenes Image – jede OCI-Referenz funktioniert ebenfalls; wir injizieren die NVIDIA-Runtime. Template-Dokumentation.
$ lowcostgpu launch --gpu rtx-4090 --template axolotl-fine-tuning \
--disk 100 --volume models:/workspace/models
✓ instance i-7a41c0e2 running (27.9s)
# Axolotl – Fine-Tuning · RTX 4090 · $0,354/hr · per second
# https://i-7a41c0e2.lowcostgpu.com:8888 (TLS)
$ lowcostgpu stop i-7a41c0e2 # billing ends this secondWas steckt im Template Axolotl – Fine-Tuning
| Image | axolotlai/axolotl-cloud |
|---|---|
| CUDA | CUDA 12.6 |
| Zugang | baut auch für ARM-Hosts · SSH-Shell · JupyterLab auf einem zugeordneten Port |
| Kategorie | Training & Fine-Tuning |
| Speicherplatz | NVMe-Instanzdatenträger (Größe bei Bereitstellung festgelegt) + optionale Netzwerk-Volumes |
| Abrechnung | Nur GPU-Preis, pro Sekunde – keine Template-Gebühr, keine Einrichtungsgebühr |
Weitere training & fine-tuning Templates
Unsloth Studio auf einer Cloud-GPU — 2× schneller, weniger VRAM beim Fine-Tuning – Unsloth-Kernel mit Notebook-Workflow.
Kohya's GUI auf einer Cloud-GPU — Trainieren Sie SDXL- und Flux-Bild-LoRAs in einer Browser-GUI – Datensatz rein, .safetensors raus.
Flux Gym auf einer Cloud-GPU — Eine denkbar einfache Oberfläche zum Trainieren von Flux-LoRAs, aufbauend auf den Kohya-Skripten.
Ostris AI Toolkit auf einer Cloud-GPU — Der AI-Toolkit-Trainer für Flux- und Diffusionsmodelle, mit einer Weboberfläche.- Alle 37 Templates
Axolotl – Fine-Tuning auf einer Cloud-GPU: FAQ
Umgebungsvariablen, Ports und benutzerdefinierte Images werden in der Template-Dokumentation behandelt.
Wie viel kostet es, Axolotl – Fine-Tuning auf einer Cloud-GPU auszuführen?
Nur der GPU-Preis – das Template ist kostenlos. Ab $0,177/Std. auf einer unterbrechbaren RTX 4090, $0,354/Std. On-Demand auf einer RTX 4090. Es wird pro Sekunde abgerechnet, eine Stunde Herumprobieren kostet also eine Stunde, nicht einen Tag. Datenträger kosten $0,08/GB/Monat.
Wie lange dauert der Start von Axolotl – Fine-Tuning?
Etwa 30 Sekunden nach dem Klick auf „Bereitstellen“: Das Image ist auf den Hosts vorab zwischengespeichert, Ports sind zugeordnet und TLS wird für Sie terminiert. Der Neustart einer gestoppten Instanz ist schneller, und Ihr Datenträger ist genauso, wie Sie ihn verlassen haben.
Kann ich meine Modelle und Ausgaben zwischen Sessions behalten?
Ja – fügen Sie bei der Bereitstellung einen Datenträger hinzu. Alles auf dem Datenträger übersteht das Löschen der Instanz und wird in Sekunden auf der nächsten Instanz in der Region eingebunden, für $0,08/GB/Monat. Der Instanzdatenträger selbst übersteht Stopp/Start, aber nicht das Löschen.
Wie lange dauert ein QLoRA-Lauf?
Etwa 1,5 Stunden für 10k Instruction-Paare auf Llama 3.1 8B mit einer RTX 4090; ein 70B-QLoRA auf einer 80-GB-Karte läuft über Nacht. Die Anleitung listet genaue Konfigurationen und Kosten auf.