Templates & Images

Aufbau eines Templates

image:  lowcostgpu/vllm:0.8            # pinned tag, rebuilt on upstream releases
ports:  8000/http                    # exposed + TLS-terminated for you
mounts: /root/.cache/huggingface     # survives restarts on the instance disk
env:    MODEL=…                      # anything here is overridable at deploy

Bei der Bereitstellung können Sie jedes Feld überschreiben – Umgebungsvariablen hinzufügen, weitere Ports öffnen, die Datenträgergröße ändern. Überschreibungen werden mit der Instanz gespeichert, Start/Stopp behält sie also bei.

Umgebungsvariablen

Wird bei der Bereitstellung festgelegt (Konsolenformular, --env-Flags oder API-env-Map). Hinweis zu Secrets: Umgebungswerte werden verschlüsselt gespeichert und erscheinen nie in Logs, aber für langlebige Zugangsdaten sollten Sie sie lieber beim Booten aus Ihrem eigenen Speicher abrufen.

Ihr eigenes Docker-Image

Das Docker-Template akzeptiert jede Image-Referenz:

lowcostgpu launch --gpu l40s \
  --image ghcr.io/acme/trainer:v14 \
  --ports 8080 --disk 100 \
  --env WANDB_API_KEY=…

• Die NVIDIA-Runtime wird injiziert – Treiber nicht bündeln; CUDA-Userspace im Image ist unproblematisch.
• Private Registries: Zugangsdaten einmalig unter Einstellungen hinzufügen; sie werden pro Konto verschlüsselt gespeichert und nur zum Pullen verwendet.
• Einstiegsverhalten: Ihr ENTRYPOINT/CMD läuft unverändert. Kein Wrapper, kein Agent in Ihrem Container.

Versionierung

Template-Tags sind unveränderlich: eine erneute Bereitstellung von lowcostgpu/pytorch:2.6-cuda12.8 ist im nächsten Monat byteidentisch. Neue Upstream-Releases erscheinen als neue Tags; die Konsole zeigt an, wenn ein neuerer Tag existiert, stellt Sie aber nie stillschweigend um.

Image-Caching & Kaltstarts

Gepflegte Templates werden auf den meisten Hosts vorab gepullt – das ist die Bereitstellung in ~30 Sekunden. Eigene Images werden bei der ersten Nutzung auf einer bestimmten Maschine gepullt (abhängig von der Netzwerkgeschwindigkeit) und dann zwischengespeichert. Sehr große Images profitieren vom Verschlanken: jedes GB bedeutet etwa 1–3 Sek. zusätzliche Zeit beim ersten Start.