Templates & images

Anatomie d’un template

image:  lowcostgpu/vllm:0.8            # pinned tag, rebuilt on upstream releases
ports:  8000/http                    # exposed + TLS-terminated for you
mounts: /root/.cache/huggingface     # survives restarts on the instance disk
env:    MODEL=…                      # anything here is overridable at deploy

Au déploiement, vous pouvez redéfinir n’importe quel champ — ajouter des variables d’environnement, ouvrir plus de ports, changer la taille du disque. Les redéfinitions sont enregistrées avec l’instance, donc les arrêts et démarrages les conservent.

Variables d’environnement

Définies au déploiement (formulaire de la console, options --env, ou champ env de l’API). Remarque sur les secrets : les valeurs d’environnement sont stockées chiffrées et n’apparaissent jamais dans les journaux, mais pour des identifiants de longue durée, mieux vaut les récupérer au démarrage depuis votre propre système de stockage.

Votre propre image Docker

Le template Docker accepte n’importe quelle référence d’image :

lowcostgpu launch --gpu l40s \
  --image ghcr.io/acme/trainer:v14 \
  --ports 8080 --disk 100 \
  --env WANDB_API_KEY=…

• Le runtime NVIDIA est injecté — n’embarquez pas de pilotes ; l’espace utilisateur CUDA dans l’image ne pose pas de problème.
• Registres privés : ajoutez les identifiants une fois dans Paramètres ; ils sont stockés chiffrés par compte, et utilisés uniquement pour télécharger les images.
• Comportement d’entrée : votre ENTRYPOINT/CMD s’exécute tel quel. Pas de wrapper, pas d’agent à l’intérieur de votre conteneur.

Gestion des versions

Les tags de template sont immuables : un redéploiement de lowcostgpu/pytorch:2.6-cuda12.8 sera identique à l’octet près le mois prochain. Les nouvelles versions amont arrivent sous forme de nouveaux tags ; la console signale l’existence d’un tag plus récent mais ne vous fait jamais basculer dessus silencieusement.

Mise en cache des images & démarrages à froid

Les templates maintenus sont pré-téléchargés sur la plupart des hôtes — c’est le déploiement en ~30 secondes. Les images personnalisées se téléchargent à la première utilisation sur une machine donnée (selon la vitesse du réseau), puis sont mises en cache. Les images très volumineuses gagnent à être allégées : chaque GB ajoute environ 1 à 3 s au premier démarrage.