Template · Service LLM et chat · CUDA 12.9

Lancer llama.cpp sur un GPU cloud, en 30 secondes

Inférence GGUF avec serveur intégré — la façon la plus légère d’exécuter des modèles quantifiés. llama.cpp exécute des modèles GGUF avec déchargement CUDA et fournit un serveur léger compatible OpenAI. C’est la manière la plus économe en mémoire de servir des modèles quantifiés, et le refuge naturel des fichiers GGUF Q4/Q5/Q6 de Hugging Face — y compris les modèles qui ne rentrent pas dans les formats de vLLM. À partir de $0,029/h sur une RTX 3060 interruptible.

Déployer Llama.cpp Tous les 37 templates

Actif en ~30 s

Image pré-mise en cache, ports mappés, TLS terminé — la stack fonctionne avant même que vous ayez fini de lire cette phrase.

Template gratuit

Vous payez uniquement le prix du GPU : Llama.cpp sur une RTX 3060 coûte $0,058/h à la demande, $0,029/h en interruptible, facturé à la seconde.

Volumes pour l’état

Les modèles, jeux de données et résultats vivent sur un volume à $0,08/GB/mois ; l’instance reste jetable.

Privé par défaut

GPU dédié, disque chiffré, paiements en crypto, sans KYC, aucune IP stockée — Jupyter et SSH derrière vos propres identifiants.

Meilleurs GPU pour Llama.cpp

Trois paliers de prix qui font bien tourner ce template — Bon, Meilleur, Le meilleur. Tous les modèles du catalogue fonctionnent ; ce sont les options les plus avantageuses.

Palier	GPU	VRAM	À la demande	Interruptible	Pourquoi cette carte	Action
Bon	RTX 3060	12 GB	$0,058	$0,029	12 GB suffisent pour du 7B–8B Q4 GGUF — l’endpoint de chat le moins cher de la fiche.	Déployer
Meilleur	RTX 4090	24 GB	$0,354	$0,177	24 GB font tourner des modèles quantifiés 14B–32B avec un offload GPU complet.	Déployer
Le meilleur	RTX A6000	48 GB	$0,281	$0,140	48 GB pour du 70B Q4 GGUF sur une seule carte.	Déployer

Besoin de plus de VRAM ? Le catalogue complet liste tous les 83 modèles avec leur disponibilité en direct ; le guide VRAM associe les modèles aux cartes.

Déployez Llama.cpp depuis la console, le CLI ou l’API

Choisissez le template dans la barre de déploiement de la console, ou scriptez-le :

Console — filtrez par GPU, choisissez Llama.cpp dans le sélecteur de templates, définissez le disque et l’environnement, déployez.
CLI — pip install lowcostgpu, puis la commande à droite. Référence CLI.
API — POST /v1/instances avec "template": "llama-cpp". Référence REST.
Votre image — toute référence OCI fonctionne aussi ; nous injectons le runtime NVIDIA. Documentation des templates.

déploiement — llama-cpp

$ lowcostgpu launch --gpu rtx-3060 --template llama-cpp \
    --disk 100 --volume models:/workspace/models
✓ instance i-7a41c0e2 running (27.9s)
# Llama.cpp · RTX 3060 · $0,058/hr · per second
# https://i-7a41c0e2.lowcostgpu.com:8888 (TLS)
$ lowcostgpu stop i-7a41c0e2   # billing ends this second

Ce que contient le template Llama.cpp

Image	lowcostgpu/llama-cpp
CUDA	CUDA 12.9
Accès	se construit aussi pour les hôtes ARM · Shell SSH · JupyterLab sur un port mappé
Catégorie	Service LLM et chat
Stockage	Disque NVMe de l’instance (dimensionné au déploiement) + volumes réseau en option
Facturation	Le prix du GPU uniquement, à la seconde — aucun frais de template, aucun frais d’installation

Autres templates de service llm et chat

vLLM sur un GPU cloud — Service LLM de production avec PagedAttention — un endpoint compatible OpenAI à partir de n’importe quel modèle HF.
vLLM Omni sur un GPU cloud — vLLM étendu pour les modèles multimodaux — entrées vision et audio sur le même serveur rapide.
SGLang sur un GPU cloud — Service à haut débit avec RadixAttention — excelle sur les charges de travail structurées et agentiques.
Ollama sur un GPU cloud — Récupérez et exécutez des modèles quantifiés en une seule commande, avec une API REST propre.
Open WebUI (Ollama) sur un GPU cloud — Une interface de discussion complète pour Ollama — conversations, RAG et gestion des modèles, dans le navigateur.
Oobabooga Text Gen sur un GPU cloud — Le WebUI et l’API de génération de texte — chargent GPTQ, EXL2 ou GGUF avec des extensions.
Tous les 37 templates

Llama.cpp sur un GPU cloud : FAQ

Les variables d’environnement, les ports et les images personnalisées sont couverts dans la documentation des templates.

Combien coûte l’exécution de Llama.cpp sur un GPU cloud ?

Seulement le prix du GPU — le template est gratuit. À partir de $0,029/h sur une RTX 3060 interruptible, $0,058/h à la demande sur une RTX 3060. La facturation est à la seconde, donc une heure d’expérimentation coûte une heure, pas une journée. Le stockage est à $0,08/GB/mois.

Combien de temps faut-il pour démarrer Llama.cpp ?

Environ 30 secondes après le clic de déploiement : l’image est pré-mise en cache sur les hôtes, les ports sont mappés et le TLS est terminé pour vous. Redémarrer une instance arrêtée est plus rapide, et votre disque est exactement comme vous l’avez laissé.

Puis-je conserver mes modèles et mes résultats entre les sessions ?

Oui — attachez un volume au déploiement. Tout ce qui se trouve sur le volume survit à la destruction de l’instance et se monte sur l’instance suivante dans la région en quelques secondes, à $0,08/GB/mois. Le disque de l’instance lui-même survit à l’arrêt et au démarrage, mais pas à la destruction.

Puis-je répartir un modèle entre le GPU et la RAM du CPU ?

Oui — définissez le nombre de couches déchargées (-ngl) au lancement. Les machines avec beaucoup de RAM permettent d’exécuter des modèles plus gros que la VRAM à vitesse réduite, ce qui est pratique pour un usage occasionnel de modèles 70B sur une carte bon marché.