Autoscale par file d’attente
Les workers se lancent quand requests-per-worker dépasse votre seuil, et se retirent quand la file d’attente se vide. Vous réglez min/max ; le minimum par défaut est zéro.
Produits · serverless
Des endpoints GPU serverless qui scale to zero
Mettez un modèle en ligne, obtenez une URL, payez à la seconde de GPU réellement utilisée. Les workers s’ajustent à la profondeur de file — de zéro à des dizaines, et retour — aux mêmes prix fixes que le reste : une seconde de worker L40S coûte exactement $0,448/3600.
Poids en cache
Les fichiers de modèle persistent sur le cache NVMe régional : la montée en charge se fait donc depuis le disque local — quelques secondes, pas un téléchargement de 40 GB.
Interfaces standards
Les endpoints vLLM parlent l’API OpenAI ; tout le reste est du HTTP brut sur le port de votre conteneur, derrière du TLS que nous terminons pour vous.
Économie à la seconde
Secondes actives × prix fixe. Une pointe de 10 000 requêtes sur RTX 5090 workers coûte le même prix, qu’elle prenne une heure à un seul worker ou cinq minutes à douze workers.
Des poids à l’URL en une commande
Les endpoints sont décrits de façon déclarative — modèle, classe de GPU, fenêtre de mise à l’échelle — et gérés comme n’importe quelle autre ressource depuis la console, le CLI ou l’API.
- Chat & complétion LLM — template vLLM, compatible OpenAI, streaming inclus.
- Génération d’images — des workflows ComfyUI exposés en API JSON.
- Transcription, embeddings, rerankers — Whisper et apparentés, sur des cartes bon marché.
- Votre conteneur — tout ce qui sert du HTTP ; nous gérons le TLS, la mise à l’échelle et les contrôles de santé.
$ lowcostgpu endpoint create --name llama8b \
--template vllm --gpu l40s --min 0 --max 8 \
--env MODEL=meta-llama/Llama-3.1-8B-Instruct
✓ endpoint ep-31c8a2 ready
# https://llama8b-31c8a2.lowcostgpu.com/v1/chat/completions
$ lowcostgpu endpoint stats llama8b
# workers 0→3 (last hour) · p50 342ms · 41,208 req · $1.87Quelle classe de GPU pour quel modèle
Le serverless prend en charge le même catalogue ; ces trois GPU couvrent la plupart des endpoints.
| GPU du worker | VRAM | Adapté à | Prix actif | 1 M tokens ≈ |
|---|---|---|---|---|
| RTX 5090 | 32 GB | 7B–14B chat, embeddings, Whisper | $0,481/h | $0.05–0.15 |
| L40S | 48 GB | modèles 14B–32B, SDXL/Flux, contexte long | $0,448/h | $0.10–0.30 |
| A100 SXM4 | 80 GB | 70B quantifiés, modèles vidéo, gros batches | $0,468/h | $0.25–0.60 |
Les coûts par token sont des plages de débit vLLM données à titre indicatif ; benchmarkez votre modèle avec le guide de serving.
Comment le serverless est-il facturé ?
Par seconde de temps GPU actif, aux mêmes prix fixes par modèle que les instances, plus le tarif de stockage forfaitaire pour votre cache de modèles. Le scale-to-zero signifie qu’un endpoint inactif ne coûte que ses poids en cache — un cache de modèle de 16 GB coûte environ $1,28/mois.
À quoi ressemblent les démarrages à froid ?
Les poids restent en cache sur le NVMe, à côté des GPU, si bien que les démarrages à froid consistent à charger en VRAM, pas à télécharger depuis Internet : typiquement 4 à 15 s pour les modèles de classe 7B à 13B, plus long pour les 70B. Réglez min-workers sur 1 pour les supprimer entièrement — vous ne payez ce worker que pendant qu’il existe.
Que puis-je déployer dessus ?
Les templates vLLM et ComfyUI fonctionnent directement (compatibles OpenAI et REST respectivement), ou apportez n’importe quelle image Docker qui répond en HTTP sur un port. L’autoscaling surveille la profondeur de file par worker.
Quand utiliser des instances à la place ?
Un trafic stable et saturant revient moins cher sur une instance réservée que vous maintenez occupée. Le serverless l’emporte pour un trafic en pics, de nombreux petits modèles, ou des produits qui dorment la nuit — vous payez les requêtes, pas l’inactivité.