Настоящая фабрика
NVLink/NVSwitch внутри узла, InfiniBand с rail-оптимизацией между узлами, предварительно настроено под NCCL. Показатели all-reduce поставляются вместе с коммерческим предложением.
Продукты · кластеры
Кластеры GPU для распределённого обучения, по ценам как в прайс-листе
Многоузловые поды из 8× машин SXM, объединённых InfiniBand, — от 16 до 512 GPU — по тем же публичным ценам за GPU, что и для одиночных инстансов. Под 64× H100 SXM по зарезервированному тарифу: $69,89/час, фабрика включена.
Без наценки за кластер
Цена за GPU × число GPU. Фабрика, головные узлы и scratch-хранилище уже включены — сравните эту строку с коммерческим предложением любого hyperscaler.
Ваш планировщик
Slurm установлен и настроен — либо просто SSH и своя оркестрация. В любом случае root на каждом узле.
Дни, а не кварталы
Стандартные поды разворачиваются за 1–3 рабочих дня. Никаких комитетов, никаких «звонков по проверке мощностей» — только тикет и коммерческое предложение.
Стандартные конфигурации подов
Собирается из 8× SXM-узлов; подходит любое кратное количество. Показаны зарезервированные тарифы — дополнительные поды при всплеске подключаются по тарифу по требованию, если позволяют мощности.
| Под | GPU | Всего VRAM | Интерконнект | $/час (зарезервированный) |
|---|---|---|---|---|
| 2 × 8× H100 SXM | 16 | 1,3 TB | NVLink + IB HDR | $17,47 |
| 8 × 8× H100 SXM | 64 | 5,1 TB | NVLink + IB NDR | $69,89 |
| 8 × 8× H200 | 64 | 9,0 TB | NVLink + IB NDR | $130,24 |
| 8 × 8× B200 | 64 | 12,3 TB | NVLink 5 + IB NDR | $269,31 |
| 64 × 8× H100 SXM | 512 | 41 TB | NDR с rail-оптимизацией | $559 |
Расчёт за GPU: зарезервированный тариф (публичный прайс-лист) × число GPU. Больше ничего не добавляется.
Какие команды работают на подах
- Предобучение & продолженное предобучение — FSDP/DeepSpeed/Megatron между узлами.
- Крупные файнтюнинги — запуски полного файнтюнинга на 70B+ параметров, которым тесно на одной машине.
- Пайплайны RLHF / RLVR — парки акторов, критиков и моделей вознаграждения на одной сетевой фабрике.
- Батч-масштабирование — рендеринговые или симуляционные кампании на тысячи GPU-часов.
Одноузловые 8× машины (фабрика не нужна) разворачиваются мгновенно из консоли, как любой инстанс, — кластеры нужны, когда одного шасси уже недостаточно.
$ sinfo
PARTITION AVAIL NODES STATE NODELIST
gpu* up 8 idle pgx-[01-08]
$ sbatch --nodes 8 --gpus-per-node 8 train.sh
✓ Submitted batch job 1129
# NCCL all-reduce 256MB: 47 GB/s bus BW (rail-optimised NDR)Кластеры GPU: FAQ
Начните с тикета в консоли: модель, количество GPU, предпочтение по региону, срок. Коммерческое предложение с топологией придёт в течение рабочего дня.
Какой интерконнект используют кластеры?
Внутри узла: NVLink/NVSwitch на платформах SXM. Между узлами: InfiniBand NDR/HDR (400/200 Gb/s на порт, с rail-оптимизацией) на флагманских подах; 100 GbE RoCE — на менее крупных подах A100/L40S. Данные о топологии предоставляются вместе с каждым коммерческим предложением.
Как быстро можно получить кластер?
Стандартные блоки (2–8 узлов по 8× H100/H200) обычно разворачиваются за 1–3 рабочих дня по тикету из консоли. Более крупные или нестандартные топологии сопровождаются коммерческим предложением с датой поставки — как правило, менее двух недель.
Как формируется цена на кластеры?
За GPU-час — по тому же публичному прайс-листу: зарезервированные тарифы для сроков обязательств, по требованию — для всплесков при наличии мощностей. Под 64× H100 SXM по зарезервированному тарифу стоит $70/час всё включено; фабрика InfiniBand и узлы управления входят в цену, а не идут отдельной строкой.
Какое ПО на них установлено?
Ubuntu со стеком драйверов NVIDIA, CUDA, NCCL, настроенным под сетевую фабрику, Slurm или обычным SSH на ваш выбор, и общим временным хранилищем NVMe. Используйте свои образы — кластеры полностью в вашем распоряжении, с правами root.