Глоссарий · терминов: 85 · цены — в реальном времени из прайс-листа
Глоссарий облачных GPU: словарь с определениями
Каждый термин, с которым вы сталкиваетесь при аренде GPU — модели биллинга, типы памяти, интерконнекты, квантование, стеки сервинга — определён в одном-двух самодостаточных предложениях, с актуальными цифрами там, где цифра полезна.
Цены и биллинг 17
- Egress (пропускная способность)
- Данные, покидающие сеть провайдера, и плата за это. Исходящий трафик — частый источник неожиданных счетов, потому что hyperscaler-провайдеры тарифицируют его по уровням и могут брать за него больше, чем за сами вычисления, при работе с большим объёмом данных. LowCostGPU берёт фиксированные $0,01 за GB в любую сторону, в каждом регионе. Подробнее
- GPU-час
- Один GPU, работающий один час: единица, в которой указана почти любая цена аренды. Это цена за GPU, а не за машину, поэтому инстанс с 8 GPU за один час потребляет восемь GPU-часов. На LowCostGPU тариф за GPU одинаков от 1x до 8x — надбавки за мульти-GPU нет. Подробнее
- Hyperscaler
- Один из очень крупных облаков общего назначения, которые продают GPU наряду с сотнями других сервисов. Они предлагают глубокую интеграцию и корпоративные контракты и обычно берут в несколько раз больше тарифа специализированного провайдера за ту же карту NVIDIA — с тарифицируемым исходящим трафиком и скидками за долгосрочные обязательства по объёму. Подробнее
- Neocloud
- Облачный провайдер, построенный специально вокруг ускорителей для ИИ, а не вычислений общего назначения. Neocloud закупают GPU оптом, размещают их в арендованных дата-центрах и конкурируют по цене и доступности, а не по широте набора услуг. Подробнее
- PowerScore
- Индекс LowCostGPU для плотной пропускной способности тензорных вычислений в FP16, нормализованный так, что RTX 3090 получает 100 баллов. Он даёт единое сравнимое число для разных поколений, когда необработанные показатели TFLOPS указаны по разным допущениям о разреженности и точности. Он измеряет только вычисления, а не объём или пропускную способность памяти. Подробнее
- Зарезервированный инстанс
- Мощность, зарезервированная на фиксированный срок в обмен на более низкий часовой тариф. LowCostGPU резервирует мощности по цене 65 % от тарифа по требованию на трёхмесячный срок, с тарифом, зафиксированным на весь срок: $1,092 в час за H100 SXM. Окупается при коэффициенте использования выше примерно двух третей. Подробнее
- Инстанс по требованию
- Мощность, зарезервированная для вас в момент запроса и удерживаемая, пока вы её не освободите, по тарифу, который нельзя ни перебить, ни отозвать. На LowCostGPU GPU по требованию стоит медиану публичной торговой площадки, умноженную на 0,70, — H100 SXM по $1,680 за GPU-час, — и тариф фиксируется на весь срок жизни инстанса. Подробнее
- Маркетплейс GPU
- Платформа, на которой независимые хосты выставляют свои машины, а арендаторы делают ставки или покупают напрямую. Цены здесь самые низкие на рынке и постоянно меняются, но качество оборудования, аптайм и поддержка различаются от хоста к хосту, поэтому риск надёжности несёт арендатор. Подробнее
- Облачные GPU
- Услуга, которая сдаёт в аренду доступ к GPU-серверам почасово или посекундно, вместо продажи оборудования. Она охватывает hyperscaler, специализированных провайдеров и P2P-торговые площадки, которые различаются главным образом тем, кому принадлежат машины, как устанавливаются цены и какой аптайм обещан. Подробнее
- Посекундная тарификация
- Тарификация по фактическому времени выполнения, а не с округлением до часа. Задача длительностью 47 минут стоит 47 минут. Это особенно важно для нагрузок со всплесками, таких как рендеринг кадров, батч-инференс и эксперименты, где округление до часа может увеличить счёт на треть. LowCostGPU тарифицирует время GPU, хранилище и пропускную способность посекундно. Подробнее
- Прерываемый инстанс (spot, вытесняемый)
- Инстанс со скидкой, который провайдер может приостановить или забрать, если мощности понадобятся в другом месте. Большинство облаков реализуют это как аукцион, где цена и риск вытеснения меняются ежечасно. LowCostGPU берёт фиксированные 50 % от тарифа по требованию без торгов, сохраняет диск и автоматически возвращает задачу в очередь: $0,840 в час за H100 SXM. Подробнее
- Стоимость за миллион токенов
- Единица измерения, которая делает инференс на собственных мощностях сравнимым с API: часовой тариф GPU, делённый на число токенов, которые GPU выдаёт за час. Она резко снижается с непрерывным батчингом, поэтому карта, которая выглядит дорогой в час, часто оказывается самой дешёвой в пересчёте на токен. Подробнее
- Стоимость за одно изображение
- Правильная единица измерения для диффузионных нагрузок: часовой тариф, делённый на число изображений, сгенерированных за час. Более быстрая карта с более высокой ценой в час часто даёт более дешёвые изображения — поэтому одна лишь цена в час плохо подходит для оценки Stable Diffusion или Flux. Подробнее
- Тарификация по медиане рынка
- Назначение цены как объявленного отношения к медианному рыночному тарифу за то же оборудование, а не по прайс-листу, аукциону или переговорам. LowCostGPU берёт медиану публичной торговой площадки GPU для каждой модели, умножает на 0,70 и округляет вниз; эта медиана перепроверяется еженедельно, поэтому скидка составляет не менее 30 % и проверяется арифметически. Подробнее
- Тарификация хранилища инстанса
- Сколько стоит диск, подключённый к арендованному GPU, — обычно за GB в месяц, тарифицируется независимо от того, запущен инстанс или нет. LowCostGPU берёт $0,08 за GB в месяц с посекундным учётом, по одному и тому же тарифу — запущен инстанс или остановлен; учёт останавливается, когда инстанс уничтожается. Подробнее
- Точка безубыточности аренды и покупки
- Коэффициент использования, при котором иметь собственный GPU становится дешевле, чем арендовать его. Он сравнивает цену покупки плюс хостинг, электроэнергию и охлаждение с арендным тарифом, умноженным на фактически использованные часы. Поскольку у большинства команд коэффициент использования намного ниже полного, честная точка безубыточности обычно измеряется годами, а не месяцами. Подробнее
- Ценовой потолок
- Опубликованный потолок того, сколько провайдер будет брать, выраженный относительно внешнего ориентира. LowCostGPU обязуется никогда не превышать 70 % медианы публичной торговой площадки ни для одной модели; поскольку ориентир публичен, а прайс-лист отдаётся в формате JSON, это обязательство можно проверить в любой момент без создания аккаунта. Подробнее
Оборудование GPU 19
- FP16 и BF16
- Форматы половинной точности, используемые в большинстве современных задач обучения и инференса. У FP16 точность мантиссы выше, у BF16 — шире диапазон экспоненты, что делает обучение более стабильным без loss scaling. Обоим нужно около 2 GB памяти на миллиард параметров модели, без учёта активаций и кэша. Подробнее
- FP32
- 32-битные числа с плавающей точкой — традиционная точность для научных вычислений и рендеринга. Она во многом устарела для обучения нейросетей: пониженные точности работают в несколько раз быстрее при сопоставимом качестве, но всё ещё определяет симуляции, CAD и многие задачи HPC. Подробнее
- FP8
- 8-битный формат с плавающей запятой, нативно поддерживаемый начиная с поколения Hopper. Он примерно вдвое повышает пропускную способность и вдвое снижает расход памяти по сравнению с FP16 ценой небольшой потери качества — поэтому карты H100, H200 и Blackwell обслуживают крупные модели значительно дешевле, чем можно предположить по одним лишь показателям FP16. Подробнее
- GDDR6X / GDDR7
- Графическая память, используемая в потребительских картах и картах для рабочих станций: дешевле и меньше по объёму, чем HBM, с меньшей пропускной способностью. RTX 4090 несёт 24 GB GDDR6X, RTX 5090 — 32 GB GDDR7. Именно поэтому потребительские карты выигрывают по цене за токен, но проигрывают на очень крупных моделях. Подробнее
- HBM3 / HBM3e
- High Bandwidth Memory — память, расположенная вертикально рядом с кристаллом GPU, чтобы достичь пропускной способности в несколько раз выше, чем у графической памяти. H100 SXM сочетает 80 GB HBM3 на скорости около 3,35 TB/s; H200 несёт 141 GB HBM3e на скорости около 4,8 TB/s. Скорость инференса обычно определяется пропускной способностью, а не объёмом памяти. Подробнее
- InfiniBand
- Сетевая фабрика с низкой задержкой для объединения GPU-серверов в кластер для обучения, с удалённым прямым доступом к памяти между узлами. Распределённое обучение ограничено обменом градиентами, поэтому качество фабрики определяет, ускорит ли добавление второго узла прогон или почти не поможет. Подробнее
- INT8 и INT4
- Целочисленные форматы точности для уменьшения моделей после обучения. INT8 требует около 1 GB на миллиард параметров, INT4 — около 0,55 GB, поэтому квантование модели 70B до 4 бит уменьшает её примерно со 150 GB до 44 GB — разница между двумя флагманскими картами и одной. Подробнее
- NVLink
- Высокоскоростное соединение NVIDIA между GPU внутри одной машины, на порядок быстрее, чем PCIe. Это важно, когда модель разделена между картами, потому что тензорно-параллельный инференс и обучение на нескольких GPU постоянно обмениваются активациями. Мульти-GPU SXM-машины на LowCostGPU оснащены им. Подробнее
- NVSwitch
- Чип-коммутатор, который позволяет каждому GPU в сервере обмениваться данными с любым другим на полной скорости NVLink, а не только с соседними. Именно он заставляет узел HGX с 8 GPU вести себя как один большой ускоритель для прогонов обучения, задействующих все восемь карт. Подробнее
- PCIe и SXM
- Два физических исполнения одного и того же datacenter-GPU. Карты PCIe устанавливаются в стандартные серверы, потребляют меньше энергии и стоят дешевле; модули SXM монтируются напрямую на плату, с более высоким лимитом мощности и полной поддержкой NVLink, что даёт более высокую пропускную способность и лучшее масштабирование при нескольких GPU. Один и тот же чип ведёт себя по-разному в каждом исполнении. Подробнее
- TDP
- Расчётная тепловая мощность: тепловыделение, которое GPU рассчитан устойчиво отводить, в ваттах, — неплохой показатель потребляемой электроэнергии. Это объясняет, почему энергоэффективная карта вроде L4 с 72 Вт может обходиться дешевле при непрерывной работе, чем более быстрая карта, которая большую часть времени простаивает. Подробнее
- Tensor Core
- Специализированный блок внутри современных GPU NVIDIA, который перемножает небольшие матрицы с пониженной точностью. Tensor Core выполняют основную вычислительную работу для обучения и инференса, и поколение Tensor Core — Ampere, Ada, Hopper, Blackwell — имеет большее значение для пропускной способности ИИ-вычислений, чем количество ядер CUDA. Подробнее
- TFLOPS
- Триллионы операций с плавающей запятой в секунду — главный показатель вычислительной пропускной способности. Цифры сравнимы только тогда, когда совпадают точность и соглашение о разреженности: LowCostGPU везде указывает плотную тензорную пропускную способность FP16 без разреженности, что примерно вдвое меньше цифр с разреженностью, которые публикуют некоторые производители. Подробнее
- VRAM
- Память, распаянная на GPU, в которой хранятся веса модели, активации и кэш. Это первое ограничение при выборе GPU: если модель не помещается, пропускная способность не имеет значения. Карты, доступные в аренду, дают от 6 GB до 288 GB памяти — такой верхний предел у новейших datacenter-карт. Подробнее
- Выделенный GPU
- Физический GPU, выделенный одному арендатору на весь срок жизни инстанса, а не разделяемый по времени или между клиентами. Это устраняет эффект шумного соседа на пропускную способность и сохраняет содержимое памяти приватным для арендатора. Каждый инстанс LowCostGPU — выделенный. Подробнее
- Дата-центр уровня Tier III
- Объект, спроектированный для обслуживания без прерывания работы: резервные линии электропитания и охлаждения позволяют обслуживать любой компонент, не отключая серверы. Это практическая граница между профессиональным хостингом и машиной, стоящей в чьей-то свободной комнате. Каждый GPU LowCostGPU размещён в дата-центре уровня Tier III или эквивалентном объекте. Подробнее
- Мульти-GPU инстанс
- Одна машина с несколькими GPU на одном хосте — от 2x до 8x. Это самый простой способ запустить модель, которая не помещается на одну карту, с помощью тензорного параллелизма. На LowCostGPU машина 8x стоит ровно в восемь раз дороже цены за один GPU — надбавки за более крупную конфигурацию нет. Подробнее
- Пропускная способность памяти
- Насколько быстро GPU может перемещать данные между памятью и вычислительными блоками, в GB/s или TB/s. При генерации токенов языковая модель считывает весь набор весов на каждый токен, поэтому именно пропускная способность — а не сами по себе FLOPS — обычно ограничивает скорость инференса в один поток. Подробнее
- Ядро CUDA
- Универсальное шейдерное ядро GPU NVIDIA, используемое для графики, симуляций и любого кода, который не сводится к перемножению матриц. Их количество полезно для рендеринга и научных нагрузок, но плохо предсказывает производительность в задачах ИИ, где решающую роль играют блоки Tensor Core и пропускная способность памяти. Подробнее
Инференс и сервинг 14
- GGUF
- Однофайловый формат для квантованных языковых моделей, используемый llama.cpp и Ollama. Он объединяет веса, токенизатор и метаданные при выбранном уровне квантования, что упрощает перенос моделей между машинами, и является обычным способом запускать модель на небольшом арендованном GPU. Подробнее
- KV-кэш
- Сохранённые ключи и значения внимания для уже обработанных токенов: они хранятся, чтобы каждый новый токен не перечитывал весь диалог. Объём растёт с длиной контекста и числом параллельных запросов — это расход памяти, который упускают из виду в большинстве расчётов необходимого объёма, пока запрос с длинным контекстом не исчерпает VRAM. Подробнее
- LLM-инференс
- Запуск уже обученной языковой модели для получения ответа — в отличие от её обучения. Он делится на вычислительно тяжёлый префилл по промпту и на декодирование, ограниченное пропускной способностью памяти и выдающее по одному токену за раз; поэтому скорость, которую ощущает пользователь, обычно определяет именно пропускная способность памяти. Подробнее
- Ollama
- Инструмент, который скачивает и запускает квантованные языковые модели локально одной командой, используя файлы GGUF. Он отдаёт предпочтение простоте, а не максимальной пропускной способности, поэтому он хорошо подходит для одного арендованного GPU в роли персонального ассистента или бэкенда для разработки. Подробнее
- Scale-to-zero
- Отключение всех мощностей при отсутствии трафика, поэтому простаивающий эндпоинт не стоит ничего, кроме хранения. Это подходит для скачкообразной нагрузки или простоя по ночам; сервис со стабильным трафиком дешевле на зарезервированном инстансе, который всегда наготове, потому что он никогда не платит штраф за холодный старт. Подробнее
- Serverless-эндпоинт для GPU
- Размещённый HTTP-эндпоинт, который выделяет GPU на каждый запрос и освобождает их после, выставляя счёт только за фактически потраченное на вычисления время. Он избавляет от планирования мощностей ценой холодного старта и лучше всего подходит для всплескового инференса, а не для длительного обучения. Подробнее
- vLLM
- Сервер инференса с открытым исходным кодом для языковых моделей, построенный вокруг paged attention и непрерывного батчинга, с HTTP-эндпоинтом, совместимым с OpenAI. Это стандартный выбор для self-hosted-сервинга, потому что он загружает GPU намного эффективнее, чем наивные циклы генерации. Подробнее
- Квантование
- Хранение весов модели с меньшей точностью — 8 бит или 4 бита вместо 16 — чтобы сократить объём памяти и увеличить скорость. Современные 4-битные методы почти не теряют измеримое качество на большинстве задач и сокращают объём памяти примерно в четыре раза, поэтому квантование часто и решает, поместится ли модель на одну доступную по цене карту. Подробнее
- Контекстное окно
- Максимальное количество токенов, на которые модель может одновременно обращать внимание, — промпт и сгенерированный вывод вместе. Длинные окна — это, скорее, проблема памяти, чем вычислений: KV-кэш растёт вместе с контекстом, поэтому обслуживание 128k токенов может потребовать в несколько раз больше VRAM, чем одни только веса. Подробнее
- Непрерывный батчинг
- Техника сервинга, при которой новые запросы добавляются в выполняющийся батч по мере завершения более ранних, вместо ожидания завершения всего батча целиком. Она поддерживает GPU постоянно загруженным при неравномерном трафике и является главным рычагом влияния на стоимость одного токена, поэтому vLLM и похожие серверы используют её по умолчанию. Подробнее
- Пропускная способность и задержка
- Главный компромисс сервинга. Пропускная способность — это суммарная работа в секунду по всем пользователям, она определяет стоимость; задержка — время ожидания одного запроса, она определяет качество восприятия. Более крупные батчи повышают пропускную способность и увеличивают время отдельных ответов, поэтому правильная настройка зависит от того, обслуживаете вы интерфейс чата или очередь заданий. Подробнее
- Тензорный параллелизм
- Разделение каждого слоя модели между несколькими GPU, чтобы вместе выполнить один прямой проход. Так обслуживается модель крупнее одной карты; результат сильно зависит от скорости связи между картами: карты с NVLink хорошо масштабируются, карты только с PCIe теряют больше на обмене данными. Подробнее
- Токенов в секунду
- Мера пропускной способности для языковых моделей. За ней скрываются два разных числа: скорость на один поток, которую пользователь воспринимает как отзывчивость, и суммарная скорость по всем параллельным запросам, которая определяет стоимость за миллион токенов. Батчинг резко повышает второе число, почти не меняя первое. Подробнее
- Холодный старт
- Задержка перед тем, как простаивающий сервис сможет ответить на первый запрос: время уходит на получение образа, выделение GPU и загрузку весов в VRAM. Это основные затраты на scale-to-zero — поэтому веса обычно хранят на быстром локальном томе, а не загружают из объектного хранилища. Подробнее
Обучение и файнтюнинг 9
- LoRA
- Low-Rank Adaptation: заморозка исходных весов и обучение вместо этого небольших добавленных матриц. Это на порядки снижает число обучаемых параметров, поэтому файнтюнинг помещается на одну потребительскую карту, а результат поставляется в виде небольшого файла адаптера, который можно заменить или объединить с моделью при загрузке. Подробнее
- QLoRA
- LoRA, применённый поверх базовой модели, квантованной до 4 бит, — так что замороженные веса занимают четверть памяти, а адаптеры обучаются с более высокой точностью. Именно это делает файнтюнинг модели 70B практичным на одной карте с 48 GB или 80 GB. Подробнее
- Параллелизм данных
- Копирование всей модели на каждый GPU и распределение между репликами разных частей батча с последующим усреднением градиентов. Это самый простой способ масштабировать обучение, когда модель помещается на одну карту, — он ограничен скоростью обмена градиентами между GPU. Подробнее
- Полный файнтюнинг
- Обновление всех весов модели целиком, а не небольшого адаптера. Требует памяти для весов, градиентов и состояний оптимизатора — нередко более чем в десять раз больше объёма одних только весов в FP16 — поэтому обычно нужен узел с несколькими GPU, и это оправдывает затраты только тогда, когда LoRA явно не справляется. Подробнее
- Предобучение
- Обучение модели с нуля, со случайной инициализации, на очень большом корпусе данных. Это самая дорогая задача, которая выполняется на GPU, — она измеряется в узло-месяцах на взаимосвязанных кластерах, и именно поэтому объём HBM, NVLink и InfiniBand значат здесь куда больше, чем цена в час одной карты. Подробнее
- Смешанная точность
- Выполнение большинства операций в 16-битной точности с сохранением чувствительных накоплений в 32-битной. Это примерно вдвое снижает расход памяти и вдвое увеличивает пропускную способность без ощутимой потери качества и является стандартом в любом современном стеке обучения; BF16 не требует масштабирования потерь, которое нужно для FP16. Подробнее
- Файнтюнинг
- Продолжение обучения предобученной модели на собственных данных, чтобы научить её предметной области, формату или поведению. Это на порядки дешевле, чем обучение с нуля, и обычная причина, по которой команда арендует GPU на дни, а не на месяцы. Подробнее
- Чекпоинт
- Сохранённый снимок весов модели и состояния оптимизатора в процессе обучения, чтобы можно было возобновить работу после прерывания. Частое сохранение чекпоинтов на постоянный том делает дешёвые прерываемые мощности пригодными для долгих задач обучения: вытеснение обходится в минуты, а не в целый прогон обучения. Подробнее
- Эпоха
- Один полный проход обучения по датасету. Файнтюнинг обычно выполняется за небольшое число эпох, и время эпохи, умноженное на почасовой тариф, — честный способ сравнить два GPU: карта, которая вдвое дороже, но завершает работу за треть времени, обходится дешевле в пересчёте на один прогон. Подробнее
Платформа и доступ 18
- API-ключ
- Секретный токен, аутентифицирующий программные запросы и передаваемый как bearer-токен. Ключи LowCostGPU показываются один раз и хранятся только в виде хеша, действуют с полными правами аккаунта, и их область действия следует ограничивать одной машиной, чтобы скомпрометированный ключ можно было отозвать, не затронув остальное. Подробнее
- Bare metal
- Целый физический сервер, арендованный без уровня виртуализации между арендатором и оборудованием. Он даёт максимальную производительность и полный контроль ценой гибкости и минимального срока аренды, и обычно предназначен для крупных постоянных нагрузок, а не для экспериментов. Подробнее
- CLI
- Клиент командной строки, работающий поверх API: он позволяет искать, запускать и останавливать машины из командной строки или CI-конвейера без необходимости писать HTTP-запросы. Это обычный способ сделать аренду GPU воспроизводимой внутри скрипта сборки. Подробнее
- JupyterLab
- Работающая в браузере среда для интерактивных ноутбуков, обычно предустановленная в шаблонах GPU и доступная через проброшенный порт. Подходит для интерактивных экспериментов и изучения данных; длительные запуски обучения лучше выполнять из shell, чтобы они продолжались после закрытия вкладки браузера. Подробнее
- llms.txt
- Текстовый файл в корне сайта, который даёт языковым моделям курируемый индекс его содержимого и ключевых фактов — подобно тому, как robots.txt задаёт политику для краулеров. LowCostGPU публикует такой файл, а также полную Markdown-версию содержимого, и отдаёт любую страницу в формате Markdown по запросу. Подробнее
- MCP (Model Context Protocol)
- Открытый протокол, который позволяет ИИ-ассистенту вызывать внешние инструменты и читать внешние данные через стандартный интерфейс, вместо того чтобы полагаться только на то, что он запомнил во время обучения. LowCostGPU запускает публичный MCP-сервер, доступный только для чтения, чтобы ассистент мог узнавать сегодняшние цены на GPU, сравнивать карты и рассчитывать стоимость задачи. Подробнее
- REST API
- HTTP-интерфейс для управления сервисом из кода. На LowCostGPU эндпоинты цен и наличия оборудования публичны и не требуют ключа, поэтому весь прайс-лист можно прочитать ещё до создания аккаунта; развёртывание, остановка и уничтожение инстансов используют тот же API с bearer-ключом. Подробнее
- SDK
- Типизированная клиентская библиотека, которая отображает API на нативные объекты и берёт на себя аутентификацию, повторные попытки и ошибки. Это особенно важно, когда выделение GPU — часть приложения, а не задача оператора, например при запуске воркера на каждую задачу. Подробнее
- SLA
- Соглашение об уровне обслуживания: аптайм, который обязуется обеспечивать провайдер, и то, что он должен компенсировать, если не выполняет это обязательство. Обязательство без компенсации — это маркетинг. LowCostGPU публикует ежемесячную цель 99,9 % для инстансов по требованию и зарезервированных, с компенсацией за нарушение SLA, если цель не достигнута. Подробнее
- Виртуальная машина
- Полноценная гостевая операционная система с проброшенным GPU, загружающая собственное ядро с root-доступом. Она запускается за минуты, а не за секунды, и нужна для нестандартных модулей ядра, окружений рабочего стола или ПО, которое отказывается работать в контейнере. Подробнее
- Доступ по SSH
- Зашифрованный сеанс shell на арендованной машине, аутентифицированный по ключу. Это наименьший общий знаменатель для работы с инстансом GPU: устанавливайте что угодно, запускайте длительные задачи в терминальном мультиплексоре и копируйте данные с помощью rsync или rclone. Подробнее
- Кластер
- Несколько серверов с GPU, объединённых сетью с низкой задержкой и управляемых как единый пул — для задач обучения, которые не помещаются на один узел. За пределами одной машины узким местом становится сеть, поэтому InfiniBand или его аналог, а также топология между узлами имеют не меньшее значение, чем сами GPU. Подробнее
- Компенсация за нарушение SLA
- Компенсация, выплачиваемая на баланс счёта, когда провайдер не выполняет своё обязательство по аптайму, — обычно в виде процента от затронутых расходов, и обычно запрашивается, а не начисляется автоматически. Это единственная часть SLA, имеющая реальную силу, поэтому график компенсаций важнее заявленного процента. Подробнее
- Контейнерный инстанс
- Нагрузка на GPU, выполняемая в контейнере, который использует общее с хостом ядро, с внедрённым NVIDIA runtime. Контейнеры запускаются примерно за тридцать секунд благодаря заранее закэшированному образу, что делает их подходящей единицей для всего, что не требует собственного ядра или нестандартных драйверов. Подробнее
- Образ Docker / OCI
- Упакованная файловая система и конфигурация, точно определяющая, что запускается на инстансе, идентифицируемая ссылкой на реестр. Любой образ, совместимый с OCI, работает на LowCostGPU с внедрённым NVIDIA runtime, поэтому окружение, проверенное локально, работает одинаково и на арендованном оборудовании. Подробнее
- Регион
- Географическое расположение дата-центра, где работает ваш инстанс. Оно определяет сетевую задержку до ваших пользователей, юрисдикцию, в которой находится оборудование, и иногда — доступность конкретного GPU. LowCostGPU работает в 32 регионах на пяти континентах по единой цене. Подробнее
- Том
- Сетевое хранилище, которое переживает использующий его инстанс: модели, датасеты и результаты сохраняются даже после уничтожения машины. Хранение весов на томе превращает инстансы в одноразовые вычислительные мощности и сокращает холодные старты, так как загрузка происходит один раз. LowCostGPU берёт $0,08 за GB в месяц. Подробнее
- Шаблон
- Готовый контейнерный образ с уже установленным стеком, запускаемый в один клик, так что окружение готово за секунды, а не после долгих часов отладки драйверов. LowCostGPU публикует 37 шаблонов на основе официальных образов от разработчиков — PyTorch, vLLM, ComfyUI, Ollama и других, — и сам шаблон бесплатен. Подробнее
Оплата и проверка личности 8
- KYC
- Know Your Customer: проверка личности, которую провайдер проводит перед тем, как принять клиента, — обычно документ, удостоверяющий личность, карта на то же имя или регистрация компании. Для финансовых услуг это нормативное требование, а для провайдеров вычислительных мощностей — деловой выбор. Подробнее
- Monero (XMR)
- Криптовалюта, в которой суммы и участники по умолчанию скрыты на уровне протокола, а не просто псевдонимны. Это вариант с сохранением приватности среди активов, которые принимает LowCostGPU, и подтверждения обычно приходят в течение нескольких минут. Подробнее
- TRC-20 и ERC-20
- Стандарты токенов в сетях TRON и Ethereum соответственно. Один и тот же стейблкоин существует в обеих сетях, но адреса не взаимозаменяемы: перевод по стандарту ERC-20 на адрес TRC-20 приводит к потере средств — поэтому страницы пополнения всегда указывают сеть. Подробнее
- USDT
- Tether — самый широко используемый долларовый стейблкоин, выпускаемый на нескольких блокчейнах. LowCostGPU принимает его в сетях TRON (TRC-20) и Ethereum (ERC-20); выбранная сеть влияет только на комиссию и время подтверждения, но не на зачисленную сумму. Подробнее
- Аренда без KYC
- Аренда вычислительных мощностей без предоставления документов, удостоверяющих личность, становится возможной, когда расчёт идёт по предоплате, а не в кредит. На LowCostGPU аккаунт — это email и пароль, баланс пополняется в криптовалюте: ни документов, ни карты, ни сохранённых IP-адресов. Подробнее
- Пополнение
- Пополнение предоплаченного баланса. На LowCostGPU пополнение создаёт одноразовый адрес для депозита в выбранном активе; кредит зачисляется после подтверждения сети — от нескольких секунд в TRON или Solana до примерно получаса в Bitcoin. Минимум — $40, и кредиты никогда не истекают. Подробнее
- Предоплаченный кредит
- Баланс, который пополняется заранее и расходуется по мере использования ресурсов, вместо инвойса в конце месяца. Это ограничивает финансовый риск — неконтролируемая задача останавливается, когда заканчивается баланс, — и снимает необходимость проверки кредитоспособности, которую подразумевает оплата картой. Баланс LowCostGPU хранится в USD и подлежит возврату по запросу. Подробнее
- Стейблкоин
- Криптовалюта, созданная для сохранения постоянной стоимости относительно фиатной валюты, обычно доллара США. Это практичный способ платить за вычисления в криптовалюте: сумма к оплате не меняется между отправкой транзакции и её подтверждением. Подробнее
Три вопроса, которые стоят за большинством этих терминов
Более подробные ответы — в руководствах; цифры, лежащие в основе каждой цены, — на странице методологии ценообразования.
Что такое GPU-час?
Один GPU, работающий один час. Это единица, в которой указывается любая цена облачного GPU, — из расчёта на GPU, а не на машину: инстанс с 8 GPU, работающий один час, потребляет восемь GPU-часов. На LowCostGPU — цена за один GPU одинакова от 1× до 8×, а тарификация посекундная, поэтому задача на 12 минут тарифицируется как 0,2 GPU-часа.
В чём разница между GPU по требованию и прерываемыми GPU?
Мощность по требованию гарантирована, пока вы сохраняете инстанс: никто не может её забрать, а цена фиксируется при развёртывании. Прерываемая мощность дешевле, потому что её можно приостановить, если оборудование понадобится в другом месте. Прерываемый режим на LowCostGPU — фиксированная скидка 50 % от цены по требованию, без торгов: диск сохраняется, а инстанс автоматически возвращается в очередь — поэтому он подходит для обучения с чекпоинтами, батч-инференса и очередей рендеринга.
Сколько VRAM нужно модели?
Для LLM это примерно 2,4 GB на миллиард параметров в FP16 и около 0,62 GB на миллиард параметров при 4-битном формате — плюс место под KV-кэш, который растёт с длиной контекста и числом параллельных запросов. Поэтому модели на 70B нужно около 44 GB при 4-битном формате — одна карта на 80 GB — или две карты по 80 GB в FP16. Полные таблицы — в руководстве по требованиям к VRAM.