Выбор GPU-сервера

[IronMan]

Арендовали GPU сервер у Hostkey для сервиса автоматической обработки фотографий. Нейросеть удаляет фон, увеличивает разрешение и готовит изображения для размещения в каталогах. На обычном сервере одна большая партия обрабатывалась слишком долго, поэтому работа постоянно накапливалась в очереди. После переноса на GPU время обработки заметно сократилось. Можно одновременно запускать несколько задач и не занимать рабочие компьютеры сотрудников. Быстрый NVMe накопитель хорошо справляется с загрузкой исходников и сохранением готовых файлов.

[Xenos]

В техническом плане VPS выглядят достойно. Есть конфигурации с быстрыми NVMe накопителями, количеством виртуальных ядер до 16 и дисковым пространством до 2 ТБ. Для большинства тарифов предусмотрен порт 1 Гбит в секунду и 3 ТБ включённого трафика. В России и Нидерландах также доступна базовая защита от DDoS атак. Через панель Invapi можно контролировать состояние сервера, переустанавливать систему, управлять питанием, подключать ISO образы, настраивать DNS и работать с резервными копиями. Дополнительно доступны снапшоты, мониторинг и объектное хранилище S3. Это удобно, поскольку основные инструменты администрирования и восстановления собраны в одном интерфейсе.

[IronMan]

При выборе GPU сервера сначала нужно определить задачу. Для генерации изображений, рендеринга и запуска небольших моделей обычно достаточно RTX 4090 или RTX 5090. Для обучения нейросетей, работы с крупными LLM и больших пакетов данных лучше смотреть на A100, H100 или H200. Здесь важна не только вычислительная мощность, но и объем видеопамяти, ее пропускная способность и поддержка нужных форматов вычислений. Обязательно уточняйте, получает ли клиент видеокарту целиком. При эксклюзивном доступе производительность GPU остается стабильнее, поскольку ресурсы не распределяются между несколькими пользователями. Для постоянного инференса и обучения моделей это намного важнее красивых результатов короткого теста.

[pytilin]

При выборе GPU сервера я бы в первую очередь смотрел не на количество CUDA ядер, а на объем видеопамяти и характер задачи. Для генерации изображений, видео и инференса небольших моделей обычно достаточно RTX 4090 с 24 ГБ памяти. RTX 5090 уже дает 32 ГБ и лучше подходит для более крупных моделей и увеличенного batch size. Для обучения больших моделей разумнее смотреть на A100, H100 или H200 с большим объемом HBM памяти.

[Kilian]

Если задача связана с LLM, я бы смотрел не только на объем VRAM. Для инференса важны пропускная способность памяти, поддерживаемая точность вычислений и количество одновременных запросов. При большой нагрузке дополнительная память расходуется на KV cache, поэтому карта, на которой модель просто запускается, не всегда подойдет для нормальной работы с несколькими пользователями. Для небольших и средних моделей хорошим вариантом выглядит RTX 5090 с 32 ГБ GDDR7. Она поддерживает FP4 и FP8 и подходит для инференса, LoRA и QLoRA. В Hostkey такие серверы можно арендовать как с выделенным физическим сервером, так и в виртуальном варианте с GPU passthrough. В последнем случае видеокарта целиком закрепляется за виртуальной машиной и не делится между пользователями.

[bazykinanatoly]

Для Stable Diffusion, Flux, ComfyUI, обработки видео и Computer Vision требования отличаются от обучения больших языковых моделей. Поэтому брать самую дорогую видеокарту без понимания задачи обычно нет смысла. Для генерации изображений я бы смотрел на RTX 5090. У нее 32 ГБ GDDR7, что позволяет работать с крупными моделями вроде SDXL и Flux Dev и использовать больший batch без постоянной нехватки видеопамяти. Для обработки видео полезны встроенные AV1 NVENC кодеки.

[Dyrden]

Я бы начинал выбор сервера с GPU с конкретной задачи. Для нейросетей нужно заранее определить модель, точность вычислений и количество одновременных запросов. Если речь про инференс LLM, в видеопамяти должны помещаться веса модели, кеш контекста и рабочие буферы. Ситуация, когда модель запускается, но при длинном диалоге заканчивается память, вполне возможна. Из провайдеров я бы рассмотрел Hostkey. У них есть выделенные и виртуальные серверы с RTX 5090 на 32 ГБ видеопамяти. В виртуальном варианте с GPU passthrough карта предоставляется целиком. Для проекта, которому достаточно одной видеокарты, я бы сравнил оба варианта по объему RAM, процессору и дисковой подсистеме.

[Kilian]

При выборе GPU сервера я сначала определяю узкое место, объем видеопамяти, пропускную способность памяти или связь между картами. Поэтому я бы рассмотрел Hostkey https://hostkey.ru/ , где доступны выделенные и виртуальные GPU серверы. Для инференса моделей от 7B до 13B и генерации изображений обычно достаточно RTX 4090 или RTX 5090 с 24 или 32 ГБ VRAM. Если модель не помещается в такой объем, смотрел бы на RTX 6000 PRO с 96 ГБ либо на A100 и H100 с серверной памятью HBM. Для обучения на нескольких GPU важен NVLink. Потребительские карты через PCIe подходят для распределения данных, но не всегда для разделения одной модели между картами.

[pytilin]

Две видеокарты по 24 ГБ не дают приложению автоматически использовать 48 ГБ как единый объём памяти. При стандартном обучении через PyTorch DDP каждая GPU хранит собственную копию модели. Если модель не помещается на одной карте, одного подключения второй недостаточно. Для распределения модели нужны подходящие механизмы, например tensor parallelism, и поддержка такого режима в используемом ПО. Из вариантов аренды GPU серверов я бы рассмотрел Hostkey. В каталоге есть конфигурация с двумя RTX 4090 по 24 ГБ, 256 ГБ оперативной памяти и NVMe на 2 ТБ. Такой вариант можно рассматривать для независимых экспериментов или обучения на нескольких GPU. Для задачи, которой важнее вместить модель на одно

[IronMan]

К этому еще добавлю, что для multi GPU сервера я бы обязательно смотрел на топологию PCI Express. Само наличие двух или четырех мощных GPU еще не означает, что они смогут эффективно обмениваться данными между собой. Если обучение идет через PyTorch DDP и каждая карта обрабатывает свою часть batch, обмен градиентами становится постоянной операцией. Тут уже важны количество линий PCI Express, архитектура процессора и то, как именно GPU подключены к CPU. При неудачной топологии часть производительности можно потерять именно на передаче данных. То же касается системной памяти. Если используется несколько GPU, 64 ГБ RAM может оказаться мало даже при нормальном объеме VRAM. Датасет, кеш, процессы подготовки данных и несколько worker процессов тоже потребляют память. Для серьезного обучения я бы уже смотрел 128 или 256 ГБ RAM. Еще один момент это NVMe. Если несколько GPU одновременно ждут данные с диска, дорогие видеокарты начинают простаивать. Поэтому для обучения на больших датасетах я бы проверял не только модель GPU, но и скорость чтения, количество NVMe и то, как организовано хранение исходных данных.