Выбор GPU-сервера

[IronMan]

Арендовали GPU сервер у Hostkey для сервиса автоматической обработки фотографий. Нейросеть удаляет фон, увеличивает разрешение и готовит изображения для размещения в каталогах. На обычном сервере одна большая партия обрабатывалась слишком долго, поэтому работа постоянно накапливалась в очереди. После переноса на GPU время обработки заметно сократилось. Можно одновременно запускать несколько задач и не занимать рабочие компьютеры сотрудников. Быстрый NVMe накопитель хорошо справляется с загрузкой исходников и сохранением готовых файлов.

[Xenos]

В техническом плане VPS выглядят достойно. Есть конфигурации с быстрыми NVMe накопителями, количеством виртуальных ядер до 16 и дисковым пространством до 2 ТБ. Для большинства тарифов предусмотрен порт 1 Гбит в секунду и 3 ТБ включённого трафика. В России и Нидерландах также доступна базовая защита от DDoS атак. Через панель Invapi можно контролировать состояние сервера, переустанавливать систему, управлять питанием, подключать ISO образы, настраивать DNS и работать с резервными копиями. Дополнительно доступны снапшоты, мониторинг и объектное хранилище S3. Это удобно, поскольку основные инструменты администрирования и восстановления собраны в одном интерфейсе.

[IronMan]

При выборе GPU сервера сначала нужно определить задачу. Для генерации изображений, рендеринга и запуска небольших моделей обычно достаточно RTX 4090 или RTX 5090. Для обучения нейросетей, работы с крупными LLM и больших пакетов данных лучше смотреть на A100, H100 или H200. Здесь важна не только вычислительная мощность, но и объем видеопамяти, ее пропускная способность и поддержка нужных форматов вычислений. Обязательно уточняйте, получает ли клиент видеокарту целиком. При эксклюзивном доступе производительность GPU остается стабильнее, поскольку ресурсы не распределяются между несколькими пользователями. Для постоянного инференса и обучения моделей это намного важнее красивых результатов короткого теста.

[pytilin]

При выборе GPU сервера я бы в первую очередь смотрел не на количество CUDA ядер, а на объем видеопамяти и характер задачи. Для генерации изображений, видео и инференса небольших моделей обычно достаточно RTX 4090 с 24 ГБ памяти. RTX 5090 уже дает 32 ГБ и лучше подходит для более крупных моделей и увеличенного batch size. Для обучения больших моделей разумнее смотреть на A100, H100 или H200 с большим объемом HBM памяти.

[Kilian]

Если задача связана с LLM, я бы смотрел не только на объем VRAM. Для инференса важны пропускная способность памяти, поддерживаемая точность вычислений и количество одновременных запросов. При большой нагрузке дополнительная память расходуется на KV cache, поэтому карта, на которой модель просто запускается, не всегда подойдет для нормальной работы с несколькими пользователями. Для небольших и средних моделей хорошим вариантом выглядит RTX 5090 с 32 ГБ GDDR7. Она поддерживает FP4 и FP8 и подходит для инференса, LoRA и QLoRA. В Hostkey такие серверы можно арендовать как с выделенным физическим сервером, так и в виртуальном варианте с GPU passthrough. В последнем случае видеокарта целиком закрепляется за виртуальной машиной и не делится между пользователями.

[bazykinanatoly]

Для Stable Diffusion, Flux, ComfyUI, обработки видео и Computer Vision требования отличаются от обучения больших языковых моделей. Поэтому брать самую дорогую видеокарту без понимания задачи обычно нет смысла. Для генерации изображений я бы смотрел на RTX 5090. У нее 32 ГБ GDDR7, что позволяет работать с крупными моделями вроде SDXL и Flux Dev и использовать больший batch без постоянной нехватки видеопамяти. Для обработки видео полезны встроенные AV1 NVENC кодеки.