Я бы начинал выбор сервера с GPU с конкретной задачи. Для нейросетей нужно заранее определить модель, точность вычислений и количество одновременных запросов. Если речь про инференс LLM, в видеопамяти должны помещаться веса модели, кеш контекста и рабочие буферы. Ситуация, когда модель запускается, но при длинном диалоге заканчивается память, вполне возможна. Из провайдеров я бы рассмотрел Hostkey. У них есть выделенные и виртуальные серверы с RTX 5090 на 32 ГБ видеопамяти. В виртуальном варианте с GPU passthrough карта предоставляется целиком. Для проекта, которому достаточно одной видеокарты, я бы сравнил оба варианта по объему RAM, процессору и дисковой подсистеме.
|