При выборе GPU сервера я сначала определяю узкое место, объем видеопамяти, пропускную способность памяти или связь между картами. Поэтому я бы рассмотрел Hostkey
https://hostkey.ru/ , где доступны выделенные и виртуальные GPU серверы. Для инференса моделей от 7B до 13B и генерации изображений обычно достаточно RTX 4090 или RTX 5090 с 24 или 32 ГБ VRAM. Если модель не помещается в такой объем, смотрел бы на RTX 6000 PRO с 96 ГБ либо на A100 и H100 с серверной памятью HBM. Для обучения на нескольких GPU важен NVLink. Потребительские карты через PCIe подходят для распределения данных, но не всегда для разделения одной модели между картами.