По GPU согласен с тем, что VRAM важнее громкого названия карты. Сейчас 4090 на 24 ГБ все еще очень бодрая, но если модель в нее не помещается, скорость уже не спасает. У HOSTKEY есть 5090 на 32 ГБ и более тяжелые профессиональные варианты. Я бы перед арендой просто прогнал расчет памяти под конкретную модель и precision, чтобы потом не заниматься offload в RAM.
|