Для нескольких GPU тоже не все так просто. Если код не умеет нормально работать через DDP/model parallel, две карты могут дать далеко не x2. Поэтому я бы сначала загрузил одну GPU на 90–100%, а уже потом думал о второй. Часто узкое место вообще оказывается в CPU или загрузке датасета с диска.
|