Есть одна RTX 3090: докупать RAM или собирать несколько карт?

Есть одна RTX 3090: докупать RAM или собирать несколько карт?

Есть одна RTX 3090 и хочется запустить модель крупнее, чем помещается в её память. Дальше два пути: наращивать оперативную память под движок, который подкачивает веса, или собирать несколько карт под обычный запуск.

Первый путь — движок со стримингом весов. В описанной автором схеме веса едут с NVMe в RAM, а GPU держит только активную часть; рабочие ступени — 64, 96, 128 и 192 ГБ RAM. Когда выбирать: карта одна, RAM можно добрать. Чем платим: узкое место смещается в оперативную память, а цифры здесь с одного авторского стенда, не универсальный рецепт.

Второй — несколько карт. В том же материале на связке 3060 + 3090 автор получил прирост 7% и называет это бонусом для тех, у кого вторая карта уже стоит. Он же прямо пишет, что за пределами двух карт масштабирование плохое, а для 3–4+ GPU отсылает к Project Maya. Когда выбирать: карты уже есть. Чем платим: за пределы двух карт путь плохо масштабируется.

И ещё: быстрый декод не равен решённой задаче. В кейсе с четырьмя RTX 3080 Qwen выдавал около 100 токенов в секунду против 37 у DeepSeek и быстрее обрабатывал вход, но задачу закрыла более медленная модель. Поэтому сравнивать пути стоит не только по токенам в секунду.

Учебный пример: возьмите одну и ту же задачу, зафиксируйте версию рантайма, квант и лимит контекста и сравните время до результата и число попыток. Правило выбора: если карта одна и RAM можно добрать — смотрите на стриминг весов; если карты уже стоят и их не больше двух — пробуйте мульти-GPU. Но решайте по своей задаче на своём железе, а не по одним ток/с и размеру окна.

Разбор 1 · Разбор 2