Сборка за $100: 20 ГБ VRAM для локальных LLM с помощью P102-100 — майнинг-карты, которые спасут ваш

Сборка за $100: 20 ГБ VRAM для локальных LLM с помощью P102-100 — майнинг-карты, которые спасут ваш бюджет
Приобретите две карты P102-100 по $40–60 каждая — каждая имеет 10 ГБ GDDR5X и пропускную способность 448 ГБ/с, что даёт суммарные 20 ГБ VRAM.
Подключите обе карты в слоты PCIe x16 (допускается x1, но x16 предпочтительнее) и обеспечьте питание через 6-pin коннекторы от блока питания.
Установите патченный драйвер NVIDIA (например, через nvidia-patch) — это необходимо, так как официальные драйверы перестали поддерживать P102-100.
Сконфигурируйте фреймворк (например, llama.cpp) для распределения модели на две карты: укажите `--tensor-split 10,10` или аналогичный параметр для загрузки модели 13B–30B в 4-битном квантовании.
Запустите инференс и убедитесь, что модель работает без вытеснения в оперативную память — 20 ГБ достаточно для большинства локальных LLM.
Читать статью →

Подписаться на канал