Очередной локальный монстрик для ИИ.

Автор собрал систему на 8 видеокартах AMD Radeon 7900 XTX, получил 192 ГБ видеопамяти, добавил 192 ГБ оперативки и поставил Intel Core i7 14700F на плате Z790, а кучу видеокарт прикрутил через PCIe switch карту с AliExpress примерно за 500 долларов, чтобы на обычной материнке это вообще завелось.

Всё крутится на Windows 11 через Vulkan в LM Studio и Open WebUI, а общая цена сборки примерно 6 или 7к$. Потребление 1Квт. Скорость генерации около 200 токенов в секунду на модели GLM4.5Air q6.

Зачем? Например, у вас в компании ну очень важные данные и вы не доверяете облакам. Делаете такую сборку, ставите в ДЦ и создаете контент со скоростью 500 символов русского языка в секунду.

Русский ИТ бизнес