Чел собрал настоящего монстра стоимостью около 17к долларов для локального запуска тяжелых ИИ
Чел собрал настоящего монстра стоимостью около 17к долларов для локального запуска тяжелых ИИ.В корпусе Thermaltake Core W200 уместились процессор Threadripper Pro 3995WX и сразу десять видеокарт. Сборка включает восемь RTX 3090 и две RTX 5090 с общим объемом видеопамяти 256 ГБ и 512 ГБ оперативной памяти DDR4. Питают эту конструкцию два блока мощностью 1600 и 1300 Ватт.
В тестах модель Deepseek V3 выдает почти 25 токенов в секунду а Qwen 235b разгоняется до 31 токена при полной загрузке видеокарт.
Хобби.
Русский ИТ бизнес

Комментарии (15)
в среднем 20 минут на пост (это надо найти же кучу всего, прочитать, отобрать только самое интересное, подготовить пост и запостить)
Еще и за комментами следить и отвечать народу.
Переведу вакансию, ищем разраба за 3.5к$ с твердым опытом с Swift UI, Java, Go или Node.js, React Native и не буду писать про полотно инструментов с которыми нужно работать.
Люди, вы встречали таких?
Если поколение считать за 25 лет, то на 11 поколений 🤣🤣🤣
Что за неуважение к исходному автору..