Telega.FM Лента новостей из телеграмм по темам
Русский ИТ бизнес 👨
Подписаться
Post media
Чел собрал настоящего монстра стоимостью около 17к долларов для локального запуска тяжелых ИИ.

В корпусе Thermaltake Core W200 уместились процессор Threadripper Pro 3995WX и сразу десять видеокарт. Сборка включает восемь RTX 3090 и две RTX 5090 с общим объемом видеопамяти 256 ГБ и 512 ГБ оперативной памяти DDR4. Питают эту конструкцию два блока мощностью 1600 и 1300 Ватт.

В тестах модель Deepseek V3 выдает почти 25 токенов в секунду а Qwen 235b разгоняется до 31 токена при полной загрузке видеокарт.

Хобби.

Русский ИТ бизнес
1845/15 Открыть в Telegram

Комментарии (15)

  • sot1red
    А сколько ватт жрет интересно
  • demondvk
    Comment media
    Интересно сколько народу шерстит интернет и готовит посты в канал (если это не ИИ конечно )

    в среднем 20 минут на пост (это надо найти же кучу всего, прочитать, отобрать только самое интересное, подготовить пост и запостить)

    Еще и за комментами следить и отвечать народу.
    • dmitry236
      ты даже табличку составил?
    • GroupAnonymousBot
      Я пишу сам . Руками
      • Ut4J6
        Гений просто талант. Главное, нить повествования не теряется и в сюжете нет противоречий. Это даже Пелевин не может.
    • olegsoko
      Comment media
  • 5780177665
    Почему он не подключен в розетку?😂
  • access_unauthorized
    Уверен, что здесь есть разрабы, хотелось бы услышать ваше мнение, моё - рынок или работодатель немного ебанулся головой.

    Переведу вакансию, ищем разраба за 3.5к$ с твердым опытом с Swift UI, Java, Go или Node.js, React Native и не буду писать про полотно инструментов с которыми нужно работать.

    Люди, вы встречали таких?
    • 5780177665
      Прочитал три раза...ты про что?
      • access_unauthorized
        Про то самое о чём в сообщении
    • DADementr
      Хочется узнать мерило твердости, но если что го сеньор, повышенной твёрдости от 350р начинается
  • 709864982
    Чета наверное это очень дорого для инференса
  • Channel_Bot
    А если бы на эти деньги купил токенов, то хватило бы на три поколения
    • SilaMisli
      А если бы купил годовую подписку GLM по 100млн токенов в месяц за 60$ в год, то хватило бы на 283 года.
      Если поколение считать за 25 лет, то на 11 поколений 🤣🤣🤣
  • j0in_alex
    Ты можешь ссылки на статью/реддит оставлять? :\

    Что за неуважение к исходному автору..