Русский ИТ бизнес
Русский ИТ бизнес
Post media

Чел собрал настоящего монстра стоимостью около 17к долларов для локального запуска тяжелых ИИ

Чел собрал настоящего монстра стоимостью около 17к долларов для локального запуска тяжелых ИИ.

В корпусе Thermaltake Core W200 уместились процессор Threadripper Pro 3995WX и сразу десять видеокарт. Сборка включает восемь RTX 3090 и две RTX 5090 с общим объемом видеопамяти 256 ГБ и 512 ГБ оперативной памяти DDR4. Питают эту конструкцию два блока мощностью 1600 и 1300 Ватт.

В тестах модель Deepseek V3 выдает почти 25 токенов в секунду а Qwen 235b разгоняется до 31 токена при полной загрузке видеокарт.

Хобби.

Русский ИТ бизнес

Комментарии (15)

  • Буржуазный Фермер
    Буржуазный Фермер
    А сколько ватт жрет интересно
  • Модный Специалист
    Модный Специалист
    Comment media
    Интересно сколько народу шерстит интернет и готовит посты в канал (если это не ИИ конечно )

    в среднем 20 минут на пост (это надо найти же кучу всего, прочитать, отобрать только самое интересное, подготовить пост и запостить)

    Еще и за комментами следить и отвечать народу.
    • Раздражительный Жираф
      Раздражительный Жираф
      ты даже табличку составил?
    • Автор канала
      Автор канала
      Я пишу сам . Руками
      • Экологичный Священник
        Экологичный Священник
        Гений просто талант. Главное, нить повествования не теряется и в сюжете нет противоречий. Это даже Пелевин не может.
    • Сонный Голубь
      Сонный Голубь
      Comment media
  • Кованый Писатель
    Кованый Писатель
    Почему он не подключен в розетку?😂
  • Песчаный Робот
    Песчаный Робот
    Уверен, что здесь есть разрабы, хотелось бы услышать ваше мнение, моё - рынок или работодатель немного ебанулся головой.

    Переведу вакансию, ищем разраба за 3.5к$ с твердым опытом с Swift UI, Java, Go или Node.js, React Native и не буду писать про полотно инструментов с которыми нужно работать.

    Люди, вы встречали таких?
    • Кованый Писатель
      Кованый Писатель
      Прочитал три раза...ты про что?
      • Песчаный Робот
        Песчаный Робот
        Про то самое о чём в сообщении
    • Добрый Павлин
      Добрый Павлин
      Хочется узнать мерило твердости, но если что го сеньор, повышенной твёрдости от 350р начинается
  • Нежный Радист
    Нежный Радист
    Чета наверное это очень дорого для инференса
  • Лохматый Осьминог
    Лохматый Осьминог
    А если бы на эти деньги купил токенов, то хватило бы на три поколения
    • Строганый Шофер
      Строганый Шофер
      А если бы купил годовую подписку GLM по 100млн токенов в месяц за 60$ в год, то хватило бы на 283 года.
      Если поколение считать за 25 лет, то на 11 поколений 🤣🤣🤣
  • Гнутый Дракон
    Гнутый Дракон
    Ты можешь ссылки на статью/реддит оставлять? :\

    Что за неуважение к исходному автору..