Telega.FM Лента новостей из телеграмм по темам
Русский ИТ бизнес 👨
Подписаться
Post media
На этой сборке 10 токенов в секунду дает Deepseek 3.2 локально. Или 30 символов русского языка в секунду. Потребление 2.4 кВт. Вот тут детали https://github.com/ai-infos/guidances-setup-16-mi50-deepseek-v32

p.s. в сборке 16 AMD MI50 32GB. Сколько вложил денег человек я не уловил. Но это не дешево.

Русский ИТ бизнес
0/7 Открыть в Telegram

Комментарии (0)

  • 345997686
    Оно годится только для обработки чего-то секретного, или просто как пример буйного энтузиазма. А так-то дело совершенно бестолковое
    • lcantstop
      "бестолковое" - это когда бизнес отдает все данные на сторону по API во внешку на обработку не заботясь не о чём.
      • 345997686
        Это тоже бестолковое, без всяких кавычек. В реальной жизни могут быть бестолковыми оба альтернативных решения, теорему Эскобара никто не отменял🥲
  • yury_webscraping
    Короче, весь ии очень дорог и убыточен. И не факт что без сильной оптимизации выйдет в плюс
    • andr_van
      Ага, до сих пор слишком дорог, но слишком востребован, чтобы на это обращали внимание.
  • andr_van
    Но токены всё дешевеют, прогресс есть
  • Channel_Bot
    Максим, подскажите, какого провайдера API для LLM вы используете? Наверняка самые дешевые токены )
    тоже хочу попробовать, но глаза разбегаются по условиям(
    • mtrnkwas
      Попробуйте z.ai, лучшее соотношение цены и качества.
      • Channel_Bot
        оригинальный домен)
  • YurikZebrov
    Помоему striz halo 395+ выйдет дешевле и сильно проще
  • Alex90907
    А как же там шумно и интересно как он из помещения отводит все тепло.
  • kosmoflyko
    MI50 32Gb стоит 25 тр в РФ, соответственно тут 400 тр. Но скорее всего все эти карты у него после майнинга остались. Карта морально устарела уже и не все позволяет запускать. Это я вам как владелец 2 таких карт говорю. Брал чисто по фану.
  • kosmoflyko
    Comment media
    Про шум, на картах нет вентиляторов или турбин, это серверное решение, спроектировано на сквозной продув. На фото мы видим обычные кулеры от корпуса ПК. Так что там шума особого не будет. Я свои охлаждаю парой радиальных кулеров, думаю они пошумнее будут
  • kosmoflyko
    И еще карта очень привередливая и стартует не на всех мат платах. Но мне как бывшему админу было прикольно повозиться