Русский ИТ бизнес
Русский ИТ бизнес

На этой сборке 10 токенов в секунду дает Deepseek 3.2 локально. Или 30 символов русского языка в секунду. Потребление 2.4 кВт. Вот тут детали https://github.com/ai-infos/guidances-setup-16-mi50-deepseek-v32

p.s. в сборке 16 AMD MI50 32GB. Сколько вложил денег человек я не уловил. Но это не дешево.

Русский ИТ бизнес
  • Грязный Посол
    Грязный Посол
    Оно годится только для обработки чего-то секретного, или просто как пример буйного энтузиазма. А так-то дело совершенно бестолковое Ответить
    раскрыть ветку (2)
    • Сальтирующий Кот
      Сальтирующий Кот
      "бестолковое" - это когда бизнес отдает все данные на сторону по API во внешку на обработку не заботясь не о чём. Ответить
      раскрыть ветку (1)
      • Грязный Посол
        Грязный Посол
        Это тоже бестолковое, без всяких кавычек. В реальной жизни могут быть бестолковыми оба альтернативных решения, теорему Эскобара никто не отменял🥲 Ответить
  • Призматический Буффало
    Призматический Буффало
    Короче, весь ии очень дорог и убыточен. И не факт что без сильной оптимизации выйдет в плюс Ответить
    раскрыть ветку (1)
    • Ворчливый Сатир
      Ворчливый Сатир
      Ага, до сих пор слишком дорог, но слишком востребован, чтобы на это обращали внимание. Ответить
  • Ворчливый Сатир
    Ворчливый Сатир
    Но токены всё дешевеют, прогресс есть Ответить
  • Лохматый Осьминог
    Лохматый Осьминог
    Максим, подскажите, какого провайдера API для LLM вы используете? Наверняка самые дешевые токены )
    тоже хочу попробовать, но глаза разбегаются по условиям( Ответить
    раскрыть ветку (2)
    • Пряный Единорог
      Пряный Единорог
      Попробуйте z.ai, лучшее соотношение цены и качества. Ответить
      раскрыть ветку (1)
      • Лохматый Осьминог
        Лохматый Осьминог
        оригинальный домен) Ответить
  • Вязаный Дирижер
    Вязаный Дирижер
    Помоему striz halo 395+ выйдет дешевле и сильно проще Ответить
  • Танцующий Инопланетянин
    Танцующий Инопланетянин
    А как же там шумно и интересно как он из помещения отводит все тепло. Ответить
  • Пепельный Медведь
    Пепельный Медведь
    MI50 32Gb стоит 25 тр в РФ, соответственно тут 400 тр. Но скорее всего все эти карты у него после майнинга остались. Карта морально устарела уже и не все позволяет запускать. Это я вам как владелец 2 таких карт говорю. Брал чисто по фану. Ответить
  • Пепельный Медведь
    Пепельный Медведь
    Comment media
    Про шум, на картах нет вентиляторов или турбин, это серверное решение, спроектировано на сквозной продув. На фото мы видим обычные кулеры от корпуса ПК. Так что там шума особого не будет. Я свои охлаждаю парой радиальных кулеров, думаю они пошумнее будут Ответить
  • Пепельный Медведь
    Пепельный Медведь
    И еще карта очень привередливая и стартует не на всех мат платах. Но мне как бывшему админу было прикольно повозиться Ответить