Русский ИТ бизнес 👨
Подписаться
Post media
В чате советовали (спасибо) вот такие ПК для локального запуска ИИ. Я не могу сказать детали, сами не тестировали, но обращу внимание - там уже есть GPU- ускоритель. Производитель прямо пишет - создано для ИИ.

Можно сравнить это с RTX 4060 по мощности видеокарты. Если эти реально можно как-то легко объединять в кластер, то будет вообще очень удобно. Но как обычно - нужно место, электричество и отвод тепла.

p.s. не дешево, надо признать :)

Русский ИТ бизнес

Комментарии (0)

  • vtroc7
    моё предложение пошло в массы))

    сам бы мб себе поставил но очень не выгодно бу текущий ПК продавать
  • Alex90907
    Надо хотя бы от 512гб рама, все что меньше баловство.
  • mike_kozyakov
    Имхо, какой-то сомнительный сетап под ИИ.
  • mike_kozyakov
    Да и смысл? Куча хороших нейронок по api бесплатно вообще.
    • quokkus
      нельзя передавать данные
  • mike_kozyakov
    Если прям критично, чтобы локальная была моделька, то вот это, по отзывам, ничего: https://www.nvidia.com/en-us/products/workstations/dgx-spark/
  • AlexandrAdolfovih
    Comment media
  • kosmoflyko
    Согласен странное решение. А самое главное этот актив быстро падает в цене. А100 и Н100 в РФ достоваемы, при наличии бюджета конечно. Если средний бюджет то лучше DGX, как писали выше. Если бюджета нет, то колхоз из 3090/4090 или V100 на крайняк если денег мало… Если совсем бомж ИИ то и на instinct mi50 можно собрать (но тут уже не все взлетит). Короче я бы не стал… Но самое дешевое это купить у провайдера API, мне кажется и Сбер и Яндекс могут тут предложить что-то с требуемым уровнем комплаенса.
    • 5780177665
      Да, норм асики для крипты, с руками рвали, когда крипта росла, с ии почему бы нет
  • Sergey_chto_nado
    Я на новом ноуте локально пользую ии. 72тыс стоит. Да, токены почти бесплатные в инете. Мне 55 и знаю, что завтра возможно всё - не будет заграничного инета, а у меня хоть что-то останется от ии
    • GroupAnonymousBot
      Как скорост?
  • Sergey_chto_nado
    В зависимости от модели. От 5 до 30, первый токен от 1 сек без думающей модели. Пользоваться можно без напряга ожидания