Русский ИТ бизнес
Русский ИТ бизнес
Post media

В чате советовали (спасибо) вот такие ПК для локального запуска ИИ. Я не могу сказать детали, сами не тестировали, но обращу внимание - там уже есть GPU- ускоритель. Производитель прямо пишет - создано для ИИ.

Можно сравнить это с RTX 4060 по мощности видеокарты. Если эти реально можно как-то легко объединять в кластер, то будет вообще очень удобно. Но как обычно - нужно место, электричество и отвод тепла.

p.s. не дешево, надо признать :)

Русский ИТ бизнес
  • Лавандовый Циклон
    Лавандовый Циклон
    моё предложение пошло в массы))

    сам бы мб себе поставил но очень не выгодно бу текущий ПК продавать
  • Танцующий Инопланетянин
    Танцующий Инопланетянин
    Надо хотя бы от 512гб рама, все что меньше баловство.
  • Сквознячный Судья
    Сквознячный Судья
    Имхо, какой-то сомнительный сетап под ИИ.
  • Сквознячный Судья
    Сквознячный Судья
    Да и смысл? Куча хороших нейронок по api бесплатно вообще.
  • Сквознячный Судья
    Сквознячный Судья
    Если прям критично, чтобы локальная была моделька, то вот это, по отзывам, ничего: https://www.nvidia.com/en-us/products/workstations/dgx-spark/
  • Невидимый Гриб
    Невидимый Гриб
    Comment media
  • Пепельный Медведь
    Пепельный Медведь
    Согласен странное решение. А самое главное этот актив быстро падает в цене. А100 и Н100 в РФ достоваемы, при наличии бюджета конечно. Если средний бюджет то лучше DGX, как писали выше. Если бюджета нет, то колхоз из 3090/4090 или V100 на крайняк если денег мало… Если совсем бомж ИИ то и на instinct mi50 можно собрать (но тут уже не все взлетит). Короче я бы не стал… Но самое дешевое это купить у провайдера API, мне кажется и Сбер и Яндекс могут тут предложить что-то с требуемым уровнем комплаенса.
    • Кованый Писатель
      Кованый Писатель
      Да, норм асики для крипты, с руками рвали, когда крипта росла, с ии почему бы нет
  • Чесночный Минотавр
    Чесночный Минотавр
    Я на новом ноуте локально пользую ии. 72тыс стоит. Да, токены почти бесплатные в инете. Мне 55 и знаю, что завтра возможно всё - не будет заграничного инета, а у меня хоть что-то останется от ии
    • Автор канала
      Автор канала
      Как скорост?
  • Чесночный Минотавр
    Чесночный Минотавр
    В зависимости от модели. От 5 до 30, первый токен от 1 сек без думающей модели. Пользоваться можно без напряга ожидания