Telega.FM Лента новостей из телеграмм по темам
Русский ИТ бизнес 👨
Подписаться
Post media
До сих пор думаю, что такая сборка под ИИ может быть неплохим решением даже для нас. Стоимость 1 устройства около 45к, оно не шумит, не греется, потребляет мало. Можно поставить в офисе и мешать не будет.

Полагаю, что надо вложить около 1 млн. и получаешь, по сути, безлимитный генератор чего угодно - картинок, текста, видео...

Что думаете? Мы сейчас покупаем, дешево, но я иногда думаю, что своя ферма может быть неплохим решением. Останавливает одно - цена на токены имеет тенденцию не расти, а депозиты высокие.

Русский ИТ бизнес
0/9 Открыть в Telegram

Комментарии (0)

  • utekov
    Акционеры nvidia такие:
  • utekov
  • modflow
    когда интернет РФ отключат от глобальной сети, и начнут бороться с VPN, тогда сборочка очень пригодится 😊
  • lord_markus
    Китайские материнки на АМД процах дешевы, https://www.ozon.ru/product/komplekt-materinskaya-plata-huananzhi-h12d-8d-bmc-epyc-7k62-128gb-ddr4-2933mhz-ecc-2498260518/?oos_search=false
    На них серваки можно собрать.

    Ещё есть такие на интеле: https://www.ozon.ru/seller/komp-servis-484076/?miniapp=seller_484076&sorting=price_desc но процы идут прямо старые, с не очень производительностью.

    Хуананжи анонсировали к концу года двух процессорную для АМД процов.
  • Unlimitedtor
    Макс,
    https://www.runpod.io/pricing 4090 стоит 0.34$/ч = 244$ в мес

    4 x mac mini m4 x 20-40 токенов/сек ≈ 80-160 токенов/сек
    1 х 4090 дает = 130-200 токенов/сек

    4 mac mini m4 потребляют ≈ 129.6 кВтч / месяц.
    при самом дешевом тарифе за 4руб/квтч это 518руб в мес эл-во, цена токенов 1.43руб/1М
    4090 дает 42.3руб/1M

    52 539руб стоит один m4(бомж на сдеке) х 4 = 210 156 руб
    считаем разницу 210к / (42.3 - 1.43 ) = 5144 млн токенов
    То есть нужно сгенерировать примерно 5.1 млрд токенов, чтобы разница в стоимости токена окупила покупку 4 Mac mini.

    а это 14 месяцев аренды, но при этом у тебя по итогу останется еще 4 mac mini m4
    • Unlimitedtor
      но в офисах обычно тариф не 4 руб/квтч, так что будет возможно менее выгодно.
      • Unlimitedtor
        при стоимости 8руб/квтч стоимость 1м токенов = 2,86руб
        окупаемость становится 15мес + у етбя остаются они же. короче выгоднее поставить, особенно дома(если не пугают жэк твои дополнительные 130квтч/мес. балкон могут обогревать как теплые полы)) 180вт/ч)
    • Ulyanov_pavel
      Clore.ai минимум в 3 раза цена ниже на аренду.
      • Unlimitedtor
        пока не нашел порта под comfyui, боюсь интеграция не окупится против runpod/runcomfy/.. на маленьких объемах, надо искать
        • Ulyanov_pavel
          Страшные и непонятные слова для меня. Но вариантов там много. 2x RTX 4090
          23GB VRAM
          PCIe 4.0 x8 | 450 W
          Rating: 5.00/5 (15)
          142.05
          Mbps
          185.97
          Mbps
          ROG CROSSHAIR X670E HERO
          Reliability: 96.67%
          Ryzen 9 7950X 16-Core Processor
          16
          c
          /
          32
          t
          RAM: 128 GB
          Disk:
          3486 MB/s
          CUDA 12.8
          1710GB
          PL
          max duration: 3 days
          3.19 USD/day
          503.77 CLORE/day
  • olegsoko
    Правильно, а ночью пусть оно майнит эфир.
  • alexy_os
    Только вначале надо разобрать чем отличаются и что умеют M4, M4 Pro, M4 Max, 12, 24, 36, 48 DDR 4 / 5 - это все разные Mac mini m4

    И не все из них поддерживают кластеры 4 / 5 версии и это разные возможности

    Эксперименты с кластерами показали перегрев ПК и падение скорости токенов

    То есть выгоднее Mac mini m4 pro 24 gb против кластера из двух и т д

    Еще смотря какая фактура данных. Это тоже надо суметь подготовить и тогда yandex-gpt-8b даст результат лучше, чем дипсик 600b…
    • Ulyanov_pavel
      Вот бы инфу как запустить модель на нескольких ПК. Есть после майнинга пара десятков 3070, побаловаться бы)) скорее всего это сложно
      • alexy_os
        Могу посоветовать канал Виталия, он разные видеокарты на разном железе запускает https://t.me/vitaly_kuliev_it может и подскажет что нибудь дельное
  • Todayer
    А о какой именно модели речь?
    • GroupAnonymousBot
      mini m4