Русский ИТ бизнес
Русский ИТ бизнес

Многие радуются появлению мощных и умных LLM-моделей с открытыми весами, что создаёт иллюзию

Многие радуются появлению мощных и умных LLM-моделей с открытыми весами, что создаёт иллюзию
Многие радуются появлению мощных и умных LLM-моделей с открытыми весами, что создаёт иллюзию доступности. Вот голые цифры по запуску GLM 5.2 в компромиссном Q4_K_M.

Вся надежда на Mac Studio, хотя, учитывая, что они пока не выпустили M5 Ultra, подозреваю, что версия на 512 ГБ будет стоить 10 000 $+. А таких нужно два.

В современных реалиях подозреваю, что стоимость составит 30 000 $+. В общем, пользуемся подписками, пока это почти бесплатно. Нет никаких предпосылок, что в обозримом будущем ИИ станет дешевле.

Можете сами перепроверить расчеты.

tg / max

Комментарии (9)

  • Добрый Павлин
    Добрый Павлин
    Думаю просто будем покупать нужную по мощности ии уже в FPGA железе, как сейчас видюхи покупаем Ответить
  • Колеблющийся Миротворец
    Колеблющийся Миротворец
    Сейчас за 200к можно взять моноблок на амд аи плюс, туда встаёт квен 27б, а это почти соннет 4.5 . Через год у нас будет железка за 599к, куда можно будет засунуть китайца уровня гпт 5.3. Для программирования вполне ок Ответить
    раскрыть ветку (3)
    • Добрый Павлин
      Добрый Павлин
      Да, вот локалка своя это прямо надо как мне кажется. Сейчас новости решил вспомнить, что читал. Оказывается AI ускорителей разных видов уже готовы или готовятся к выходу на рынок. Лучше чем GPU и дешевле по железу выйдет Ответить
      раскрыть ветку (2)
      • Колеблющийся Миротворец
        Колеблющийся Миротворец
        Точу на локалку зуб, но пока экономически не оч оправдано по моему. Пока подписка выглядит лучше и по качеству и по окупаемости. Ответить
        раскрыть ветку (1)
        • Добрый Павлин
          Добрый Павлин
          пока да, но на горизонте лет в 5 думаю все уже будет доступно для разных сегментов и хотелок Ответить
  • Заляпанный Сухарь
    Заляпанный Сухарь
    Есть ньюансы. 1 весов хватит на многих, но вопрос именно в памяти для контекста. На 1 это конечно дорого, но если брать железа на 10+ постоянно кодящих или пользующихся - там уже математика начинает сходится. другое дело что опенсоурсы это такое себе в сравнении с топ моделями даже того же отстающего гугля. Ответить
    раскрыть ветку (3)
    • Добрый Павлин
      Добрый Павлин
      ну по сравнению с гуглем z.ai вполне себе конкурент Ответить
      раскрыть ветку (2)
      • Сквознячный Судья
        Сквознячный Судья
        С гуглем - однозначно. Мне кажется чуда с новой gemini не будет. Ответить
        раскрыть ветку (1)
        • Автор канала
          Автор канала
          А я надеюсь . Но боюсь что да могут обосраттся Ответить