Русский ИТ бизнес 👨
Подписаться
Post media
Для апологетов ИИ - новый чип Apple M5 в 6 раз быстрее текущего в части генерации текста (до первого токена). Что это значит? Как минимум, запуск локальных ИИ будет проще и работать они будут быстрее.

Но скажу так - чем сильнее надувается пузырь ИИ, тем дешевле будут токены и меньше смысла в локальных моделях, если их можно за копейки покупать на рынке.

Русский ИТ бизнес

Комментарии (0)

  • Maxim279
    Проц это хорошо, только вопрос, где к такому ноуту взять робособаку, которая будет таскать чемодан с оперативной для нормальных моделей...
  • bykost
    если вы гоняете свои данные в чужие LLM ки не удивляйтесь потом когда вырастет новый конкурент и вас похоронит.
    • Maxim279
      Не уверен, что в ближайшее время провайдеры llm заинтересуются парсингом ассортимента Петровича...
  • bykost
    зато когда заинтересуется сосед Петровича и сделает запрос в LLM ку та будет готова выдать ему все расклады. Плати тока за токены
  • alexy_os
    Ну вот и инфраструктура к gpt-oss открытым моделям подъехала. Можно локально гонять без внешних api
    • kotchuprik
      там 32озу, маловато
      • alexy_os
        Эта да. Для 120B пока маловато но думаю скоро Mac M5 mini выпустят и тогда их можно соединить в кластер
  • Ghostru
    Локальные модели нужны для privacy
  • mtrnkwas
    Когда пузырь лопнет, токены станут гораздо дороже.
  • Nurglsdog
    Офигительно важный показатель - время до первого токена (нет)