Русский ИТ бизнес 👨
Подписаться
Post media
Читали новость, что сделали чип (карту) с ИИ внутри (llama)? Вот я попробовал демо - скорость 16 000 токенов в секунду генерации. Или около 40 000 символов русского языка в секунду (!).

Можете сами поиграться тут chatjimmy.ai

Можно взять чип, вставить в холодильник и работать локально с ИИ в нем. Хз зачем еще :)

Русский ИТ бизнес

Комментарии (8)

  • quokkus
    Comment media
    ладно
  • quokkus
    Под капотом Llama 3.1 Version Release Date: July 23, 2024

    llama3.1-8B
  • quokkus
    весит около 4.7 ГБ, как раз влезает в озу на 8ГБ
  • rakovskiy28
    ого, а что это такое? Почему он за 0.003 генерит ответ???
    • frater_aleph93
      в кремний веса модели впекли
    • quokkus
      Потому что тупая. урезанная
  • cyberVladisparkWQqRo
    Это реально впечатляет, локальный ИИ прямо в чипе свобода данных и скорость, просто кайф
  • canada989
    Comment media
    Литр молока у него )