Русский ИТ бизнес
Русский ИТ бизнес
Post media

Читали новость, что сделали чип (карту) с ИИ внутри (llama)

Читали новость, что сделали чип (карту) с ИИ внутри (llama)? Вот я попробовал демо - скорость 16 000 токенов в секунду генерации. Или около 40 000 символов русского языка в секунду (!).

Можете сами поиграться тут chatjimmy.ai

Можно взять чип, вставить в холодильник и работать локально с ИИ в нем. Хз зачем еще :)

Русский ИТ бизнес

Комментарии (11)

  • Песчаный Егерь
    Песчаный Егерь
    ого, а что это такое? Почему он за 0.003 генерит ответ???
    • Трусливый Кенгуру
      Трусливый Кенгуру
      в кремний веса модели впекли
  • Импульсивный Титан
    Импульсивный Титан
    Это реально впечатляет, локальный ИИ прямо в чипе свобода данных и скорость, просто кайф
  • Полосатый Павлин
    Полосатый Павлин
    Comment media
    Литр молока у него )
  • Рыхлый Консультант
    Рыхлый Консультант
    Я у себя в канале писал, что кончится всё тем что будут делать карты под ии и наступят другие времена, написал запрос под сложнейший saas сервис, нажал enter и сразу видишь результат, дольше будешь проверять и просить что то поправить. Маск высказался что будут сразу бинарники писать пропуская код )
  • Рыхлый Консультант
    Рыхлый Консультант
    Скорость генерации впечатляет
  • Невидимый Гриб
    Невидимый Гриб
    Вот только вчера качал и ставил Olama это вроде сервер, а ИИ на нем локально крутится. Или я путаю?