Русский ИТ бизнес
Русский ИТ бизнес

Бывший сотрудник OpenAI представил новое поколение ИИ: его модель Jev в некоторых задачах работает

Бывший сотрудник OpenAI представил новое поколение ИИ: его модель Jev в некоторых задачах работает
Бывший сотрудник OpenAI представил новое поколение ИИ: его модель Jev в некоторых задачах работает в 200 раз быстрее обычных LLM.

Что сделал стартап TypeSafe AI Диогу Алмейды, коротко:

- Jev не генерирует ответ последовательно, а выдает структурированный результат с вероятностями;
- Это означает, что модель не может галлюцинировать. Из готовых ответов она выбирает тот, что вызывает больше доверия. Правда, Jev все еще может выбрать не тот вариант;
- По этой же причине модель очень быстрая. Ее заставили играть в DOOM: модель получала данные о происходящем и принимала ~10 решений в секунду;
- А еще она на порядок дешевле. Миллион входных токенов стоит всего $0,042, а выходные токены вообще бесплатные. На тест с игрой Jev тратила всего $7 в час.

Модель уже открыта в раннем доступе, вейтлист по ссылке.

tg / max

Комментарии (8)

  • Тактичный Дроид
    Тактичный Дроид
    Скорость это то что нужно сейчас,
    За скоростью будущее, модели должны делать тысячи токенов в секунду потребляя 100вт, вот это уже стабильность будет
    Повысить точность до 98% легче лёгкого будет Ответить
  • Танцующий Инопланетянин
    Танцующий Инопланетянин
    Никто не разобрался, но все пишут. Эта сетка, эволюция Берта и компании, которая была на заре ллм, они использовались для классификации спам - не спам, токсично- нет и ТД. Здесь тоже самое, ты сначала должен нагенерить ей ответов,обычными ллмками, потом сказать, вот запрос - напиши сортировку, какой из этих вариантов кода самый лучши, правильный и ТД, здесь есть гибкость. И оно скажет, какой, даст вероятность. Ответить
  • Рыхлый Консультант
    Рыхлый Консультант
    Я читал треды в x, на самом деле похоже на очередной прорыв, скорость принятия решения миллисекунды, можно будет например в игры добавить сотни мпс которые думают, а не скриптованы, или например на машины делать селф драйвинг за копейки Ответить
    раскрыть ветку (4)
    • Тактичный Дроид
      Тактичный Дроид
      Если это правда, то прорыв конечно.
      Семантический цпу по сути
      Если веса ожелезить целиком Ответить
      раскрыть ветку (2)
      • Рыхлый Консультант
        Рыхлый Консультант
        У себя на канале про это писал, там ссылка на тред Ответить
        раскрыть ветку (1)
        • Тактичный Дроид
          Тактичный Дроид
          Я даже проект харнесса полгода делал под такую быструю несуществующую нейронку, на авось Ответить
    • Тактичный Дроид
      Тактичный Дроид
      Может даже рынок обзовет такое "квантовым ИИ" чтобы подогреть ещё больше Ответить
  • Ясный Единорог
    Ясный Единорог
    Эта штука для классификации,
    Требует программирование под каждую ситуацию.
    Это совершенно другое в отличии от гпт. Ответить