Русский ИТ бизнес
Русский ИТ бизнес

Вот что пишут в профильных чатах. Кто пробовал?

Вот что пишут в профильных чатах. Кто пробовал?

"Начал тестировать JEV который только начал хайпиться. Если вы вайбкодите, то срочно влетайте. Это точно новое направление в развитии моделей. Простыми словами: вместо привычной генерации токенов текста происходит генерация готовых json. Модель генерирует не токены контекста а именно РЕШЕНИЯ в виде json."

Я не совсем понимаю механизм - агенты смогут работать с этой моделью? Поделитесь опытом, если уже работали.

Комментарии (43)

  • Пепельный Витязь
    Пепельный Витязь
    В парсинге это точно не нужно, там пацаны выше постоом научились юзать ИИ, пусть спят спокойно, jev их не заменит! Ответить
  • Оранжевый Дух
    Оранжевый Дух
    там очередь, новых клиентов не пускают, ждем Ответить
  • Ретро Дракон
    Ретро Дракон
    Это для детерминированных автоматов. Для вайбкодинга не подходит Ответить
    раскрыть ветку (2)
    • Тактичный Дроид
      Тактичный Дроид
      Я сделал ставку в своем проекте как раз на такие ещё пару лет назад, так что когда будут открытые веса , подключу. Закрытая мутная тема пускай идёт лесом Ответить
      раскрыть ветку (1)
      • Рыхлый Консультант
        Рыхлый Консультант
        появляются opensource решения, но я думаю пока рано на это тратить время Ответить
  • Рыхлый Консультант
    Рыхлый Консультант
    сейчас x разрывает от jev, очень много тредов, суть: он выдаёт решение задачи за миллисекунды - на вход даёшь задачу, стоимость копейки, на выход получаешь за условные 20мс ответ, стоимость бесплатно. Примеры применения: сортировка файлов по папкам за секунды, клики в браузере, нпс в игре и тд Ответить
    раскрыть ветку (6)
    • Рыхлый Консультант
      Рыхлый Консультант
      я писал - это очередной прорыв, я думаю гиганты через 1-2 месяцы выдадут свои решения, от которых у нас будут округляться глаза Ответить
    • Автор канала
      Автор канала
      да. читаю тоже. тема прикольная. но как применить пока не понял Ответить
      раскрыть ветку (3)
      • Рыхлый Консультант
        Рыхлый Консультант
        вам можно анализировать страницы при парсинге - например на вход страница, на выход ответ - есть ли искомый артикул на странице, это будет в 20-200 раз быстрее и дешевле чем прогонять через ИИ, к тому же есть бесплатные решения типо https://github.com/featherless-ai/simple-jev Ответить
        раскрыть ветку (1)
        • Автор канала
          Автор канала
          насколько я понимаю еще эта модель не очень доступна. Ответить
      • Лохматый Осьминог
        Лохматый Осьминог
        блин. только недавно пост про это сам написал. пару дней как изучаю.

        оно реально прикольно, но настолько прикольно что как «о, надо потыкать» - норм. в продукт - не норм.

        для себя я пока не нашел применения. честно искал. пытался натянуть на разные flow и суть в том, что та же астра на low effort это сделает… Ответить
    • Кожаный Карьерист
      Кожаный Карьерист
      насколько я понял он не выдает решения, а расставляет вероятности вариантам ответов, которые ему заранее предоставили. Список вариантов ответов нужно самостоятельно формировать. И он небольшой должен быть, где-то до 100 позиций с короткими текстами. Например: какого цвета бывает небо:

      1) красное
      2) желтое
      3) голубое
      4) зеленое

      jev расставляет вероятности напротив каждого ответа, и выдает результат в json, который затем используем в своем коде и думаем что делать дальше с этими вероятностями Ответить
  • Рыхлый Консультант
    Рыхлый Консультант
    для текущих агентов видел готовые решения, которые переключают модель в зависимости от задачи, чтобы экономить токены Ответить
  • Рыхлый Консультант
    Рыхлый Консультант
    ну пока можно взять что то вроде Gemma 4B A4B classifier - я сам не тестировал Ответить
    раскрыть ветку (8)
    • Автор канала
      Автор канала
      подождем - скоро появятся аналоги уверен и их потестируем. Ответить
      раскрыть ветку (7)
      • Рыхлый Консультант
        Рыхлый Консультант
        мне нужно анализировать тысячи pdf страниц и мне нужен jev с vision open source, вот это будет game changer Ответить
        раскрыть ветку (6)
        • Лохматый Осьминог
          Лохматый Осьминог
          не понимаю зачем тут jev… Ответить
          раскрыть ветку (5)
          • Рыхлый Консультант
            Рыхлый Консультант
            pdf очень часто не содержат текста, картинка, и нужно искать есть ли в картинке нужная информация, с текущими ии это дорого - специфичная задача в общем Ответить
            раскрыть ветку (1)
            • Лохматый Осьминог
              Лохматый Осьминог
              от векторизации и расстояния между векторами тут всеравно не уйти. потом классификация.

              тут явно нужны инве модели. и я не мовсем пока понимаю зачем там jev Ответить
          • Робкий Киллер
            Робкий Киллер
            на вход PDF. первый этап это разбор через OCR получаем текст. и уже его гоним через JEV

            Зачем, если можно скриптом? Нельзя

            JEV цена $42 Per Billion input tokens (миллион входных токенов стоит $0,042. исходящие бесплатно) Ответить
            раскрыть ветку (2)
            • Топающий Скелет
              Топающий Скелет
              Кстати, большинство pdf можно читать различными библиотеками как текст.
              Сканированных pdf в графике давно не встречал, в основном генеренка, которая легко читается без OCR.
              С графическими файлами - да, без OCR не обойтись. Ответить
              раскрыть ветку (1)
              • Робкий Киллер
                Робкий Киллер
                как раз сейчас через нейронку изучаю как это сделать. спасибо за наводку

                вот что предлагает

                [ Сканы PDF ] ➔ 1. Локальный парсер/OCR (PaddleOCR / PyMuPDF) ➔ [ Текст/Разметка ] ➔ 2. Jev ➔ [ Готовый ответ ]

                Кстати, технология JEV уже есть в открытом виде

                Laya / OpenJev — легковесные локальные open-source модели (около 395M параметров). Они могут работать полностью на CPU с 1–2 ГБ оперативной памяти, выдавая ответ за 25–300 мс

                GLiNER — отличная open-source альтернатива для быстрой экстракции именованных сущностей в один проход

                Ограничения

                Маленькие open-source модели (395M) значительно уступают в качестве понимания контекста оригинальному облачному Jev от TypeSafe AI. Если в документах сложный юридический язык, локальная модель может путаться Ответить
  • Лохматый Осьминог
    Лохматый Осьминог
    ну вот задача по факту выходит:

    сначала дешево превратить PDF в доступное для поиска представление

    потом максимально дешево сузить пространство поиска

    и только на последнем неоднозначном шаге использовать модель

    Jev может оптимизировать именно последний шаг, но проблему анализа изображений он сейчас не решает (сейчас не значит что не будет) Ответить
    раскрыть ветку (12)
    • Лохматый Осьминог
      Лохматый Осьминог
      я это к тому, что пользы от JEV тут не то чтобы прям много Ответить
    • Зевающий Ленивец
      Зевающий Ленивец
      Клодкод пишет скрипт для такого на питоне или ноде и делает из пдфки json скриптом локальным, не понятно в чем проблема Ответить
      раскрыть ветку (10)
      • Лохматый Осьминог
        Лохматый Осьминог
        так я о чем)

        зачем тут еще и JEV?) это самый последний слой, причем не самый дорогой Ответить
        раскрыть ветку (9)
        • Зевающий Ленивец
          Зевающий Ленивец
          Ну вот я тоже не понял, в чем смысл)) я даже таблицы из пдф так в json переводил )) Ответить
        • Робкий Киллер
          Робкий Киллер
          потому что клод стоит дорого на вход и выход. а в jev только платишь за вход по очень низкой цене https://typesafe.ai/

          JEV цена $42 Per Billion input tokens (миллион входных токенов стоит $0,042. исходящие бесплатно) Ответить
          раскрыть ветку (7)
          • Зевающий Ленивец
            Зевающий Ленивец
            Клод пишет питонячий скрипт который запускает локально на машине и который парсит пдфку, клод не сам распознает через свои серваки пдфки Ответить
            раскрыть ветку (6)
            • Лохматый Осьминог
              Лохматый Осьминог
              вот корень кажется понятен. когда не до конца понимаешь класс задачи и как ее решать - можно чо угодно использовать.

              а по факту есть понятное решение, которому в раниайме токены не нужны… Ответить
            • Робкий Киллер
              Робкий Киллер
              опять же. смотря какие задачи. человеку нужно парсить миллионы PDF и они все разные где-то с текстом, где-то с изображением

              JEV цена $42 Per Billion input tokens (миллион входных токенов стоит $0,042. исходящие бесплатно) Ответить
              раскрыть ветку (4)
              • Лохматый Осьминог
                Лохматый Осьминог
                выгрузил нужные PDF, собрал варианты что там может быть, натравил клод, он создал скрипты…

                если не смог распарсить - расширяет класс.

                все. Ответить
              • Зевающий Ленивец
                Зевающий Ленивец
                Изображения в пдфках тоже локально распознаются, плюс к этому еще скрипт будет помечать данные которые плохо распознались 🤷😁 распозновалки без инета существуют уже не один 10ок лет )) как жили раньше без онлайн ллм, ваще не понятно 😁😁 Ответить
              • Топающий Скелет
                Топающий Скелет
                Тут конечно вопрос - откуда столько pdf-ок.
                Такое впечатление, что это генеренка.

                Сам делал генеренку, когда управлял одном интернет магазином и делал динамические pdf, типа инструкций по эксплуатации с публикацией в карточке товара. Трафик давало, но ценности ноль, т.к. эта же информация была в карточке товара. Ответить
                раскрыть ветку (1)
                • Зевающий Ленивец
                  Зевающий Ленивец
                  Известное кино "спи...ли" 😁 Ответить
  • Заляпанный Сухарь
    Заляпанный Сухарь
    2 дня назад получил доступ, очень интересно все, я бектест торговли прогонял через него - срезало 32% стоп лоссов - это конечно я ахренел - 2 дня уже гоняю и думаю как применить получше изучаю Ответить
    раскрыть ветку (1)
    • Робкий Киллер
      Робкий Киллер
      Comment media
      рассказал о проекте Context Runtime. жду приглашения, чтобы скорее начать настраивать и тестировать Jev

      В дискорт там движуха Ответить
  • Кожаный Карьерист
    Кожаный Карьерист
    ну я не увидел каких-то супер прорывных технологий) вся фишка в том, что мы можем получить максимально точные ответы без галлюцинаций в валидном json. Но список вариантов ответов все равно надо самостоятельно формировать Ответить
    раскрыть ветку (1)
    • Робкий Киллер
      Робкий Киллер
      или автоматизировать подборку таких сущностей. всё зависит от сложности задачи и намерений конечно Ответить
  • Кожаный Карьерист
    Кожаный Карьерист
    и это не модель, это код, инструмент, который использует другие модели для получения вероятностей ответов и сразу останавливает инференс. Модель только начала думать, а jev ее прервал, расставил вероятности списку ответов и отдал готовый json. Сам он не "думает"

    Чтобы JEV работал, тебе нужен не обычный чат-API, а инструмент для инференса (inference engine), который:

    - Загружает модель напрямую (не через урезанный API)
    - Может остановить генерацию на нужном месте
    - Возвращает сырые логиты (вероятности токенов)

    Где взять такой доступ?

    Вариант 1: Локальный запуск (БЕСПЛАТНО, полный контроль)

    Ты сам запускаешь модель на своем компьютере/сервере с помощью:

    - Hugging Face Transformers (Python библиотека)
    - vLLM (быстрый inference-движок)
    - Ollama (для локального запуска)
    - llama.cpp (C++ библиотека)

    Эти инструменты дают полный доступ к логитам, потому что модель работает прямо у тебя на железе

    Вариант 2: Специализированные облачные сервисы (ПЛАТНО, но с доступом к логитам)

    Есть сервисы, которые специально созданы для работы с логитами:

    - Featherless.ai (создатели Simple JEV) — предоставляют API с доступом к логитам
    - Together AI — поддерживает возвращение логитов
    - Anyscale — vLLM в облаке с полным доступом
    Ответить
    раскрыть ветку (3)
    • Робкий Киллер
      Робкий Киллер
      боюсь, что такой точности как у оригинального облачного Jev кустарно не добиться. не зря волна пошла как о прорывной технологии Ответить
      раскрыть ветку (2)
      • Робкий Киллер
        Робкий Киллер
        Comment media
        Вот, базово, где я точно применю Jev когда станет доступна

        Мне нужно для конвейера любых программ buildy - уметь определять намерения пользователя, потому что выбор очень велик: blog, site, shop, cms, crm. ide, game, ops console, backend и так далее...

        Сложность заключается в том, что подчинить конвейеру нужно четкие контракты, например Codex, но у Ops панели девопса другие сущности и тенанты. Под каждое намерение отдельный адаптер не вариант. Тут-то и поможет Jev сравнить и сопоставить структуры данных, чтобы вернуть юзеру не просто шаблон сайта, а шаблон + cms + ops под ключ. Задеплоил в один клик и все летает

        Потом болтаешь с нейронкой и она добавляет фичи, разделы без ошибок и галлюцинаций. Ей просто негде ошибаться у нее строгий набор Jev селекторов. Уж тип записи product от типа записи portfolio любая 8b параметров такая как yandex точно отличит Ответить
      • Кожаный Карьерист
        Кожаный Карьерист
        Да возможно у них модели будут поумнее маленьких локальных. И еще не каждый захочет возиться с локальными серверами, настраивать окружение, чтобы получать ответы для jev, когда можно за копейки слать запросы в api Ответить