Так это все популярные и бесплатные ИИ агенты могут, или я не прав. Так же загружаешь документ, да хоть медицинские анализы и просишь пояснить, рассказать и тп
artyomushka
Эксперимент в сабже наш.
Опыт показывает, что специалистам привычнее работать в уже освоенной среде (например, Word), нежели какие-то новые инструменты осваивать. Именно поэтому решили поэксперементировать с привычным офисникам ПО.
Что касается мед. тематики, то подтверждаю — ИИ справляется отлично. Мы собирали демостенд, который распознает мед. документы и отвечает на вопросы, готовит к беседе с доктором и т.п. Работает отменно. Причем обратная связь собрана как на мед. кейсах сотрудников, так и от практикующих докторов, в т.ч. профессоров.
Zmey_Gavrilich
У меня тоже игрульки с ИИшкой есть ))
artyomushka
Судя по видео вы используете отечественный GigaChat. Здорово, что у нас тоже всячески пытаюсь развивать технологии связанные с ИИ, но не могу не обратить на то, какие при этом условия использования устаналивает Сбер в Пользовательском соглашении об использовании Cервиса GigaChat. Там начиная с пункта 5.2. самое интересное — «Пользователь с момента создания Сгенерированного Контента с Использованием Сервиса предоставляет Банку простую (неисключительную) безотзывную, безвозмездную лицензию на использование Сгенерированного Контента в течение всего срока действия исключительного права на территории всего мира…»
Zmey_Gavrilich
да это у всех так. Каждая ИИшка учится на диалогах.
И, кстати, в примере никакие данные, кроме запроса пользователя, на сторону не уходят. ИИ парсит запрос и возвращает список функций, которые нужно использовать и в каком порядке (это даже не тулзы)
artyomushka
Тут речь не столько про обучение, сколько про конечный результат работ. Приглашаю сначала ознакомиться с п.1.9 Соглашения, а потом с п.5.2, а лучше со всем пятым разделом. Интересно получается.
Zmey_Gavrilich
почитал. Не вижу ничего предосудительного. По крайней мере для моей сферы интересов.
wtrixt
Прикольно, кстати, у них апи вроде дороже западных )
TrillionsUPUP
По-моему хрень если честно, регулярно имею дело с договорами по недвижке, зачем ему чатится, когда он просто смотрит раздел обязанности наймодателя или нанимателя. Лишний гемор для людей, значит не приживётся.
Вот если сравнивать, люди идут в могаз и тратят 50-1,5 часа в день.
Или бесплатная доставка им. 🤔
Сокращение времени ⌛, поэтому повсеместно стало.
И тут также, данный rag только добавляет трабл
artyomushka
Конечная амбициозная цель научить систему вытаскивать максимум рисков по договору с учетом законодательства РФ. В таком контексте возможности RAG раскрываются в полной мере, так как ИИ обучаются на зарубежных данных и ловят знатные галлюцинации в задачах связанных с правом.
314519705
bigbrotherwtf
А что за продукт на видео? Где можно протестить?
artyomushka
Продукт пока в разработке.
andr_van
В данном случае, если документ небольшой, в чём проблема его полностью загрузить в модель? В ту же gemini flash lite, у которой очень низкая цена и поспрашивать.
artyomushka
Ничего не мешает. Разве что аккаунт в условном gemini надо иметь, средства доступа из трех букв надо иметь. А тут все в одном окне. Даже если у условного руководителя, бухгалтера, офис-менеджера эти инструменты есть и они умеют их использовать — на хоть сколько-нибудь значимых юридических документах любая нейронка начинает галлюцинировать весьма уверенно и правдоподбно.
andr_van
Т.е если это документ полностью скормить нейронке, она будет менее точной, чем используя RAG?
andr_van
На счёт самого плагина в word вопросов нет, я про использовать rag или передавать целиком документ в api, который вы вызываете под капотом. В целом понятно почему - так меньше галюцинаций.
andr_van
Но вот пока все пилят свои версии rag, почему бы гуглу или openai не создать инструмент (если уже не сделал NotebookLM), который будет предварительно векторизировать и индексировать документы и по ним строить контекст перед ответом.
И затем продавать это через api, таким образом ответы будут точнее.
Другое дело использовать rag, когда БД огромная
artyomushka
Не совсем понимаю что значит «свои версии RAG».
Мы воспринимаем это как технологию и ищем пути коммерческого применения. В рамках своих бизнес процессов увидели некоторую проблематику именно в части юридических процессов, собрали обратную связь по знакомым - получили подтверждение. Вот пытаемся запилить прототип.
На самом деле вся соль не в RAG вовсе, а в датасетах и алгоритмат обработки запросов.
Применить API какой-нибудь LLM много ума не требуется, взять набор своих или не своих документов, нарезать на чанки и поместить в собственную или не собственную векторную БД тоже относительно несложная задача. Самый интересный, нудный и сложный этап — научиться понимать чего хочет пользователь и выдавать релевантный полезный ответ (то, как рядовые пользователи запросы формируют порою и в страшном сне увидеть не пожелаешь).
Потом на всю эту техническую основу «намазывается» какой-нибудь информационный слой — юридический, машиностроительный, какой угодно. Это в итоге и формирует целевой продукт под определенный сегмент рынка. Который, возможно, кому-то покажется годным и нужным 🙂
andr_van
Я понимаю, тут главное не с технической точки зрения, как оно будет реализовано, а как будет продано в итоге и кому.
Был сделан акцент на том что это rag, а не как “умный поиск по документу». Сразу хочется зацепиться именно за технологию, а не за пользу для конечного пользователя.
andr_van
Я посмотрел, NotebookLM пока не имеет API )
andr_van
Я еще к тому, что вот вы пилите инструмент, стараетесь понять уникальный опыт своего пользователя, как он делает запросы, в какой момент запрашивать новые дата сеты и.т.п
А потом гугл выпускает api для notebooklm, который имеет совершенные алгоритмы обработки запросов и точно знает чего хочет пользователь. В него только загрузить юридический текст из документа через api, и дальше вести диалог, где «черный ящик» сам будет принимать решения, какую информацию отдавать. Хотя я не спорю, что это может быть уникальный опыт для каждой сферы.
Приходит конкурент, ему уже не надо реализовывать свой rag с алгоритмами. Он создает ui плагин в ворде и подключает этот api готовый, который лучше понимает пользователя.
Если не считать информационный слой, то получается более лучший продукт.
artyomushka
По статистике, каждый новый релиз OpenAI убивает не менее сотни стартапов (реально кто-то подсчитал). Это не повод ничего не делать. 🙂
Ну и главное - то, что я назвал информационным слоем невозможно не принимать во внимание. Это и есть ядро продукта. Данные важнее технологии. Это было до любых AI, это осталось с приходом любых AI.
Что касается алгоритмов и прочего… Монолиты уже давно почти никто не пилит. Продукт с более-менее правильной архитектурой обычно позволяет менять модули или оптимизировать какие-то решения. Поэтому если какие-то решения появятся более удобные, то мы будем только рады. Точнее не если, а когда.
inovikov78
А вы какую нейросеть используете?
artyomushka
Скажем так, пока перебираем зарубежные решения. Сейчас почти любая LLM уже нормально понимает контекст и умеет переваривать правильно поставленные запросы, потому какой-то особой зависимости от конкретной нет. На масштабе можно и на своих мощностях развернуть какую-либо оптимальную по параметрам.
Пока сосредоточены больше на middleware решениях, которые должны выполнять важные функции, в том числе для соблюдения законодательства и потенциальных требований enterprise сегмента.
Комментарии (0)
Опыт показывает, что специалистам привычнее работать в уже освоенной среде (например, Word), нежели какие-то новые инструменты осваивать. Именно поэтому решили поэксперементировать с привычным офисникам ПО.
Что касается мед. тематики, то подтверждаю — ИИ справляется отлично. Мы собирали демостенд, который распознает мед. документы и отвечает на вопросы, готовит к беседе с доктором и т.п. Работает отменно. Причем обратная связь собрана как на мед. кейсах сотрудников, так и от практикующих докторов, в т.ч. профессоров.
И, кстати, в примере никакие данные, кроме запроса пользователя, на сторону не уходят. ИИ парсит запрос и возвращает список функций, которые нужно использовать и в каком порядке (это даже не тулзы)
Вот если сравнивать, люди идут в могаз и тратят 50-1,5 часа в день.
Или бесплатная доставка им. 🤔
Сокращение времени ⌛, поэтому повсеместно стало.
И тут также, данный rag только добавляет трабл
И затем продавать это через api, таким образом ответы будут точнее.
Другое дело использовать rag, когда БД огромная
Мы воспринимаем это как технологию и ищем пути коммерческого применения. В рамках своих бизнес процессов увидели некоторую проблематику именно в части юридических процессов, собрали обратную связь по знакомым - получили подтверждение. Вот пытаемся запилить прототип.
На самом деле вся соль не в RAG вовсе, а в датасетах и алгоритмат обработки запросов.
Применить API какой-нибудь LLM много ума не требуется, взять набор своих или не своих документов, нарезать на чанки и поместить в собственную или не собственную векторную БД тоже относительно несложная задача. Самый интересный, нудный и сложный этап — научиться понимать чего хочет пользователь и выдавать релевантный полезный ответ (то, как рядовые пользователи запросы формируют порою и в страшном сне увидеть не пожелаешь).
Потом на всю эту техническую основу «намазывается» какой-нибудь информационный слой — юридический, машиностроительный, какой угодно. Это в итоге и формирует целевой продукт под определенный сегмент рынка. Который, возможно, кому-то покажется годным и нужным 🙂
Был сделан акцент на том что это rag, а не как “умный поиск по документу». Сразу хочется зацепиться именно за технологию, а не за пользу для конечного пользователя.
А потом гугл выпускает api для notebooklm, который имеет совершенные алгоритмы обработки запросов и точно знает чего хочет пользователь. В него только загрузить юридический текст из документа через api, и дальше вести диалог, где «черный ящик» сам будет принимать решения, какую информацию отдавать. Хотя я не спорю, что это может быть уникальный опыт для каждой сферы.
Приходит конкурент, ему уже не надо реализовывать свой rag с алгоритмами. Он создает ui плагин в ворде и подключает этот api готовый, который лучше понимает пользователя.
Если не считать информационный слой, то получается более лучший продукт.
Ну и главное - то, что я назвал информационным слоем невозможно не принимать во внимание. Это и есть ядро продукта. Данные важнее технологии. Это было до любых AI, это осталось с приходом любых AI.
Что касается алгоритмов и прочего… Монолиты уже давно почти никто не пилит. Продукт с более-менее правильной архитектурой обычно позволяет менять модули или оптимизировать какие-то решения. Поэтому если какие-то решения появятся более удобные, то мы будем только рады. Точнее не если, а когда.
Пока сосредоточены больше на middleware решениях, которые должны выполнять важные функции, в том числе для соблюдения законодательства и потенциальных требований enterprise сегмента.