Telega.FM Лента новостей из телеграмм по темам
Русский ИТ бизнес 👨
Подписаться
На картинке архитектура RAG- системы, которую мы делаем... Другими словами - это умный ИИ- помощник (агент, чат) на вашем сайте, который отвечает по базе знаний...

Как обычно - мы думали все будет чуть проще, а оказалось сильно сложнее. И дело не в ИИ, а в некой "обвязке" вокруг. Секретов нет, есть просто монотонная работа, скучная и не очень креативная :) С февраля возимся, надеюсь к февралю 2026 года и запустимся...

Стек: .net core, embending, mariadb, rbbitmq и по мелочи, а сам сайт (продающий) на WordPress.

Русский ИТ бизнес
0/8 Открыть в Telegram

Комментарии (0)

  • vitams
    А что имеется ввиду под embending
    • GroupAnonymousBot
      векторизация текста.
      • 869938487
        а Вы векторизацию через какую LLM делаете? пользуетесь локальной или какой-нибудь ГигаЧатовской?
        • GroupAnonymousBot
          openAI пока.
  • KhanvasSvoy
    Какие примерно зарплаты у разработчиков Вашей RAG ? Делают "начинающие" или самые опытные ?
    • GroupAnonymousBot
      делает человек, который, например, делал ФК ЗЕНИТ мобильное приложение. С опытом разработки лет 15
  • artyomushka
    embending - векторная БД или в целом весь механизм (embending + хранение?)
    • GroupAnonymousBot
      сервис создание веторов + база хранения векторов
      • artyomushka
        Какую базу используете?
      • saintbyte
        Типа свою LLM подняли ?
        • Ut4J6
          да вы попросите дипсика рассказать что за раг такой, в чате же долго объяснять
          • saintbyte
            Дак RAG это просто набор векторов от текста
            • Ut4J6
              Просто попробуйте векторизовать реальные текста в базу, потом векторизовать вопрос и что-нибудь этим вектором найти. После этого можно дальше рассуждать о том, как это "просто".
              • saintbyte
                Полностью с вами согласен , но лучше векторов пока не придумали ничего =(
                • Ut4J6
                  пока запрос до векторизации дойдет его еще "руками" допиливают, вплоть до поиска в запросе прямых вхождений слов-маркеров из списка, чтобы понять о чем вообще речь. В узкой теме большая ИИ может не так понять вопрос и вектор уведет не туда.
                  Я уже пришел к тому что запрос пользователя вообще векторизовать не нужно, а нужно делать поиск по обнаруженным словам-маркерам, а оригинальный запрос использовать чисто для промта ответа, если он вообще нужен этот ответ
                  • saintbyte
                    И все опять сводиться к морфологии от яндекса =)
                    • Ut4J6
                      что-то как-то да
    • saintbyte
      Набор векторов зависит от AI
  • TrillionsUPUP
    А может уже какие то части уже отдать как промопродукт бесплатно
  • artyomushka
    По опыту — в качестве векторной базы вроде Qdrant себя неплохо показал. Но вся соль не столько в создании чанков и хранении, сколько в том, как потом выборку делать по запросу пользователя. Как правило, требуется дообогощение запроса синонимами, предгенерация гипотетических ответов и прочие механизмы.
  • artyomushka
    Тоже активно экспериментируем с RAG, но в контексте создания дополнения для Word, которое помогает работать с содержимым текстовых документов (позволяет фактически «чатиться с документом»). Мини видео прилагаю.
    • GroupAnonymousBot
      можно в канал выложу?
      • artyomushka
        Да, конечно. Рады любой обратной связи и вопросам. Есть ещё видео проверки контрагентов - подтягивает по ИНН / ОГРН информацию о компаниях в моменте. Функционал полезен как минимум некоторому линейному персоналу, который привык копировать/проверять информацию о реквизитах с условного rusprofile. Записать видео?
        • GroupAnonymousBot
          да!
          • artyomushka
            В одном видео и функционал чата и функционал подгрузки реквизитов плюс иных данных о компании
          • VadimGun
            Максим, а подскажи, кто занимался составлением архитектуры системы?
            • alex_webtense
              gemini 😂
            • GroupAnonymousBot
              Разработчик делал :) я то блоггер же
              • Channel_Bot
                Макс, а если в вкратции, я не со всем ещё погрузился в тему ии, что есть RAG🤣 типо система которая думаю лучше чем простой ии, с базой данных и ответом по ней? Плюс аналитика этого всего?
                • GroupAnonymousBot
                  Не совсем понял вопрос
                  • Channel_Bot
                    Вопрос снят, чат джпт объяснил, я знал что такое РАГ, у меня оказывается сервис на этом принципе работает, просто не знал что это так называется🤣
                • artyomushka
                  RAG — Retrieval-Augmented Generation). По русски это что-то вроде «генерация с дополнениями извлеченной информации».

                  Пример юзкейса:

                  Сначала готовим базу с корпоративной информацией (то самое дополнение к уже имеющимся знаниям выбранной нейронке).

                  Потом пользователь спрашивает что-то про отпуск в компании, система сначала осуществляет поиск (Retrieval) — ищет HR доки и всю инфу об отпусках; далее осуществляет генерацию ответа (Generation).
                  • Channel_Bot
                    Спасибо)
  • luxeweb3
    Ух уж этот ворд пресс в такой маленькой коробочке а сколько всего можно сложить 🐶
  • name_1234567890_name
    Есть какая нибудь векторизация без использования gpu?
    • Ut4J6
      ollama