Telega.FM Лента новостей из телеграмм по темам
Лучшее Горячее Новое
Русский ИТ бизнес
Русский ИТ бизнес
31 июл 2025 17:57

На картинке архитектура RAG- системы, которую мы делаем... Другими словами - это умный ИИ- помощник (агент, чат) на вашем сайте, который отвечает по базе знаний...

Как обычно - мы думали все будет чуть проще, а оказалось сильно сложнее. И дело не в ИИ, а в некой "обвязке" вокруг. Секретов нет, есть просто монотонная работа, скучная и не очень креативная :) С февраля возимся, надеюсь к февралю 2026 года и запустимся...

Стек: .net core, embending, mariadb, rbbitmq и по мелочи, а сам сайт (продающий) на WordPress.

Русский ИТ бизнес
0
👍 0
0
  • Рыхлый Консультант
    А что имеется ввиду под embending
    • Автор канала
      векторизация текста.
      • Пряный Берег
        а Вы векторизацию через какую LLM делаете? пользуетесь локальной или какой-нибудь ГигаЧатовской?
        • Автор канала
          openAI пока.
  • Взрослый Ёж
    Какие примерно зарплаты у разработчиков Вашей RAG ? Делают "начинающие" или самые опытные ?
    • Автор канала
      делает человек, который, например, делал ФК ЗЕНИТ мобильное приложение. С опытом разработки лет 15
  • Лавандовый Дракон
    embending - векторная БД или в целом весь механизм (embending + хранение?)
    • Автор канала
      сервис создание веторов + база хранения векторов
      • Лавандовый Дракон
        Какую базу используете?
      • Пыльный Пирог
        Типа свою LLM подняли ?
        • Экологичный Священник
          да вы попросите дипсика рассказать что за раг такой, в чате же долго объяснять
          • Пыльный Пирог
            Дак RAG это просто набор векторов от текста
            • Экологичный Священник
              Просто попробуйте векторизовать реальные текста в базу, потом векторизовать вопрос и что-нибудь этим вектором найти. После этого можно дальше рассуждать о том, как это "просто".
              • Пыльный Пирог
                Полностью с вами согласен , но лучше векторов пока не придумали ничего =(
                • Экологичный Священник
                  пока запрос до векторизации дойдет его еще "руками" допиливают, вплоть до поиска в запросе прямых вхождений слов-маркеров из списка, чтобы понять о чем вообще речь. В узкой теме большая ИИ может не так понять вопрос и вектор уведет не туда.
                  Я уже пришел к тому что запрос пользователя вообще векторизовать не нужно, а нужно делать поиск по обнаруженным словам-маркерам, а оригинальный запрос использовать чисто для промта ответа, если он вообще нужен этот ответ
                  • Пыльный Пирог
                    И все опять сводиться к морфологии от яндекса =)
                    • Экологичный Священник
                      что-то как-то да
    • Пыльный Пирог
      Набор векторов зависит от AI
  • Аметистовый Марабу
    А может уже какие то части уже отдать как промопродукт бесплатно
  • Лавандовый Дракон
    По опыту — в качестве векторной базы вроде Qdrant себя неплохо показал. Но вся соль не столько в создании чанков и хранении, сколько в том, как потом выборку делать по запросу пользователя. Как правило, требуется дообогощение запроса синонимами, предгенерация гипотетических ответов и прочие механизмы.
  • Лавандовый Дракон
    Тоже активно экспериментируем с RAG, но в контексте создания дополнения для Word, которое помогает работать с содержимым текстовых документов (позволяет фактически «чатиться с документом»). Мини видео прилагаю.
    • Автор канала
      можно в канал выложу?
      • Лавандовый Дракон
        Да, конечно. Рады любой обратной связи и вопросам. Есть ещё видео проверки контрагентов - подтягивает по ИНН / ОГРН информацию о компаниях в моменте. Функционал полезен как минимум некоторому линейному персоналу, который привык копировать/проверять информацию о реквизитах с условного rusprofile. Записать видео?
        • Автор канала
          да!
          • Лавандовый Дракон
            В одном видео и функционал чата и функционал подгрузки реквизитов плюс иных данных о компании
          • Древний Кубик
            Максим, а подскажи, кто занимался составлением архитектуры системы?
            • Застывший Строитель
              gemini 😂
            • Автор канала
              Разработчик делал :) я то блоггер же
              • Лохматый Осьминог
                Макс, а если в вкратции, я не со всем ещё погрузился в тему ии, что есть RAG🤣 типо система которая думаю лучше чем простой ии, с базой данных и ответом по ней? Плюс аналитика этого всего?
                • Автор канала
                  Не совсем понял вопрос
                  • Лохматый Осьминог
                    Вопрос снят, чат джпт объяснил, я знал что такое РАГ, у меня оказывается сервис на этом принципе работает, просто не знал что это так называется🤣
                • Лавандовый Дракон
                  RAG — Retrieval-Augmented Generation). По русски это что-то вроде «генерация с дополнениями извлеченной информации».

                  Пример юзкейса:

                  Сначала готовим базу с корпоративной информацией (то самое дополнение к уже имеющимся знаниям выбранной нейронке).

                  Потом пользователь спрашивает что-то про отпуск в компании, система сначала осуществляет поиск (Retrieval) — ищет HR доки и всю инфу об отпусках; далее осуществляет генерацию ответа (Generation).
                  • Лохматый Осьминог
                    Спасибо)
  • Модный Шериф
    Ух уж этот ворд пресс в такой маленькой коробочке а сколько всего можно сложить 🐶
  • Взрослый Андроид
    Есть какая нибудь векторизация без использования gpu?
    • Экологичный Священник
      ollama