Русский ИТ бизнес
Русский ИТ бизнес

В проекте poisk.im ребята стали использовать эту модель - sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Цель - векторизация названий товаров для поиска схожих.

Если подать на вход два слова «автомобиль» и «машина», модель вернёт для каждого слова длинный числовой вектор (эмбеддинг) - по сути список чисел (обычно размерность 384 числа). Дальше эти два вектора сравнивают (чаще всего косинусной близостью): так как слова близки по смыслу, итоговый similarity будет высоким (ближе к 1, чем к 0).

Это я очень просто написал :) - сам сидел разбирался. Как это детально работает не знаю, да и не важно - главное что модель хорошая и русский поддерживает.

Русский ИТ бизнес
  • Речной Посол
    Речной Посол
    локально на миниках подняли или по апишке? Ответить
    раскрыть ветку (1)
    • Автор канала
      Автор канала
      на сервере локально работает Ответить
  • Пушистый Ястреб
    Пушистый Ястреб
    а еще можно картинки векторизовать и искать по фото, а еще искать текст по фото а фото по тексту (правда понадобятся другие эмбеддинги) Ответить
  • Бегущий Специалист
    Бегущий Специалист
    А БД векторную какую используете? В облаке? Ответить
    раскрыть ветку (7)
    • Пушистый Ястреб
      Пушистый Ястреб
      скорее всего OpenSearch - раз в текстовом поиске опенсерч то логично и векторный там-же делать Ответить
      раскрыть ветку (3)
      • Бегущий Специалист
        Бегущий Специалист
        Я zilliz использовал, там бесплатные лимиты хорошие и sdk, но ркн стал блочить сервера и стало неудобно. Вот теперь ищу аналог) Ответить
        раскрыть ветку (2)
        • Пушистый Ястреб
          Пушистый Ястреб
          Проще всего pgvector в постгрес подключить Ответить
          раскрыть ветку (1)
          • Пушистый Ястреб
            Пушистый Ястреб
            точнее он в новых постгресах уже просто vector и часть ядра Ответить
    • Автор канала
      Автор канала
      Manticore Search у нас стоит. Ответить
      раскрыть ветку (2)
      • Тающий Носорог
        Тающий Носорог
        используете Vector search https://manticoresearch.com/ru/blog/vector-search/ ? Ответить
        раскрыть ветку (1)
        • Автор канала
          Автор канала
          да. там встроен векторный поиск. Ответить
  • Пряный Единорог
    Пряный Единорог
    Это ужасно. Вы выбрали очень плохую, древнюю мультиязычную модель, где русский язык "один из". Из-за этого результаты поиска очень плохие. Вам кажутся они хорошими, но вы не видели результатов, которые дают по-настоящему хорошие модели, которые специально тренировали на русском корпусе. Сорри.

    Вот эта модель намного лучше от Сбербанка:

    https://huggingface.co/ai-forever/sbert_large_nlu_ru

    Но есть ещё более новая модель от Сбербанка, специально созданная для гигачата, выпущенная в 2025 году:

    https://www.sberbank.ru/ru/sberpress/tekhnologii/article?newsID=fb559e39-6233-4e49-b8b5-e618f5eac2d2&blockID=69b149cd-6db4-45aa-ade1-b6920d771b11&regionID=21&lang=ru&type=NEWS Ответить