А у нас проекты: poisk.im и telega.fm - вообще левые зоны. Я даже не вспомню кому они принадлежат. Острова какие-то... Волнуюсь.
🟪 MAX ❤ TG
Русский ИТ бизнес
3 мая 2026 16:50
А у нас проекты: poisk.im и telega.fm - вообще левые зоны
Комментарии (36)
Рассвет эпохи дотрэфов 🤣
Тогда ты
а) всегда можешь оценить качество нарезанных групп/категорий
б) не ебешь мозги с этим поиском, потому что на таком числе документов недостаточно получить вхождение, нужна ещё релевантность, веса, в общем это сложно
иначе пользователь что-то просил, а результат говно
И я всегда думаю, бля, поисковая строка под собой это что? Это опять поднимать эластик, это думать что там будет в результатах, это ебала. Я убираю этот поиск и иду по пути категорийной/кластерной механики, потому что понимаю, что поиск будет убогим (в том числе потому что пользователь спрашивает хуй пойми как)
Но может так только у меня в силу отсутствия опыта в поиске
типа у нас 100 млн документов
1. Нам перед векторизацией надо исходник чистить? Например, у нас была html главная страница сайта. Мы её стрипаем просто от html тегов или прогоняем через что-то типа trafilatura, чтобы извлечь только текст?
2. как быстро мы можем преобразовать 250-300 млн таких документов, ну т.е. примерно все главные страницы интернета без поддоменов?
2. Допустим, на видеокарте 1 миллион векторов размером 384 моделью e5-small-v2 будет считаться 1 минуту. Соответственно, на 300 миллионов векторов потребуется 5 часов. На CPU будет намного дольше, это мазохизм на таких объемах.