За два месяца автор построил собственную поисковую систему с нуля, используя 3 миллиарда эмбеддингов. Коротко что он сделал в моем пересказе...

На пике производительности кластер из 200 GPU (!) генерировал по 100 тысяч эмбеддингов в секунду, база данных охватила 280 миллионов страниц, индекс располагался на 82 ТБ SSD, а время отклика по запросу держалось в районе 500 миллисекунд.

Для хранения данных применялся RocksDB с распределением по 64 шардам, что позволило обрабатывать до 200 тысяч операций записи в секунду с тысяч клиентов.

Все это при среднем использовании GPU в 90 процентов - дело было не только круто, но и эффективно.

Важная часть проекта - краулер на Node.js, который умел обходить сайты со сложной логикой и ограничениями, и продвинутая сегментация текста, сохраняющая контекст и смысл. Вместо простого разбиения на куски система понимала вложенные заголовки, таблицы и даже логику зависимостей предложений - для того, чтобы поисковик не путался и выдавал содержательные ответы на сложные вопросы. Вместо банального подбора ключевых слов - попытка понять запрос целиком, с возможностью находить скрытые смыслы и неочевидные связи.

Зачем? Ответа нет. Хобби :)

Русский ИТ бизнес