на сколько я понимаю, Макс примерно такое и делает. Т.е когда происходит рерайт, идёт запрос в llm api, который нормализирует и рерайтит информацию, отдаёт json. Результат которого загоняется в индекс (elastic search) и после чего можно пользоваться поиском на сайте.

Можно заменить внешний api, на локальную модель, но выгодно ли и качественно ли, смысл.

Вот этот этап, когда отправляется запрос в llm для товара и возвращается json. Он и есть ключевой, можно задать промпт, чтобы llm относила к категории определенный товар или выставляла теги. И 2 одинаковых товара с разных магазинов, расписанных по разному, будут одинаково соотноситься. Как-то так, примерный ход мыслей