Если сайт на WordPress, можно сократить нагрузку с помощью плагина WordFence. Когда бот начинает наглеть и много парсить, получает 503 ошибку. Да, можно менять IP, но на больших сайтах это будет ощутимо усложнять жизнь плохим парням :)

Правда есть нюанс - могут заблокировать и ИИ- ботов, которые используют ваш контент для обучения и в будущем могут давать ссылки на ресурс в чатах. А, насколько знаю, таких ИИ ботов все больше и они вообще не следуют инструкциям в robots.txt

Русский ИТ бизнес