Вот почему мы много лет работаем с этим хостером и не хотим менять. Я про парсинг в xmldatafeed.com. Пришла жалоба (см. картинку), мол мы сделали 20 запросов за пару минут (!) на сайт.
Что делает адекватный хостер? Пишет нам письмо и просит разобраться. Не блокирует бездумно, а уведомляем. В данном случае 20 запросов в 2 минуты - это не нагрузка вообще, видимо на этот сайт вообще никто не заходит и они удивились, что хоть кто-то запросил контент... :)
Меры приняли, отписались. Вопрос закрыт. А ребят рекомендую.
Русский ИТ бизнес
Русский ИТ бизнес
13 ноя 2025 11:25
-
а как они узнали что именно вы делаете запросы? неужели без прокси парсите-
без прокси. ведь сайт не сложный.
-
-
судя по урлу, у вас краулер зациклился или стал генерить какие-то некорректные урлы. У битрикса была же проблема с зацикливанием на внутренних страницах-
допускаю что и ошибка. но 20 запросов в пару минут - это шляпа. ничего.
-
мы после n ошибок на источник стопаем краулер и сайт уходит асессору на проверку, потому что больше n 400x ошибок подряд это значит или блокировка доступа или ошибки в урлах или какие-то проблемы на сайте. Тоже самое если ответ 200х но размер body маленький
-
ребята уже проверяют. с утра.
-
но сайт да, не скажешь что из за такого могут быть проблемы)
-
у битрикса страницы каталога могут грузиться достаточно долго, если не оптимизирован проект. Судя по урлу там каталог большой на 8000+ позиций. Может и повиснуть от 20 запросов в минуту-
там в сайтмапе страниц порядка 10к+, но пагинация на >8000 вызывает вопросы
-
-
-
-
-
-
-
Смысл вообще на хостере это делать? реально сделайте игру какнибудь ходилку там или стрелялку, и делайте парсинг любых сайтов через железо пользователей, не благодорите, если нужна разработка WELCOME!