Telega.FM Лента новостей из телеграмм по темам
Русский ИТ бизнес 👨
Подписаться
Post media
Вот почему мы много лет работаем с этим хостером и не хотим менять. Я про парсинг в xmldatafeed.com. Пришла жалоба (см. картинку), мол мы сделали 20 запросов за пару минут (!) на сайт.

Что делает адекватный хостер? Пишет нам письмо и просит разобраться. Не блокирует бездумно, а уведомляем. В данном случае 20 запросов в 2 минуты - это не нагрузка вообще, видимо на этот сайт вообще никто не заходит и они удивились, что хоть кто-то запросил контент... :)

Меры приняли, отписались. Вопрос закрыт. А ребят рекомендую.

Русский ИТ бизнес
0/7 Открыть в Telegram

Комментарии (0)

  • qzqwx
    а как они узнали что именно вы делаете запросы? неужели без прокси парсите
    • GroupAnonymousBot
      без прокси. ведь сайт не сложный.
  • dmitry236
    судя по урлу, у вас краулер зациклился или стал генерить какие-то некорректные урлы. У битрикса была же проблема с зацикливанием на внутренних страницах
    • GroupAnonymousBot
      допускаю что и ошибка. но 20 запросов в пару минут - это шляпа. ничего.
      • dmitry236
        мы после n ошибок на источник стопаем краулер и сайт уходит асессору на проверку, потому что больше n 400x ошибок подряд это значит или блокировка доступа или ошибки в урлах или какие-то проблемы на сайте. Тоже самое если ответ 200х но размер body маленький
        • GroupAnonymousBot
          ребята уже проверяют. с утра.
          • dmitry236
            но сайт да, не скажешь что из за такого могут быть проблемы)
            • blaqdog
              у битрикса страницы каталога могут грузиться достаточно долго, если не оптимизирован проект. Судя по урлу там каталог большой на 8000+ позиций. Может и повиснуть от 20 запросов в минуту
              • dmitry236
                там в сайтмапе страниц порядка 10к+, но пагинация на >8000 вызывает вопросы
  • mishanon
    Смысл вообще на хостере это делать? реально сделайте игру какнибудь ходилку там или стрелялку, и делайте парсинг любых сайтов через железо пользователей, не благодорите, если нужна разработка WELCOME!