Русский ИТ бизнес
Русский ИТ бизнес

Прикольно набежало парсящих ботов на наш проект poisk

Прикольно набежало парсящих ботов на наш проект poisk
Прикольно набежало парсящих ботов на наш проект poisk.im из... Сингапура. 24% от общего числа визитов.

Вначале подумал, что это ВПН (люди заходят), но потом осознал, что никогда не слышал про стабильно работающие ВПН из Сигнапура в таких количествах.

Смотрели в вашей Яндекс.Метрике гео-распределение? :) А может быть это Азиатские ИИ собирают контент, чтобы не палиться из Китая? В общем борьба с ботами по гео- признаку самое простое, что может быть. Отключаете регион и все.

p.s. а так у нас трафик уже 7к в сутки - но надо вычитать 24% ботов из Сингапура :) Скоро сделаем защиту, чтобы сервер не нагружали.

Русский ИТ бизнес

Комментарии (16)

  • Салатовый Витязь
    Салатовый Витязь
    у меня ВПН Сингапурский( Ответить
  • Океанический Гоблин
    Океанический Гоблин
    Какие у них запросы?
    сколько запросов с одного ip?
    Сколько всего ip из Сингапура?
    Не пробовали изучить тему? Ответить
  • Трагический Саблезуб
    Трагический Саблезуб
    Comment media
    Тоже проверил на одном из сайтов, видел, что там были боты, но пока не брался за них )) Ответить
  • Океанический Гоблин
    Океанический Гоблин
    Кстати, может они просто ваш wp-admin пытаются ломать? Иногда в логах много странных адресов встречается. Ответить
  • Комичный Исполнитель
    Комичный Исполнитель
    Могу порекомендовать хороший сервис по защите от ботов)) Ответить
    раскрыть ветку (6)
    • Автор канала
      Автор канала
      мы свой делаем. на базовом уровен, чтобы уж совсем не нагружали сервера Ответить
      раскрыть ветку (5)
      • Добрый Павлин
        Добрый Павлин
        fail2ban не? Ответить
        раскрыть ветку (4)
        • Автор канала
          Автор канала
          Microsoft YARP Ответить
          раскрыть ветку (3)
          • Добрый Павлин
            Добрый Павлин
            а не оверинжинириг получится, в принципе большинстве ботов тупы Ответить
            раскрыть ветку (2)
            • Автор канала
              Автор канала
              мы же делаем сервис. а как по другому. кто даст доступ к серверу Ответить
              раскрыть ветку (1)
              • Добрый Павлин
                Добрый Павлин
                Ааа, это да, я думал чисто для своих серверов Ответить
  • Буржуазный Фермер
    Буржуазный Фермер
    Вы лучше с ngnix выгрузите логи и посмотрите сколько реально было ботов. Потому что боты в основном js не грузят Ответить
    раскрыть ветку (1)
    • Автор канала
      Автор канала
      грузят. есть боты headless chrome Ответить
  • Буржуазный Фермер
    Буржуазный Фермер
    И в метрике их не будет Ответить