Русский ИТ бизнес
Русский ИТ бизнес
Post media

Прикольно набежало парсящих ботов на наш проект poisk

Прикольно набежало парсящих ботов на наш проект poisk.im из... Сингапура. 24% от общего числа визитов.

Вначале подумал, что это ВПН (люди заходят), но потом осознал, что никогда не слышал про стабильно работающие ВПН из Сигнапура в таких количествах.

Смотрели в вашей Яндекс.Метрике гео-распределение? :) А может быть это Азиатские ИИ собирают контент, чтобы не палиться из Китая? В общем борьба с ботами по гео- признаку самое простое, что может быть. Отключаете регион и все.

p.s. а так у нас трафик уже 7к в сутки - но надо вычитать 24% ботов из Сингапура :) Скоро сделаем защиту, чтобы сервер не нагружали.

Русский ИТ бизнес

Комментарии (16)

  • Салатовый Витязь
    Салатовый Витязь
    у меня ВПН Сингапурский(
  • Океанический Гоблин
    Океанический Гоблин
    Какие у них запросы?
    сколько запросов с одного ip?
    Сколько всего ip из Сингапура?
    Не пробовали изучить тему?
  • Трагический Саблезуб
    Трагический Саблезуб
    Comment media
    Тоже проверил на одном из сайтов, видел, что там были боты, но пока не брался за них ))
  • Океанический Гоблин
    Океанический Гоблин
    Кстати, может они просто ваш wp-admin пытаются ломать? Иногда в логах много странных адресов встречается.
  • Комичный Исполнитель
    Комичный Исполнитель
    Могу порекомендовать хороший сервис по защите от ботов))
    • Автор канала
      Автор канала
      мы свой делаем. на базовом уровен, чтобы уж совсем не нагружали сервера
      • Добрый Павлин
        Добрый Павлин
        fail2ban не?
        • Автор канала
          Автор канала
          Microsoft YARP
          • Добрый Павлин
            Добрый Павлин
            а не оверинжинириг получится, в принципе большинстве ботов тупы
            • Автор канала
              Автор канала
              мы же делаем сервис. а как по другому. кто даст доступ к серверу
              • Добрый Павлин
                Добрый Павлин
                Ааа, это да, я думал чисто для своих серверов
  • Буржуазный Фермер
    Буржуазный Фермер
    Вы лучше с ngnix выгрузите логи и посмотрите сколько реально было ботов. Потому что боты в основном js не грузят
    • Автор канала
      Автор канала
      грузят. есть боты headless chrome
  • Буржуазный Фермер
    Буржуазный Фермер
    И в метрике их не будет