Русский ИТ бизнес
Русский ИТ бизнес
Post media

Как приходят и

Как приходят и ... уходят боты парсинга. В нашем случае это был Сингапур. Вообще ошалели, парсили как не в себя. Пришлось прописать правило на сервере и рубануть по geo IP...

Сразу стало легче. Почему Сингапур? Не знаю, читал мнение, что это ИИ-боты из Китая так мимикрируют, но это не точно.

Русский ИТ бизнес +✅Мы в MAX

Комментарии (8)

  • Дымящийся Гриб
    Дымящийся Гриб
    Вот ты редиска не дал обучаться новой дипстк на своем сайте
  • Застенчивый Инструктор
    Застенчивый Инструктор
    Мы парсим... нас парсят... потом их будут парсить
    • Застенчивый Инструктор
      Застенчивый Инструктор
      Comment media
  • Пролетарский Феникс
    Пролетарский Феникс
    тут нужно помнить что в ЯМ попадают только JS рендеринг страниц, если просто забрали контент с сервера, в виде Html кода, то ни какого посещения не считается.
    Так в метрике пишет 20к посещений, а на сервере 100к обращений
    • Автор канала
      Автор канала
      да. мы знаем :) и делаем защиту от таких ботов...
  • Пролетарский Феникс
    Пролетарский Феникс
    Comment media
    больше всего сейчас ходит Google.
    MSN был , но почти ушел
    ЯД потребляет по 10-20к в сутки, просто с 1000 ip адресов
    • Автор канала
      Автор канала
      да через revers proxy легко найти нормальных полезных ботов