Русский ИТ бизнес
Русский ИТ бизнес

В проекте clickfraud.ru мы делаем систему защиты сайтов от плохих ботов с помощью Revers Proxy

В проекте clickfraud.ru мы делаем систему защиты сайтов от плохих ботов с помощью Revers Proxy
В проекте clickfraud.ru мы делаем систему защиты сайтов от плохих ботов с помощью Revers Proxy. Сейчас тестируем на своих ресурсах и вот, как это выглядит - на картинке.

Красным - это плохие боты (битые заголовки или без заголовков, из ДЦ, нейро-боты с Сингапура и т.п.). За день около 1.5 млн. запросов получили, а потом включили защиту и ... не получили. Серверу сразу стало легче. В планах осенью предложить всем желающим.

Цель не защита от ddos - а просто профилактика трафика, чтобы снизить нагрузку от постоянных и бесполезных запросов на контент. Т.к. мы умеем парсить, то опыт ребят помогает в защите - сидят рядом :)

tg / max

Комментарии (14)

  • Глухой Кот
    Глухой Кот
    "reverse proxy" пишется с "revers" и "e" на конце максим Ответить
  • Речной Посол
    Речной Посол
    А почему зеленого стало намного меньше после включения clickfraud? Ответить
    раскрыть ветку (2)
    • Пепельный Червь
      Пепельный Червь
      Это ж график по часам, банальное время суток Ответить
    • Автор канала
      Автор канала
      вечер. думаю в этом причина. а может сложные срабатывания Ответить
  • Вспотевший Бутерброд
    Вспотевший Бутерброд
    Где разница между плохими и хорошими ботами? Ответить
    раскрыть ветку (1)
    • Автор канала
      Автор канала
      в плане? не понял вопрос Ответить
  • Заляпанный Сухарь
    Заляпанный Сухарь
    А если к нам все-таки пришел конкретный ddos?)
    Я сам просто думал над таким сервисом, и действительно идея крутая, но есть вещи, которые можно порешать только на более низких уровнях модели OSI, и получается у нас не совсем полноценный сервис, а если пришел реальный DDOS, то мы немножко легли и клиента положили Ответить
    раскрыть ветку (4)
    • Автор канала
      Автор канала
      ddos это не совсем к нам. это даже совсем не к нам. это больше к дата-центру и на уровне железа надо решать Ответить
      раскрыть ветку (2)
      • Заляпанный Сухарь
        Заляпанный Сухарь
        да, ddos не к вам, но клиент, которому вы предложите услугу, рано или поздно приведёт вам ddos.
        Точнее, ddos придет к нему (на его домен), но он теперь завернут через ваш reverse proxy, так что ddos пришел к вам, на вашу инфру Ответить
        раскрыть ветку (1)
        • Автор канала
          Автор канала
          я тут надеюсь на нашего хостера, где сервера. но вообще вопрос открытый, но надо ввязаться в бой, а дальше будет видно Ответить
    • Скользкий Ящер
      Скользкий Ящер
      кто держит игровые серверы. у них часто ддос. и есть хосты. которые прекрасно справляются с этим... Ответить
  • Робкий Шофер
    Робкий Шофер
    Сейчас полстраны сидит в КВН, с ip адресами в дц и вне РФ. Этих всех кликфрод банит? Ответить
  • Чёрный Блогер
    Чёрный Блогер
    а в аналитике на сайте клиента и в метриках будет попадать реальный IP посетителя и его данные или что там еще передается, или ваш и данных не будет? Ответить
    раскрыть ветку (1)
    • Автор канала
      Автор канала
      ну конечно реальный. мы же просто проксируем. Ответить