Русский ИТ бизнес
Русский ИТ бизнес

Вчера ребята мне писали, что наш проект poisk.im стали страшно парсить из ... Вьетнама

Вчера ребята мне писали, что наш проект poisk.im стали страшно парсить из ... Вьетнама
Вчера ребята мне писали, что наш проект poisk.im стали страшно парсить из ... Вьетнама.

Цитирую:

"Скорее всего, первая "проба" была в четверг, когда бекенд стал захлебываться запросами от сайта из-за превышения исходящих запросов. Сегодня вечером стал перегружен уже весь сайт, страницы открывались по 3 минуты, а иногда вообще отдавалась 504 ошибка.

Я добавил детальное логирование запросов к страницам товаров, и обнаружил нескончаемый поток запросов - за 10 секунд более 60 запросов, практически все с разных айпишников (на ~60 запросов максимум 3-4 повтора), все идут на /p/..., у всех пустой accept, а user-agent замаскирован под реальный браузер."

В общем такие пироги :) с котятами. Для начала добавим капчу на все запросы не из РФ (не забывая про поисковых роботов), а дальше будем думать. Причем это не просто умный парсинг, а похоже на ddos, но кому и зачем это надо - не ясно. А еще долбят из Сингапура.

tg / max

Комментарии (53)

  • Межпространственный Лимонад
    Межпространственный Лимонад
    Теперь вы побудете в шкуре тех, кого парсите сами... Как вам такое? :)) Ответить
    раскрыть ветку (1)
    • Автор канала
      Автор канала
      заебись чо :) Ответить
  • Полуночный Архитектор
    Полуночный Архитектор
    а что, 6 запросов в секунду это много? Ответить
    раскрыть ветку (5)
    • Автор канала
      Автор канала
      ну у нас нет такой нагрузки, не готовились Ответить
      раскрыть ветку (4)
      • Полуночный Архитектор
        Полуночный Архитектор
        у меня яндекс.бот и больше создавал при индексировании Ответить
        раскрыть ветку (1)
        • Автор канала
          Автор канала
          Нас к такому жизнь не готовила :) Ответить
      • Лохматый Осьминог
        Лохматый Осьминог
        К таким нагрузкам буквально НИКТО НЕ ГОТОВИТСЯ. Потому это даже близко со словом «нагрузка» не стояло Ответить
      • Зевающий Ленивец
        Зевающий Ленивец
        на чем вы писали, что 6 запросов это много? )) Ответить
  • Раздутый Строитель
    Раздутый Строитель
    Так у вас же защита от ботов? К тому же порубить ip нецелевых стран достаточно просто Ответить
    раскрыть ветку (1)
    • Автор канала
      Автор канала
      Ну вот щас и займемся Ответить
  • Пурпурный Бухгалтер
    Пурпурный Бухгалтер
    Количество запросов на сказать что прям большое ... Ответить
    раскрыть ветку (1)
    • Автор канала
      Автор канала
      Я думаю оно плавает . Ответить
  • Пурпурный Бухгалтер
    Пурпурный Бухгалтер
    А бэк просто не пробовали нагрузочным тестированием ? Может узкое место где есть ? Запросы к базе там или еще что то Ответить
    раскрыть ветку (2)
    • Автор канала
      Автор канала
      Ну вот как раз есть повод заняться . :) Ответить
    • Салатовый Витязь
      Салатовый Витязь
      Я всегда локустом прохожусь перед деплоем.

      Как бы база же Ответить
  • Суровый Официант
    Суровый Официант
    Ну вот и пришла популярность, поздравляю) Ответить
  • Лохматый Осьминог
    Лохматый Осьминог
    Страницы открывались по 3 минуты, это что за рукожоп писал то ?) Таймату у вас минут 10 на запрос ?)))) И это все из-за 6 RPS ?))))) Ахахаахаха, это очень смешно 😁

    У вас, либо сервис на тапке запущен, либо, что очевиднее, разрабы безмозглые. Про waf, балансировку, кластеры даже писать не буду, любое говно выдержит такой нечеловеческой атаки 🤣

    Хотел написать про рейтлимит, а потом вспомнил про 6 рпс, и опять заржал 🤣 Ответить
  • Лохматый Осьминог
    Лохматый Осьминог
    А потом Максим удивляется, откуда в бигтехее такие зп, он вон за миску риса находи и норм. Вот итог, 6rps уже за атаку «спецы» посчитали, а сам сервис лег 🤣 Ответить
  • Лохматый Осьминог
    Лохматый Осьминог
    Максим, вы лучший. Вот умеет настроение поднять всегда, от души поржал))) Огромное вам спасибо) Ответить
  • Салатовый Витязь
    Салатовый Витязь
    ddos - 60 запросов в секунду.

    Что?)

    У вас же c# серьезный язык, не какое-то говно на пайтоне которое может в разы больше, навайбили?) Ответить
    раскрыть ветку (21)
    • Воздушный Агент
      Воздушный Агент
      C# настолько серьёзен, что вызывает такие проблемы) а вот говно на пайтоне - выражение, как будто ты растворителя понюхал) Ответить
      раскрыть ветку (4)
      • Салатовый Витязь
        Салатовый Витязь
        Как пример привел не более, порог вхождения низок. Ответить
        раскрыть ветку (3)
        • Воздушный Агент
          Воздушный Агент
          Пыха же вроде для веба ещё меньше порог вхождения? Или я где-то уснул по дороге?) Ответить
          раскрыть ветку (2)
          • Салатовый Витязь
            Салатовый Витязь
            За пыху не скажу, скажу за питон, как пример - flask вообще можно без опыта зайти.

            Но тем не менее, можно крутые проекты делать, поднимать скилл и общее понимание, в целом, очень нравится фласк, обожаю. Ответить
            раскрыть ветку (1)
            • Добрый Павлин
              Добрый Павлин
              Quart попробуй асинхронная эволюция фласка Ответить
    • Добрый Павлин
      Добрый Павлин
      асинхронный питон с редисом на паре ядер в 2гб рам вполне себе такое переваривает и не кашляет) Ответить
      раскрыть ветку (8)
      • Салатовый Витязь
        Салатовый Витязь
        Я видимо не так написал, мне нравится питон)

        Просто в сравнении с великом шарпом... Ответить
        раскрыть ветку (4)
        • Добрый Павлин
          Добрый Павлин
          ну это да. впрочем я бы лучше go выбрал Ответить
          раскрыть ветку (3)
          • Салатовый Витязь
            Салатовый Витязь
            Го честно сказать сложновато уже, синтаксис...

            Пытался зайти в го, но пока что не получается, питон закрывает все потребности Ответить
            раскрыть ветку (2)
            • Добрый Павлин
              Добрый Павлин
              Да, такая производительность редко нужна для веба питон вообще все покрывает Ответить
              раскрыть ветку (1)
              • Салатовый Витязь
                Салатовый Витязь
                Да, если мало можно сделать scaling.. Ответить
      • Полуночный Архитектор
        Полуночный Архитектор
        РНР такое даже не замечает Ответить
        раскрыть ветку (2)
        • Салатовый Витязь
          Салатовый Витязь
          Да начнется война пэхэпэшников Ответить
          раскрыть ветку (1)
          • Добрый Павлин
            Добрый Павлин
            я просто решил промолчать) Ответить
    • Лохматый Осьминог
      Лохматый Осьминог
      Да очевидно что разраба с запросом к бд обосрался. Но если это не бд, то это реально «уникальный спец» Ответить
      раскрыть ветку (6)
      • Автор канала
        Автор канала
        а у нас нет спецов Иван Говнов. У нас сплошные тупари и я блоггер. откуда вы шо. Ответить
        раскрыть ветку (5)
        • Лохматый Осьминог
          Лохматый Осьминог
          Comment media
          Ну в целом «спеца» даже жалко) за такую зп он сделал всё что мог Ответить
          раскрыть ветку (4)
          • Автор канала
            Автор канала
            так я ж говорю - ужас. ужас. нет спецов. все. хана. Ответить
            раскрыть ветку (3)
            • Лохматый Осьминог
              Лохматый Осьминог
              Максим, вы умеете в иронию. Тут вам отдаю должное. И используете людей за еду, это тоже талант. Ничего плохого не могу сказать, я так не умею) По этому работаю на дядю Ответить
              раскрыть ветку (2)
              • Автор канала
                Автор канала
                какая ирония. Иван. Реалии. У нас остались одни сушки :( Ответить
                раскрыть ветку (1)
                • Взлетающий Продюсер
                  Взлетающий Продюсер
                  А говоришь так грустно, будто сушек тоже не осталось Ответить
  • Салатовый Витязь
    Салатовый Витязь
    Может лучше кеширование сделаете, проработаете узкое место, как будто не сильно сложно. Ответить
    раскрыть ветку (9)
    • Зевающий Ленивец
      Зевающий Ленивец
      ratelimit сделать 5 ))) Ответить
      раскрыть ветку (8)
      • Салатовый Витязь
        Салатовый Витязь
        Интересно какой la был на сервере, и что там за сервер. Ответить
        раскрыть ветку (4)
        • Зевающий Ленивец
          Зевающий Ленивец
          они же разрабы) вордпрес с каким-то тормозным плагином )) Ответить
          раскрыть ветку (3)
          • Салатовый Витязь
            Салатовый Витязь
            На моём опыте wp это не проблема.

            Главное кеш Ответить
            раскрыть ветку (2)
            • Зевающий Ленивец
              Зевающий Ленивец
              мне кажется тысчу и без всяких кешей должен отрабатывать. Ответить
              раскрыть ветку (1)
              • Салатовый Витязь
                Салатовый Витязь
                Должен, если плагинов тормозных нет, плюс конкретно бд настроена. Ответить
      • Ворчливый Сатир
        Ворчливый Сатир
        Если разные ip адреса то как это поможет? Ответить
        раскрыть ветку (2)
        • Зевающий Ленивец
          Зевающий Ленивец
          то шутка, че душнить? ) Ответить
          раскрыть ветку (1)
          • Ворчливый Сатир
            Ворчливый Сатир
            А, сорян))) Ответить
  • Ворчливый Сатир
    Ворчливый Сатир
    Нет смысла улучшать производительность ради вредоносных запросов. Они потом будут еще больше парсить.

    Лучше и правда отрезать их. Ответить
    раскрыть ветку (1)
    • Автор канала
      Автор канала
      разумеется. Ответить