Русский ИТ бизнес
Русский ИТ бизнес

Яндекс предлагает защиту от ботов (парсинга и ddos)

Яндекс предлагает защиту от ботов (парсинга и ddos)
Яндекс предлагает защиту от ботов (парсинга и ddos). Тема очень интересная и перспективная, другое дело, что судя по тарифам МСБ вряд ли сможет себе это позволить.

Мы в clickfraud.ru делаем простую защиту (через reverse proxy), она однозначно будет уступать решению от Яндекса, но и наш сегмент - это малыши, которые страдают от накрутки ПФ, левых заявок и т.п.

🟪 MAXTG

Комментарии (18)

  • Пролетарский Феникс
    Пролетарский Феникс
    А какой ценник себе позволит мсб? Ответить
    раскрыть ветку (1)
  • Ядерный Капитан
    Ядерный Капитан
    я правильно понял, что яндекс с одной стороны будет всех долбить своими ботами, а с другой будет это отбивать по тарифной сетке? Ответить
    раскрыть ветку (13)
    • Сказочный Пёс
      Сказочный Пёс
      Яндекс не главная проблема. Тьма каких то азиатских ботов основную нагрузку создают Ответить
      раскрыть ветку (12)
      • Ядерный Капитан
        Ядерный Капитан
        ну будут представляться яндексом :) Ответить
        раскрыть ветку (11)
        • Сказочный Пёс
          Сказочный Пёс
          Это на раз проверяется. Так просто не представятся Ответить
          раскрыть ветку (10)
          • Ядерный Капитан
            Ядерный Капитан
            если это на раз проверяется, то в чем проблема? зачем отдельный сервис городить?

            просто пришлось парсить один сайт, он закрылся cf, капчу поставил... но как в анекдоте с 1000-й попытки сервер согласился, что пароль "слава кпсс"

            вот тот тариф за 10к сразу мимо, просто нагрузку поднимут и уже 50к :) причем в нужный момент думаю сам яндекс и поднимет :) Ответить
            раскрыть ветку (9)
            • Сказочный Пёс
              Сказочный Пёс
              Сложно отделить ботов которые под гражданские user agent прячутся. Вот их и фильтровать. Ответить
              раскрыть ветку (8)
              • Мифический Пеликан
                Мифический Пеликан
                Сложно, если заход был разовый. А если начинается шквал звпросов с перебором различных путей, которые никогда не использовались на сайте - выдает бота нараз. И неважно кем он представляется. Ответить
                раскрыть ветку (7)
                • Сказочный Пёс
                  Сказочный Пёс
                  Почему не использовались? Он может начать ходит по каталогу, ip перебирают тысячами, user agent пользовательские, паузы рандомные.
                  С ходу не распознаешь. Ответить
                  раскрыть ветку (3)
                  • Пряный Единорог
                    Пряный Единорог
                    Это вы не распознаете. А машина запросто. Достаточно подобрать пару тысяч примеров работы ботов и к ним примеры работы реальных пользователей, а потом обучить регрессионную ML модель типа LightGBM или типа того, и она будет вскрывать паттерны поведения моментально. Ответить
                    раскрыть ветку (2)
                    • Раздражительный Жираф
                      Раздражительный Жираф
                      видимо не так уж легко, раз никто эту проблему так и не решил Ответить
                      раскрыть ветку (1)
                      • Пряный Единорог
                        Пряный Единорог
                        Алгоритмы машинного обучения родились из необходимости вычленять паттерны из хаоса. И за 50 лет добились больших успехов. Просто алгоритм выдает регрессионный сигнал по шкале, а далее должен программироваться код для принятия решения "если-то с учётом условий". Вот градация шкалы и совокупность условий - это уже на усмотрение, у каждого свое мнение о прекрасном. Поэтому если не банят всех ботов сразу, это не потому что не распознали. Ответить
                • Раздражительный Жираф
                  Раздражительный Жираф
                  зачем ему по ним ходить, если он считывает ссылочную структуру с существующих страниц? Ответить
                  раскрыть ветку (2)
                  • Мифический Пеликан
                    Мифический Пеликан
                    Так делают боты, перебирающие типовые урлы известных cms в поисках дыр. постоянно мелькают урлы типо /wp-* Ответить
                    раскрыть ветку (1)
                    • Раздражительный Жираф
                      Раздражительный Жираф
                      это другое Ответить
  • Тающий Носорог
    Тающий Носорог
    "Госдума не поддержала запрет рекламы магов и ведьм."
    Похоже сами пользуются услугами этих чертей 😁 Ответить
  • Мифический Пеликан
    Мифический Пеликан
    Да понятно, что ботов полно разных. Но и решений сейчас становится больше. Ответить