Русский ИТ бизнес
Русский ИТ бизнес
Post media

Делюсь бизнес супер- пупер- крутой- идеей. См. картинку. Добавить нечего, сделать очень сложно, задача крайне интересная и емкая. Мы хотим, но надо как-то собраться с силами :)

Русский ИТ бизнес
  • Спокойный Уж
    Спокойный Уж
    антибот клауд - самое популярное решение от ботов в рунете ))
    • Океанический Гоблин
      Океанический Гоблин
      антинотиссимус 😁

      Напоминает старинные рассказы, что вирусы пишут создатели антивирусов 😂
      • Спокойный Уж
        Спокойный Уж
        может не так прямолинейно, то вполне может быть связь. и ботоводы и антиботоводы это одни и теже люди 😁
        • Океанический Гоблин
          Океанический Гоблин
          Положительные и отрицательные комменты за деньги пишут одни и те же люди с kwork
  • Вышитый Геймер
    Вышитый Геймер
    Надо не блокировать ботов, а давать им испорченную информацию
    • Танцующий Единорог
      Танцующий Единорог
      Но тут есть нюанс. Многие боты, те что просят сайт, прикидываются нормальным пользователем.
    • Спокойный Уж
      Спокойный Уж
      бесполезно и не рационально. если это тупой парсер типа очередной "поисковик" или бот ИИ, то просто блочить для снижения нагрузки и не будет мешать. а те кто портит поведенческие, те максимально похожи на живых людей.
  • Добрый Павлин
    Добрый Павлин
    От парсинга нельзя защититься, только повысить его стоимость получится.
  • Квантовый Медведь
    Квантовый Медведь
    Как адблок, берите деньги с сайтов за то что не будете их парсить 😆
  • Духовный Вампир
    Духовный Вампир
    Лучший способ от парсинга - сделать хороший API или ежедневную выгрузку в CSV инфы с сайта
  • Циничный Партизан
    Циничный Партизан
    а еще можно ограничить доступ к сайту с линкуса. по крайней мере из последнего что встречались - есть условный сайт, там стоит защита от Куратора. Его с ним то не просто парсить, и долго. Так они потом просто начали блочить хром который запускается с линукса)
    • Свистящий Мармелад
      Свистящий Мармелад
      А как же я?!🤣 У меня Linux Mint Cinnamon, пользуюсь Хром (хотя мечтаю перебраться на Мозиллушку). И что, мне палки в веб‑колеса? За что?!🤣
    • Спокойный Уж
      Спокойный Уж
      юзерагент можно установить какой угодно при парсинге.
      • Циничный Партизан
        Циничный Партизан
        Да это понятно )
  • Грязный Посол
    Грязный Посол
    Решение от парсинга - обрубить сетевой кабель.
    Других нет. 😁😜
  • Аметистовый Марабу
    Аметистовый Марабу
    Кто будет блокировать парсинг на сайтах, плохо кончит!
  • Экологичный Боб
    Экологичный Боб
    antibot cloud или авторизация через госуслуги)
  • Топающий Скелет
    Топающий Скелет
    Макс. Что-то я не понял.
    Ты же блокируешь клифродом ботов из контекста.

    Разве проблема блокировать ботов парсинга?
    Формировать блеклист IP адресов для блокировки на сайте.
    Сделали бы плагин для WP и Битры, и зарабатывали на этом.
    • Автор канала
      Автор канала
      речь про парсинг. реально сложная задача.
      • Топающий Скелет
        Топающий Скелет
        Чем сложнее ботов контекста?
        • Автор канала
          Автор канала
          ротация прокси на каждый запрос, надо больше мощностей, чтобы трафик гнать через себя если промежуточный сервер делать. да там вопросом миллион если делать по уму.
          • Топающий Скелет
            Топающий Скелет
            А все парсят прям с ротацией прокси?
            Можно внедрится в серверный код сайта и анализировать сигнатуры запросов и поведенческие факторы.
            С поведенческими, как я понимаю, у кликфрода все работает. Если возникла аномалия - давать информацию серверу о блокировке по IP.
            Начните с простого, потом к чему-то придёте.
            • Автор канала
              Автор канала
              нет конечно. но если есть защита - ротация нужна. с другой стороны да, не всегда нужна сложная защита. полно сайтов кторые не очень сильно готовы защищаться.
      • Арктический Хореограф
        Арктический Хореограф
        Не сложная, вложенные ловушки с loop и реальными кешированными на CDN данными. Но основное это кучки невидимых юзеру ссылок при заходе на которые блочат фингерпринт сессии, ну или ip, или и то и другое.
    • Пушистый Грифон
      Пушистый Грифон
      Блокировать по ip - это средневековые методы. Большинство ботов сидят на мобильных проксях. На этих же ip сидят живые люди (потенциальные клиенты сайта) Вы хотите все подсети мобильных операторов заблокировать?)))
      • Экологичный Священник
        Экологичный Священник
        зачем все подсети? только ip устройства - и пусть перезагружается ищет себе новый ip чтоб опять сюда постучаться
        • Пушистый Грифон
          Пушистый Грифон
          Бот получит новый ip, а тот, который заблокировали, уйдет живому юзеру. Вы похоже не понимаете что такое моб. proxy и как работает NAT
          • Экологичный Священник
            Экологичный Священник
            какова вероятность, что этот юзер захочет пойти на ваш сайт?
            • Пушистый Грифон
              Пушистый Грифон
              Она будет расти с каждым новым забаненым ip. Т.к. ip v4 у операторов не бесконечны
              • Экологичный Священник
                Экологичный Священник
                баним автоматом на 30 минут, пока не жаловались
                были жалобы когда банили подсети руками
                • Раздражительный Жираф
                  Раздражительный Жираф
                  как они пожалуются, вы же их забанили
                  • Экологичный Священник
                    Экологичный Священник
                    ааа, шаришь!
                  • Экологичный Священник
                    Экологичный Священник
                    когда заказ сделал, но не может попасть на оплату заказа, тогда беда. но такие случаи прекратились в коротким баном
                    можно конечно для таких скомпрометированных адресов показывать капчу, но как ей верить - непонятно.
      • Топающий Скелет
        Топающий Скелет
        Спроси у Макса - он в своих промышленных масштабах парсинга использует мобильные прокси.

        И спроси ещё - каким образом происходит конечная блокировка ботов в его защите от скликивания контекста.

        Ну и основное - главное начать копать в этом направлении, к какому-то решению можно прийти
        • Автор канала
          Автор канала
          100% будем делать. но задача настолько емкая, что не ясно как начинать. плагин да, самое правильное для начала полагаю
  • Голографический Пёс
    Голографический Пёс
    кому нужна защита от парсинга - напишите мне в личку, есть что предложить.
  • Ритмичный Хорек
    Ритмичный Хорек
    В чем проблема? Собирай по максимуму параметров и обучай нейронку. Тыщ за $30 готов реализовать, ни один парсер не обойдет.
    • Раздражительный Жираф
      Раздражительный Жираф
      А человек?
      • Ритмичный Хорек
        Ритмичный Хорек
        Не без ложных срабатываний, но можно обучить автоэнкодер нормально

        Макс зумеров нанял нейронку пилить для классификации движений мышки, вот они и не сделали ничего
  • Озёрный Декан
    Озёрный Декан
    Через cloudflare, ставишь галку I'm under attack и спарсить дешевыми методами не получится.
    • Наивный Боец
      Наивный Боец
      Cloudflare только не работает в РФ
  • Экологичный Священник
    Экологичный Священник
    этих антиботов уже как собак нерезанных,
    неужели выбрать нечего?
    • Добрый Павлин
      Добрый Павлин
      Лучший антибот это грамотный админ)
      • Экологичный Священник
        Экологичный Священник
        есть подозрение что антиботы эти говно (могу ошибаться)
  • Арктический Хореограф
    Арктический Хореограф
    И еще год назад видел много продуктов анипарсинга на ai начинали делать. Типа планомерный обход с одинаковым быстрым обходом, это только бот может делать.