Делюсь бизнес супер- пупер- крутой- идеей. См. картинку. Добавить нечего, сделать очень сложно, задача крайне интересная и емкая. Мы хотим, но надо как-то собраться с силами :)
антибот клауд - самое популярное решение от ботов в рунете ))
Океанический Гоблин
антинотиссимус 😁
Напоминает старинные рассказы, что вирусы пишут создатели антивирусов 😂
Спокойный Уж
может не так прямолинейно, то вполне может быть связь. и ботоводы и антиботоводы это одни и теже люди 😁
Океанический Гоблин
Положительные и отрицательные комменты за деньги пишут одни и те же люди с kwork
Вышитый Геймер
Надо не блокировать ботов, а давать им испорченную информацию
Танцующий Единорог
Но тут есть нюанс. Многие боты, те что просят сайт, прикидываются нормальным пользователем.
Спокойный Уж
бесполезно и не рационально. если это тупой парсер типа очередной "поисковик" или бот ИИ, то просто блочить для снижения нагрузки и не будет мешать. а те кто портит поведенческие, те максимально похожи на живых людей.
Добрый Павлин
От парсинга нельзя защититься, только повысить его стоимость получится.
Квантовый Медведь
Как адблок, берите деньги с сайтов за то что не будете их парсить 😆
Духовный Вампир
Лучший способ от парсинга - сделать хороший API или ежедневную выгрузку в CSV инфы с сайта
Циничный Партизан
а еще можно ограничить доступ к сайту с линкуса. по крайней мере из последнего что встречались - есть условный сайт, там стоит защита от Куратора. Его с ним то не просто парсить, и долго. Так они потом просто начали блочить хром который запускается с линукса)
Свистящий Мармелад
А как же я?!🤣 У меня Linux Mint Cinnamon, пользуюсь Хром (хотя мечтаю перебраться на Мозиллушку). И что, мне палки в веб‑колеса? За что?!🤣
Спокойный Уж
юзерагент можно установить какой угодно при парсинге.
Циничный Партизан
Да это понятно )
Грязный Посол
Решение от парсинга - обрубить сетевой кабель.
Других нет. 😁😜
Аметистовый Марабу
Кто будет блокировать парсинг на сайтах, плохо кончит!
Экологичный Боб
antibot cloud или авторизация через госуслуги)
Топающий Скелет
Макс. Что-то я не понял.
Ты же блокируешь клифродом ботов из контекста.
Разве проблема блокировать ботов парсинга?
Формировать блеклист IP адресов для блокировки на сайте.
Сделали бы плагин для WP и Битры, и зарабатывали на этом.
Автор канала
речь про парсинг. реально сложная задача.
Топающий Скелет
Чем сложнее ботов контекста?
Автор канала
ротация прокси на каждый запрос, надо больше мощностей, чтобы трафик гнать через себя если промежуточный сервер делать. да там вопросом миллион если делать по уму.
Топающий Скелет
А все парсят прям с ротацией прокси?
Можно внедрится в серверный код сайта и анализировать сигнатуры запросов и поведенческие факторы.
С поведенческими, как я понимаю, у кликфрода все работает. Если возникла аномалия - давать информацию серверу о блокировке по IP.
Начните с простого, потом к чему-то придёте.
Автор канала
нет конечно. но если есть защита - ротация нужна. с другой стороны да, не всегда нужна сложная защита. полно сайтов кторые не очень сильно готовы защищаться.
Арктический Хореограф
Не сложная, вложенные ловушки с loop и реальными кешированными на CDN данными. Но основное это кучки невидимых юзеру ссылок при заходе на которые блочат фингерпринт сессии, ну или ip, или и то и другое.
Пушистый Грифон
Блокировать по ip - это средневековые методы. Большинство ботов сидят на мобильных проксях. На этих же ip сидят живые люди (потенциальные клиенты сайта) Вы хотите все подсети мобильных операторов заблокировать?)))
Экологичный Священник
зачем все подсети? только ip устройства - и пусть перезагружается ищет себе новый ip чтоб опять сюда постучаться
Пушистый Грифон
Бот получит новый ip, а тот, который заблокировали, уйдет живому юзеру. Вы похоже не понимаете что такое моб. proxy и как работает NAT
Экологичный Священник
какова вероятность, что этот юзер захочет пойти на ваш сайт?
Пушистый Грифон
Она будет расти с каждым новым забаненым ip. Т.к. ip v4 у операторов не бесконечны
Экологичный Священник
баним автоматом на 30 минут, пока не жаловались
были жалобы когда банили подсети руками
Раздражительный Жираф
как они пожалуются, вы же их забанили
Экологичный Священник
ааа, шаришь!
Экологичный Священник
когда заказ сделал, но не может попасть на оплату заказа, тогда беда. но такие случаи прекратились в коротким баном
можно конечно для таких скомпрометированных адресов показывать капчу, но как ей верить - непонятно.
Топающий Скелет
Спроси у Макса - он в своих промышленных масштабах парсинга использует мобильные прокси.
И спроси ещё - каким образом происходит конечная блокировка ботов в его защите от скликивания контекста.
Ну и основное - главное начать копать в этом направлении, к какому-то решению можно прийти
Автор канала
100% будем делать. но задача настолько емкая, что не ясно как начинать. плагин да, самое правильное для начала полагаю
Голографический Пёс
кому нужна защита от парсинга - напишите мне в личку, есть что предложить.
Ритмичный Хорек
В чем проблема? Собирай по максимуму параметров и обучай нейронку. Тыщ за $30 готов реализовать, ни один парсер не обойдет.
Раздражительный Жираф
А человек?
Ритмичный Хорек
Не без ложных срабатываний, но можно обучить автоэнкодер нормально
Макс зумеров нанял нейронку пилить для классификации движений мышки, вот они и не сделали ничего
Озёрный Декан
Через cloudflare, ставишь галку I'm under attack и спарсить дешевыми методами не получится.
Наивный Боец
Cloudflare только не работает в РФ
Экологичный Священник
этих антиботов уже как собак нерезанных,
неужели выбрать нечего?
Добрый Павлин
Лучший антибот это грамотный админ)
Экологичный Священник
есть подозрение что антиботы эти говно (могу ошибаться)
Арктический Хореограф
И еще год назад видел много продуктов анипарсинга на ai начинали делать. Типа планомерный обход с одинаковым быстрым обходом, это только бот может делать.
Напоминает старинные рассказы, что вирусы пишут создатели антивирусов 😂
Других нет. 😁😜
Ты же блокируешь клифродом ботов из контекста.
Разве проблема блокировать ботов парсинга?
Формировать блеклист IP адресов для блокировки на сайте.
Сделали бы плагин для WP и Битры, и зарабатывали на этом.
Можно внедрится в серверный код сайта и анализировать сигнатуры запросов и поведенческие факторы.
С поведенческими, как я понимаю, у кликфрода все работает. Если возникла аномалия - давать информацию серверу о блокировке по IP.
Начните с простого, потом к чему-то придёте.
были жалобы когда банили подсети руками
можно конечно для таких скомпрометированных адресов показывать капчу, но как ей верить - непонятно.
И спроси ещё - каким образом происходит конечная блокировка ботов в его защите от скликивания контекста.
Ну и основное - главное начать копать в этом направлении, к какому-то решению можно прийти
Макс зумеров нанял нейронку пилить для классификации движений мышки, вот они и не сделали ничего
неужели выбрать нечего?