Делюсь бизнес супер- пупер- крутой- идеей. См. картинку. Добавить нечего, сделать очень сложно, задача крайне интересная и емкая. Мы хотим, но надо как-то собраться с силами :)
антибот клауд - самое популярное решение от ботов в рунете )) Ответить
раскрыть ветку (3)
Океанический Гоблин
антинотиссимус 😁
Напоминает старинные рассказы, что вирусы пишут создатели антивирусов 😂 Ответить
раскрыть ветку (2)
Спокойный Уж
может не так прямолинейно, то вполне может быть связь. и ботоводы и антиботоводы это одни и теже люди 😁 Ответить
раскрыть ветку (1)
Океанический Гоблин
Положительные и отрицательные комменты за деньги пишут одни и те же люди с kwork Ответить
Вышитый Геймер
Надо не блокировать ботов, а давать им испорченную информацию Ответить
раскрыть ветку (2)
Танцующий Единорог
Но тут есть нюанс. Многие боты, те что просят сайт, прикидываются нормальным пользователем. Ответить
Спокойный Уж
бесполезно и не рационально. если это тупой парсер типа очередной "поисковик" или бот ИИ, то просто блочить для снижения нагрузки и не будет мешать. а те кто портит поведенческие, те максимально похожи на живых людей. Ответить
Добрый Павлин
От парсинга нельзя защититься, только повысить его стоимость получится. Ответить
Квантовый Медведь
Как адблок, берите деньги с сайтов за то что не будете их парсить 😆 Ответить
Духовный Вампир
Лучший способ от парсинга - сделать хороший API или ежедневную выгрузку в CSV инфы с сайта Ответить
Циничный Партизан
а еще можно ограничить доступ к сайту с линкуса. по крайней мере из последнего что встречались - есть условный сайт, там стоит защита от Куратора. Его с ним то не просто парсить, и долго. Так они потом просто начали блочить хром который запускается с линукса) Ответить
раскрыть ветку (3)
Свистящий Мармелад
А как же я?!🤣 У меня Linux Mint Cinnamon, пользуюсь Хром (хотя мечтаю перебраться на Мозиллушку). И что, мне палки в веб‑колеса? За что?!🤣 Ответить
Спокойный Уж
юзерагент можно установить какой угодно при парсинге. Ответить
Решение от парсинга - обрубить сетевой кабель.
Других нет. 😁😜 Ответить
Аметистовый Марабу
Кто будет блокировать парсинг на сайтах, плохо кончит! Ответить
Экологичный Боб
antibot cloud или авторизация через госуслуги) Ответить
Топающий Скелет
Макс. Что-то я не понял.
Ты же блокируешь клифродом ботов из контекста.
Разве проблема блокировать ботов парсинга?
Формировать блеклист IP адресов для блокировки на сайте.
Сделали бы плагин для WP и Битры, и зарабатывали на этом. Ответить
раскрыть ветку (17)
Автор канала
речь про парсинг. реально сложная задача. Ответить
ротация прокси на каждый запрос, надо больше мощностей, чтобы трафик гнать через себя если промежуточный сервер делать. да там вопросом миллион если делать по уму. Ответить
раскрыть ветку (2)
Топающий Скелет
А все парсят прям с ротацией прокси?
Можно внедрится в серверный код сайта и анализировать сигнатуры запросов и поведенческие факторы.
С поведенческими, как я понимаю, у кликфрода все работает. Если возникла аномалия - давать информацию серверу о блокировке по IP.
Начните с простого, потом к чему-то придёте. Ответить
раскрыть ветку (1)
Автор канала
нет конечно. но если есть защита - ротация нужна. с другой стороны да, не всегда нужна сложная защита. полно сайтов кторые не очень сильно готовы защищаться. Ответить
Арктический Хореограф
Не сложная, вложенные ловушки с loop и реальными кешированными на CDN данными. Но основное это кучки невидимых юзеру ссылок при заходе на которые блочат фингерпринт сессии, ну или ip, или и то и другое. Ответить
Пушистый Грифон
Блокировать по ip - это средневековые методы. Большинство ботов сидят на мобильных проксях. На этих же ip сидят живые люди (потенциальные клиенты сайта) Вы хотите все подсети мобильных операторов заблокировать?))) Ответить
раскрыть ветку (10)
Экологичный Священник
зачем все подсети? только ip устройства - и пусть перезагружается ищет себе новый ip чтоб опять сюда постучаться Ответить
раскрыть ветку (7)
Пушистый Грифон
Бот получит новый ip, а тот, который заблокировали, уйдет живому юзеру. Вы похоже не понимаете что такое моб. proxy и как работает NAT Ответить
раскрыть ветку (6)
Экологичный Священник
какова вероятность, что этот юзер захочет пойти на ваш сайт? Ответить
раскрыть ветку (5)
Пушистый Грифон
Она будет расти с каждым новым забаненым ip. Т.к. ip v4 у операторов не бесконечны Ответить
раскрыть ветку (4)
Экологичный Священник
баним автоматом на 30 минут, пока не жаловались
были жалобы когда банили подсети руками Ответить
когда заказ сделал, но не может попасть на оплату заказа, тогда беда. но такие случаи прекратились в коротким баном
можно конечно для таких скомпрометированных адресов показывать капчу, но как ей верить - непонятно. Ответить
Топающий Скелет
Спроси у Макса - он в своих промышленных масштабах парсинга использует мобильные прокси.
И спроси ещё - каким образом происходит конечная блокировка ботов в его защите от скликивания контекста.
Ну и основное - главное начать копать в этом направлении, к какому-то решению можно прийти Ответить
раскрыть ветку (1)
Автор канала
100% будем делать. но задача настолько емкая, что не ясно как начинать. плагин да, самое правильное для начала полагаю Ответить
Голографический Пёс
кому нужна защита от парсинга - напишите мне в личку, есть что предложить. Ответить
Ритмичный Хорек
В чем проблема? Собирай по максимуму параметров и обучай нейронку. Тыщ за $30 готов реализовать, ни один парсер не обойдет. Ответить
есть подозрение что антиботы эти говно (могу ошибаться) Ответить
Арктический Хореограф
И еще год назад видел много продуктов анипарсинга на ai начинали делать. Типа планомерный обход с одинаковым быстрым обходом, это только бот может делать. Ответить
Напоминает старинные рассказы, что вирусы пишут создатели антивирусов 😂
Других нет. 😁😜
Ты же блокируешь клифродом ботов из контекста.
Разве проблема блокировать ботов парсинга?
Формировать блеклист IP адресов для блокировки на сайте.
Сделали бы плагин для WP и Битры, и зарабатывали на этом.
Можно внедрится в серверный код сайта и анализировать сигнатуры запросов и поведенческие факторы.
С поведенческими, как я понимаю, у кликфрода все работает. Если возникла аномалия - давать информацию серверу о блокировке по IP.
Начните с простого, потом к чему-то придёте.
были жалобы когда банили подсети руками
можно конечно для таких скомпрометированных адресов показывать капчу, но как ей верить - непонятно.
И спроси ещё - каким образом происходит конечная блокировка ботов в его защите от скликивания контекста.
Ну и основное - главное начать копать в этом направлении, к какому-то решению можно прийти
Макс зумеров нанял нейронку пилить для классификации движений мышки, вот они и не сделали ничего
неужели выбрать нечего?