Telega.FM Лента новостей из телеграмм по темам
Русский ИТ бизнес 👨
Подписаться
Post media
Делюсь бизнес супер- пупер- крутой- идеей. См. картинку. Добавить нечего, сделать очень сложно, задача крайне интересная и емкая. Мы хотим, но надо как-то собраться с силами :)

Русский ИТ бизнес
0/7 Открыть в Telegram

Комментарии (0)

  • MikFoxi
    антибот клауд - самое популярное решение от ботов в рунете ))
    • McConst
      антинотиссимус 😁

      Напоминает старинные рассказы, что вирусы пишут создатели антивирусов 😂
      • MikFoxi
        может не так прямолинейно, то вполне может быть связь. и ботоводы и антиботоводы это одни и теже люди 😁
        • McConst
          Положительные и отрицательные комменты за деньги пишут одни и те же люди с kwork
  • SimonovSI
    Надо не блокировать ботов, а давать им испорченную информацию
    • KTarasov
      Но тут есть нюанс. Многие боты, те что просят сайт, прикидываются нормальным пользователем.
    • MikFoxi
      бесполезно и не рационально. если это тупой парсер типа очередной "поисковик" или бот ИИ, то просто блочить для снижения нагрузки и не будет мешать. а те кто портит поведенческие, те максимально похожи на живых людей.
  • DADementr
    От парсинга нельзя защититься, только повысить его стоимость получится.
  • timgluk
    Как адблок, берите деньги с сайтов за то что не будете их парсить 😆
  • kirill_kolyshkin
    Лучший способ от парсинга - сделать хороший API или ежедневную выгрузку в CSV инфы с сайта
  • rogachevdv
    а еще можно ограничить доступ к сайту с линкуса. по крайней мере из последнего что встречались - есть условный сайт, там стоит защита от Куратора. Его с ним то не просто парсить, и долго. Так они потом просто начали блочить хром который запускается с линукса)
    • oneastok
      А как же я?!🤣 У меня Linux Mint Cinnamon, пользуюсь Хром (хотя мечтаю перебраться на Мозиллушку). И что, мне палки в веб‑колеса? За что?!🤣
    • MikFoxi
      юзерагент можно установить какой угодно при парсинге.
      • rogachevdv
        Да это понятно )
  • genesem
    Решение от парсинга - обрубить сетевой кабель.
    Других нет. 😁😜
  • TrillionsUPUP
    Кто будет блокировать парсинг на сайтах, плохо кончит!
  • kolya_bass
    antibot cloud или авторизация через госуслуги)
  • aromanenko
    Макс. Что-то я не понял.
    Ты же блокируешь клифродом ботов из контекста.

    Разве проблема блокировать ботов парсинга?
    Формировать блеклист IP адресов для блокировки на сайте.
    Сделали бы плагин для WP и Битры, и зарабатывали на этом.
    • GroupAnonymousBot
      речь про парсинг. реально сложная задача.
      • aromanenko
        Чем сложнее ботов контекста?
        • GroupAnonymousBot
          ротация прокси на каждый запрос, надо больше мощностей, чтобы трафик гнать через себя если промежуточный сервер делать. да там вопросом миллион если делать по уму.
          • aromanenko
            А все парсят прям с ротацией прокси?
            Можно внедрится в серверный код сайта и анализировать сигнатуры запросов и поведенческие факторы.
            С поведенческими, как я понимаю, у кликфрода все работает. Если возникла аномалия - давать информацию серверу о блокировке по IP.
            Начните с простого, потом к чему-то придёте.
            • GroupAnonymousBot
              нет конечно. но если есть защита - ротация нужна. с другой стороны да, не всегда нужна сложная защита. полно сайтов кторые не очень сильно готовы защищаться.
      • nutanix
        Не сложная, вложенные ловушки с loop и реальными кешированными на CDN данными. Но основное это кучки невидимых юзеру ссылок при заходе на которые блочат фингерпринт сессии, ну или ip, или и то и другое.
    • ftpoleg
      Блокировать по ip - это средневековые методы. Большинство ботов сидят на мобильных проксях. На этих же ip сидят живые люди (потенциальные клиенты сайта) Вы хотите все подсети мобильных операторов заблокировать?)))
      • Ut4J6
        зачем все подсети? только ip устройства - и пусть перезагружается ищет себе новый ip чтоб опять сюда постучаться
        • ftpoleg
          Бот получит новый ip, а тот, который заблокировали, уйдет живому юзеру. Вы похоже не понимаете что такое моб. proxy и как работает NAT
          • Ut4J6
            какова вероятность, что этот юзер захочет пойти на ваш сайт?
            • ftpoleg
              Она будет расти с каждым новым забаненым ip. Т.к. ip v4 у операторов не бесконечны
              • Ut4J6
                баним автоматом на 30 минут, пока не жаловались
                были жалобы когда банили подсети руками
                • dmitry236
                  как они пожалуются, вы же их забанили
                  • Ut4J6
                    ааа, шаришь!
                  • Ut4J6
                    когда заказ сделал, но не может попасть на оплату заказа, тогда беда. но такие случаи прекратились в коротким баном
                    можно конечно для таких скомпрометированных адресов показывать капчу, но как ей верить - непонятно.
      • aromanenko
        Спроси у Макса - он в своих промышленных масштабах парсинга использует мобильные прокси.

        И спроси ещё - каким образом происходит конечная блокировка ботов в его защите от скликивания контекста.

        Ну и основное - главное начать копать в этом направлении, к какому-то решению можно прийти
        • GroupAnonymousBot
          100% будем делать. но задача настолько емкая, что не ясно как начинать. плагин да, самое правильное для начала полагаю
  • blaqdog
    кому нужна защита от парсинга - напишите мне в личку, есть что предложить.
  • am_kopylov
    В чем проблема? Собирай по максимуму параметров и обучай нейронку. Тыщ за $30 готов реализовать, ни один парсер не обойдет.
    • dmitry236
      А человек?
      • am_kopylov
        Не без ложных срабатываний, но можно обучить автоэнкодер нормально

        Макс зумеров нанял нейронку пилить для классификации движений мышки, вот они и не сделали ничего
  • stepanov_nikolai
    Через cloudflare, ставишь галку I'm under attack и спарсить дешевыми методами не получится.
    • Bulankov_Aleksandr
      Cloudflare только не работает в РФ
  • Ut4J6
    этих антиботов уже как собак нерезанных,
    неужели выбрать нечего?
    • DADementr
      Лучший антибот это грамотный админ)
      • Ut4J6
        есть подозрение что антиботы эти говно (могу ошибаться)
  • nutanix
    И еще год назад видел много продуктов анипарсинга на ai начинали делать. Типа планомерный обход с одинаковым быстрым обходом, это только бот может делать.