Русский ИТ бизнес
Русский ИТ бизнес

Делюсь бизнес супер- пупер- крутой- идеей. См. картинку. Добавить нечего, сделать очень сложно, задача крайне интересная и емкая. Мы хотим, но надо как-то собраться с силами :)

Русский ИТ бизнес
  • Спокойный Уж
    Спокойный Уж
    антибот клауд - самое популярное решение от ботов в рунете )) Ответить
    раскрыть ветку (3)
    • Океанический Гоблин
      Океанический Гоблин
      антинотиссимус 😁

      Напоминает старинные рассказы, что вирусы пишут создатели антивирусов 😂 Ответить
      раскрыть ветку (2)
      • Спокойный Уж
        Спокойный Уж
        может не так прямолинейно, то вполне может быть связь. и ботоводы и антиботоводы это одни и теже люди 😁 Ответить
        раскрыть ветку (1)
        • Океанический Гоблин
          Океанический Гоблин
          Положительные и отрицательные комменты за деньги пишут одни и те же люди с kwork Ответить
  • Вышитый Геймер
    Вышитый Геймер
    Надо не блокировать ботов, а давать им испорченную информацию Ответить
    раскрыть ветку (2)
    • Танцующий Единорог
      Танцующий Единорог
      Но тут есть нюанс. Многие боты, те что просят сайт, прикидываются нормальным пользователем. Ответить
    • Спокойный Уж
      Спокойный Уж
      бесполезно и не рационально. если это тупой парсер типа очередной "поисковик" или бот ИИ, то просто блочить для снижения нагрузки и не будет мешать. а те кто портит поведенческие, те максимально похожи на живых людей. Ответить
  • Добрый Павлин
    Добрый Павлин
    От парсинга нельзя защититься, только повысить его стоимость получится. Ответить
  • Квантовый Медведь
    Квантовый Медведь
    Как адблок, берите деньги с сайтов за то что не будете их парсить 😆 Ответить
  • Духовный Вампир
    Духовный Вампир
    Лучший способ от парсинга - сделать хороший API или ежедневную выгрузку в CSV инфы с сайта Ответить
  • Циничный Партизан
    Циничный Партизан
    а еще можно ограничить доступ к сайту с линкуса. по крайней мере из последнего что встречались - есть условный сайт, там стоит защита от Куратора. Его с ним то не просто парсить, и долго. Так они потом просто начали блочить хром который запускается с линукса) Ответить
    раскрыть ветку (3)
    • Свистящий Мармелад
      Свистящий Мармелад
      А как же я?!🤣 У меня Linux Mint Cinnamon, пользуюсь Хром (хотя мечтаю перебраться на Мозиллушку). И что, мне палки в веб‑колеса? За что?!🤣 Ответить
    • Спокойный Уж
      Спокойный Уж
      юзерагент можно установить какой угодно при парсинге. Ответить
      раскрыть ветку (1)
      • Циничный Партизан
        Циничный Партизан
        Да это понятно ) Ответить
  • Грязный Посол
    Грязный Посол
    Решение от парсинга - обрубить сетевой кабель.
    Других нет. 😁😜 Ответить
  • Аметистовый Марабу
    Аметистовый Марабу
    Кто будет блокировать парсинг на сайтах, плохо кончит! Ответить
  • Экологичный Боб
    Экологичный Боб
    antibot cloud или авторизация через госуслуги) Ответить
  • Топающий Скелет
    Топающий Скелет
    Макс. Что-то я не понял.
    Ты же блокируешь клифродом ботов из контекста.

    Разве проблема блокировать ботов парсинга?
    Формировать блеклист IP адресов для блокировки на сайте.
    Сделали бы плагин для WP и Битры, и зарабатывали на этом. Ответить
    раскрыть ветку (17)
    • Автор канала
      Автор канала
      речь про парсинг. реально сложная задача. Ответить
      раскрыть ветку (5)
      • Топающий Скелет
        Топающий Скелет
        Чем сложнее ботов контекста? Ответить
        раскрыть ветку (3)
        • Автор канала
          Автор канала
          ротация прокси на каждый запрос, надо больше мощностей, чтобы трафик гнать через себя если промежуточный сервер делать. да там вопросом миллион если делать по уму. Ответить
          раскрыть ветку (2)
          • Топающий Скелет
            Топающий Скелет
            А все парсят прям с ротацией прокси?
            Можно внедрится в серверный код сайта и анализировать сигнатуры запросов и поведенческие факторы.
            С поведенческими, как я понимаю, у кликфрода все работает. Если возникла аномалия - давать информацию серверу о блокировке по IP.
            Начните с простого, потом к чему-то придёте. Ответить
            раскрыть ветку (1)
            • Автор канала
              Автор канала
              нет конечно. но если есть защита - ротация нужна. с другой стороны да, не всегда нужна сложная защита. полно сайтов кторые не очень сильно готовы защищаться. Ответить
      • Арктический Хореограф
        Арктический Хореограф
        Не сложная, вложенные ловушки с loop и реальными кешированными на CDN данными. Но основное это кучки невидимых юзеру ссылок при заходе на которые блочат фингерпринт сессии, ну или ip, или и то и другое. Ответить
    • Пушистый Грифон
      Пушистый Грифон
      Блокировать по ip - это средневековые методы. Большинство ботов сидят на мобильных проксях. На этих же ip сидят живые люди (потенциальные клиенты сайта) Вы хотите все подсети мобильных операторов заблокировать?))) Ответить
      раскрыть ветку (10)
      • Экологичный Священник
        Экологичный Священник
        зачем все подсети? только ip устройства - и пусть перезагружается ищет себе новый ip чтоб опять сюда постучаться Ответить
        раскрыть ветку (7)
        • Пушистый Грифон
          Пушистый Грифон
          Бот получит новый ip, а тот, который заблокировали, уйдет живому юзеру. Вы похоже не понимаете что такое моб. proxy и как работает NAT Ответить
          раскрыть ветку (6)
          • Экологичный Священник
            Экологичный Священник
            какова вероятность, что этот юзер захочет пойти на ваш сайт? Ответить
            раскрыть ветку (5)
            • Пушистый Грифон
              Пушистый Грифон
              Она будет расти с каждым новым забаненым ip. Т.к. ip v4 у операторов не бесконечны Ответить
              раскрыть ветку (4)
              • Экологичный Священник
                Экологичный Священник
                баним автоматом на 30 минут, пока не жаловались
                были жалобы когда банили подсети руками Ответить
                раскрыть ветку (3)
                • Раздражительный Жираф
                  Раздражительный Жираф
                  как они пожалуются, вы же их забанили Ответить
                  раскрыть ветку (2)
                  • Экологичный Священник
                    Экологичный Священник
                    ааа, шаришь! Ответить
                  • Экологичный Священник
                    Экологичный Священник
                    когда заказ сделал, но не может попасть на оплату заказа, тогда беда. но такие случаи прекратились в коротким баном
                    можно конечно для таких скомпрометированных адресов показывать капчу, но как ей верить - непонятно. Ответить
      • Топающий Скелет
        Топающий Скелет
        Спроси у Макса - он в своих промышленных масштабах парсинга использует мобильные прокси.

        И спроси ещё - каким образом происходит конечная блокировка ботов в его защите от скликивания контекста.

        Ну и основное - главное начать копать в этом направлении, к какому-то решению можно прийти Ответить
        раскрыть ветку (1)
        • Автор канала
          Автор канала
          100% будем делать. но задача настолько емкая, что не ясно как начинать. плагин да, самое правильное для начала полагаю Ответить
  • Голографический Пёс
    Голографический Пёс
    кому нужна защита от парсинга - напишите мне в личку, есть что предложить. Ответить
  • Ритмичный Хорек
    Ритмичный Хорек
    В чем проблема? Собирай по максимуму параметров и обучай нейронку. Тыщ за $30 готов реализовать, ни один парсер не обойдет. Ответить
    раскрыть ветку (2)
    • Раздражительный Жираф
      Раздражительный Жираф
      А человек? Ответить
      раскрыть ветку (1)
      • Ритмичный Хорек
        Ритмичный Хорек
        Не без ложных срабатываний, но можно обучить автоэнкодер нормально

        Макс зумеров нанял нейронку пилить для классификации движений мышки, вот они и не сделали ничего Ответить
  • Озёрный Декан
    Озёрный Декан
    Через cloudflare, ставишь галку I'm under attack и спарсить дешевыми методами не получится. Ответить
    раскрыть ветку (1)
    • Наивный Боец
      Наивный Боец
      Cloudflare только не работает в РФ Ответить
  • Экологичный Священник
    Экологичный Священник
    этих антиботов уже как собак нерезанных,
    неужели выбрать нечего? Ответить
    раскрыть ветку (2)
    • Добрый Павлин
      Добрый Павлин
      Лучший антибот это грамотный админ) Ответить
      раскрыть ветку (1)
      • Экологичный Священник
        Экологичный Священник
        есть подозрение что антиботы эти говно (могу ошибаться) Ответить
  • Арктический Хореограф
    Арктический Хореограф
    И еще год назад видел много продуктов анипарсинга на ai начинали делать. Типа планомерный обход с одинаковым быстрым обходом, это только бот может делать. Ответить