Русский ИТ бизнес 👨
Подписаться
Post media
К концу 2025 года активность ИИ-ботов в интернете резко возросла: если в начале года на один визит бота приходилось 200 посещений людьми, то к четвёртому кварталу это соотношение составило 1 к 31.

На фоне снижения человеческого трафика на 5%, основной прирост обеспечили RAG-боты (рост на 33%) и ИИ-индексаторы (рост на 59%), в то время как трафик для обучения моделей упал на 15%. Лидером агрессивного сканирования остается OpenAI, чей бот посещает страницы в 5 раз чаще конкурентов, при этом общая кликабельность (CTR) из ИИ-сервисов на сайты-источники обвалилась почти втрое - с 0,8% до 0,27%.

Чуете, куда ветер дует? :) Защита от ботов нужна. Это же паразиты, как мы в парсинге :)

Русский ИТ бизнес

Комментарии (12)

  • quokkus
    Comment media
  • quokkus
    — они нас парсят! Закрыть ворота
    — но через них мы попадаем к клиентам
    — открыть, но чуть-чуть
  • zverttl
    Надо бы скармливать ботам частичную инфу, а для полной сделать так, чтобы переходили на сайт 😁
  • Nikolainicko
    Давно у всех стоит проверка на бота.
  • aura_pura
    Comment media
    Вот доказательство того, что ИИ не иеет доступа к новой информации. Не обращайте внимание на то, что он говорит, что эта статья ещё не опубликована. Врёт, она опубликована, но у него старые данные, новых у него нет. Кто там спорил со мной на тему? Кстати , это Gemini. Статья опубликована уже целую неделю назад.
    • quokkus
      всё так. А вот если дать ей API поиска, то будет доступ.
  • forhayley
    Вот мне интересно. Допустим значит все захотят закрыться от вездесущего ИИ и понастроят своих заборов, которые роботы преодолеть не смогут, а человек без проблем сможет.

    Вам вот не кажется, что как только процент заборов хоть сколько-нибудь станет весомым, то Гугл, Яндекс и OpenAI все вместе покажут вам, как надо парсить?)

    Ну типа бахнут в разработку решения для обхода ваших заборов пару десятков миллионов и там умные-умные дяденьки найдут решение как нефиг нафиг
    • alexy_os
      Пусть попробуют только) одним TCP/IP передача данных не ограничена) пусть создают свои обходы также для iSCSI, FC, FCoE и других ) и никто автономную работу оранжевых сверх защищенных ноутбуков не отменял
    • dmitry236
      гугл и яндекс отдают трафик сайтам, поэтому их боты будут в белых списках
      • alexy_os
        Perplexity применяет незадекларированных ботов, которые активируются в случаях, когда официальные поисковые роботы компании сталкиваются с блокировками в файлах robots.txt или правилами брандмауэра. Эти скрытые боты используют множество IP-адресов, не входящих в официальный диапазон Perplexity, и динамически переключаются между ними при обнаружении ограничений

        Хабр
        • dmitry236
          ну кому надо будет закрыться, закроются. У поисковиков есть открытые диапазоны IP с которых они ходят — их допустят к сайту без ограничений. Все остальные запросы только с наличием cookie, которая ставится при первом посещении через js. Тем самым все, кто не исполняют js автоматом попадут в бан.

          Я не уверен, что ИИ боты сейчас полноценно рендерят и сохраняют куку для последующих переходов по сайту
          • alexy_os
            Comment media
            Да похоже лучше кукиес пока ничего не придумано. Гугл хотел отказаться и перейти на сандбокс но передумал тем не менее алгоритмы идентификации посетителей все умнее и точнее