Что типа ротировать адреса нейронка не напишет или капчу через какой то сервис не решит?)

Побуду немного душнилой. По факту парсер - как часть софта, которая извлекает данные из html, ИИ делает без проблем. Последние парсинги мы скармливали просто html страницу и просили ChatGPT написать парсер с промптом:

на входе html страница, на выходе плоский массив из данных. И перечисляли что нужно. Он пишет нормальный класс, я даже не вникал что там, мы вкинули набор страниц, получили данные. На нескольких сайтах при валидации выходных данных были ошибки, просто описываешь ИИ ошибки и он вносит исправления, всё работает.

А вот что касается краулинга/индексации страниц, ротации прокси, действия, очереди и пр - вот тут уже более сложная логика. Вот только есть ощущение, что крупняк типа brightdata, oxylabs и др. просто реализуют обход страниц с себя, а уже парсинг страниц поверх накидает ИИшка. Последний раз выгрузку данных из YC мы так и делали, я лишь указал морду, наш бот прошел на robots.txt, сохранил правила, потом пошел по всем страницам с пролистыванием страниц до низа. Дальше класс парсинга написал через ChatGPT.

Я не думаю что это будет решение для всех, особенно в мониторинге данных. Но разовый сбор данных многие будут делать сами, используя инфраструктуру этих игроков. Не просто так на инфраструктуре они заработали кратно больше агентств по парсингу. Сейчас на рынке все агентства собирают в пределах $2m/год, крупнее никого. А окси и брайтдата больше $30-50м каждый