Русский ИТ бизнес
Русский ИТ бизнес

Утром написали ребята, день будет томным - без прокси парсинг тухнет. Многое не соберется, клиенты xmldatafeed.com будут недовольны. А ведь пятница :) развратница.

Мы покупаем безлимитные прокси в ротации, не мобильные. Мобильные обычно лучше, но они лимитные и на наших объемах может быть дороговато, т.к. мы парсим более 2000 сайтов в сутки уже.

Русский ИТ бизнес
  • Раздражительный Жираф Раздражительный Жираф
    а вы в выходные результат гарантируете? кто-то следит?
    • Призматический Буффало Призматический Буффало
      ))) следит боженька и святой дух... Или Вы не верающий?
  • Паровой Кисель Паровой Кисель
    Понимаю - без мобильных прокси на таких объёмах парсинг просто дохнет, клиенты вправе злиться.
    Асинхронный Python + ротация ресидентных проксей обычно окупается, LLM можно посадить на оптимизацию агентов и снизить блоки, пятница ппц )
    • Призматический Буффало Призматический Буффало
      Ну очень скоро они поймут, что могут позволить себе покупать проксики с запасом из 2-3 источников нее связанных... и автоматизируют их переключение)
      • Пряный Пирог Пряный Пирог
        Думаете раскошелется ?)
        • Призматический Буффало Призматический Буффало
          Да, он будет вынужден это сделать. Иначе потеряет клиентов. Один доп источник стоит как 2-3 сайта на парсинг. У него тысячи источников
          • Раздражительный Жираф Раздражительный Жираф
            у него из этих 2к источников тысячи полторы парсится обычным curl с VPSки за 300 рублей
            • Призматический Буффало Призматический Буффало
              Ну так если есть клиент у которого там 50 источников, и ты его теряешь из-за того что не сделал каких-то 3-4 из-за проксиков, такое себе
              • Раздражительный Жираф Раздражительный Жираф
                ну согласись, вообще странно иметь выручку в месяц больше 3 млн и при этом не иметь избыточные ресурсы на прокси)
                • Автор канала Автор канала
                  Больше 4 млн