Telega.FM Лента новостей из телеграмм по темам
Русский ИТ бизнес 👨
Подписаться
Утром написали ребята, день будет томным - без прокси парсинг тухнет. Многое не соберется, клиенты xmldatafeed.com будут недовольны. А ведь пятница :) развратница.

Мы покупаем безлимитные прокси в ротации, не мобильные. Мобильные обычно лучше, но они лимитные и на наших объемах может быть дороговато, т.к. мы парсим более 2000 сайтов в сутки уже.

Русский ИТ бизнес
0/9 Открыть в Telegram

Комментарии (0)

  • dmitry236
    а вы в выходные результат гарантируете? кто-то следит?
    • yury_webscraping
      ))) следит боженька и святой дух... Или Вы не верающий?
  • Devops_like_a_boss
    Понимаю - без мобильных прокси на таких объёмах парсинг просто дохнет, клиенты вправе злиться.
    Асинхронный Python + ротация ресидентных проксей обычно окупается, LLM можно посадить на оптимизацию агентов и снизить блоки, пятница ппц )
    • yury_webscraping
      Ну очень скоро они поймут, что могут позволить себе покупать проксики с запасом из 2-3 источников нее связанных... и автоматизируют их переключение)
      • Gesbes
        Думаете раскошелется ?)
        • yury_webscraping
          Да, он будет вынужден это сделать. Иначе потеряет клиентов. Один доп источник стоит как 2-3 сайта на парсинг. У него тысячи источников
          • dmitry236
            у него из этих 2к источников тысячи полторы парсится обычным curl с VPSки за 300 рублей
            • yury_webscraping
              Ну так если есть клиент у которого там 50 источников, и ты его теряешь из-за того что не сделал каких-то 3-4 из-за проксиков, такое себе
              • dmitry236
                ну согласись, вообще странно иметь выручку в месяц больше 3 млн и при этом не иметь избыточные ресурсы на прокси)
                • GroupAnonymousBot
                  Больше 4 млн
                • yury_webscraping
                  Ну так, зачем думать пока работает. Наебнется - тогда будут решать.
                  • dmitry236
                    день простоя по выручке - 100к. Если бы было SLA в котором простой больше n часов не оплачивался, то всё давно уже было бы. Просто нет внутри самой компании никакой оценки качества, по-видимому
                    • yury_webscraping
                      Ну так, и что? Если это случается редко, финансовой ответственности за простой нет, пусть пипл хавает
                      • dmitry236
                        хз, я когда с клиентами работал, так бесило их нытье по поводу того что у нас что-то отвалилось. Я бы просто ебал команду постоянно за это
  • Ut4J6
    а вы покупайте те прокси, которые не страдают дидосом, а сами атакуют. Месяц назад в ходе страдания от дидоса обнаружил, что такие существуют