Русский ИТ бизнес
Русский ИТ бизнес
Post media

Ежемесячные платеж за сервера

Ежемесячные платеж за сервера. У нас bare metal для парсинга. Chrome потребляет много ресурсов в процессе работы, поэтому и остановились на таком решении. Раньше были облака, убежали сохранив бабульки и рады :)

p.s. я не против облаков, но для целей парсинга они не айс.

Русский ИТ бизнес

Комментарии (19)

  • Светящийся Хирург
    Светящийся Хирург
    купи серваки и поставь в офисе, дешевле будет
    • Оранжевый Агент
      Оранжевый Агент
      Ну да, все равно проксю используют
    • Автор канала
      Автор канала
      угу. а шум? тепло?
      • Авангардный Философ
        Авангардный Философ
        В подвал
        • Автор канала
          Автор канала
          у нас нет тут подвала
      • Взволнованный Грузчик
        Взволнованный Грузчик
        А какие характеристики снимаете на baremetal vps или вдс,сколько ядер память и прочее если не секрет
      • Светящийся Хирург
        Светящийся Хирург
        в кладовку поставить внутрь шумоизоляционного бокса + вентиляцию на улицу. было бы желание
      • Пепельный Червь
        Пепельный Червь
        снять неотапливаемое помещение под офис, будет тепло)
  • Кислый Демон
    Кислый Демон
    Хммм, лично мы купили под парсинг мини пк (квадратики). Шума мало, тепла мало. А парсит в три-четыре потока спокойно
  • Ворчливый Монстр
    Ворчливый Монстр
    А причем тут Chrome? У вас серваки с графикой ?
    • Раздражительный Жираф
      Раздражительный Жираф
      так хромом парсят, не?
      • Ворчливый Монстр
        Ворчливый Монстр
        Я полный ноль в парсинге. Всегда считал что прасят каким-нибудь пайтон+селениум
        • Раздражительный Жираф
          Раздражительный Жираф
          селениум как раз и используется для автоматизации работы браузера, просто он может запускаться в headless режиме и его не видно. А если в обычном режиме, то откроется обычная вкладка браузера
        • Арктический Хореограф
          Арктический Хореограф
          Так селениум и запускает хром
      • Океанический Гоблин
        Океанический Гоблин
        Хромом неудобно. Есть способы, но по умолчанию там политика безопасности не разрешает делать запросы к сайтам, которые сервером не разрешены. localhost тоже по умолчанию блокируется.
        Есть способы отключить, но в целом парсить удобнее из NodeJS.
    • Пухлый Воробей
      Пухлый Воробей
      Продвинутый парсинг через хром только
  • Буржуазный Фермер
    Буржуазный Фермер
    процик и раму жрет мама не горюй
  • Арктический Хореограф
    Арктический Хореограф
    Headless часто проверяют
  • Арктический Хореограф
    Арктический Хореограф
    Приходится запускать реальный браузер, и даже по кривым специальным мышку двигать, эмулируя юзера.