Telega.FM Лента новостей из телеграмм по темам
Лучшее Горячее Новое
Русский ИТ бизнес
Русский ИТ бизнес
9 апр 2026 16:46
Post media

Надо что-то делать с затратами

Надо что-то делать с затратами. Это за сервера для парсинга. Минус в том, что у нас на Windows машинках крутится Chromium, который пожирает ресурсы. Плюс - работает :) и в сутки мы парсим около 2500 сайтов (я точно уже не помню).

Но 180к в месяц меня напрягают. Сделал табличку, сижу, грущу, пытаюсь с командой нащупат решение. @bezsmuzi
1 588
👍 5
44

Комментарии (44)

  • Скользкий Эксперт
    Скользкий Эксперт
    У нас есть опыта запуска хромиума в докерах) давайте проведем ревью, поможем)
  • Покинутый Вепрь
    Покинутый Вепрь
    Использую 1 сервак для парсинга Я.Карт - до вас далеко, но интересно, как вы оптимизируете в итоге.
  • Долинный Гранат
    Долинный Гранат
    это ж ползарплаты нормального программиста, у вас они реально за миску риса РАБотают?)
  • Скользкий Ящер
    Скользкий Ящер
    .net core и переезд на Линукс ?)
  • Глухой Кот
    Глухой Кот
    Вам нужен 1-3 нормальных сервера с кластеризацией или контейнеризацией + 1 инициативный опытный DevOps, текущее решение хуже чем стопка персональных компов дома

    Если вопрос адресов щепетильный, то тогда уж облако с кубером
    • Длинный Огнетушитель
      Длинный Огнетушитель
      Там у Макса куда не посмотри, нужен 1-2 опытных и хорошо оплачиваемых специалиста и будет экономия. Но Макс и отцы основатели, не хотят никого опытного, так как не умеют работать с такими сотрудниками или боятся, что они им шляпу будут втирать.
      • Раздражительный Жираф
        Раздражительный Жираф
        экономия на учредителях
      • Долинный Гранат
        Долинный Гранат
        ну а что, вполне вероятный вариант, нейронки же втирают шляпу неофитам, а те хавают и просят добавки)
      • Длинный Огнетушитель
        Длинный Огнетушитель
        Вот скинул телегу.фм. На мобиле не открывается спойлер. Вот типа как это делали, что не заметили, что оно не работает?) в коде ковыряться не хочу. Но, блин, подсчитать количество строк в контейнере надо просто. Посчитать можно многими способами. Когда поняли условия, когда показываем или нет, то на кнопку вешаем функционал, который вешает класс с клэмпом или нет. Референсов куча, ИИ может помочь, а получается какая-то забагованная история. И тут ведь хер скажешь, что не заметили. Это сделали на похуях, а не багу пропустили.
        • Автор канала
          Автор канала
          мы все потихоньку правим. но я замечу, что у нас нет внешних инвестиций. мы делаем на своих.
          • Длинный Огнетушитель
            Длинный Огнетушитель
            Макс, какие инвестиции тут? Это базовая задача. Если вы добавили функциональность спойлера, то почему она не работает то?)
            • Автор канала
              Автор канала
              потому что отвлекаемся постоянно. рук просто не хватает. поделали и бросили
              • Длинный Огнетушитель
                Длинный Огнетушитель
                Так не катите такую функциональность недоделанную на прод. Какие для этого инвестиции нужны или вообще что для этого надо?)
                • Автор канала
                  Автор канала
                  почему? ну у нас не рокет сайнс. выкатили, посмотрели , откатили. изменили
                  • Длинный Огнетушитель
                    Длинный Огнетушитель
                    Так она не работает вообще. Это как надо было проверять?
                    • Автор канала
                      Автор канала
                      у нас есть беглог. там это есть. в гитлабе. и еще миллион другого. я каждый день накидываю ребятам
                      • Длинный Огнетушитель
                        Длинный Огнетушитель
                        Это понятно, что есть беклог и куча всего. Так у всех было и будет, когда делом занимаешься. Но, конкретно в этом случае. Есть задача сделать спойлер, например. Выходит на прод и вообще не работает. Это как?)
                      • Длинный Огнетушитель
                        Длинный Огнетушитель
                        Так вот ещё совет от человека, у которого нет бизнеса. Не накидывайте каждый день. Дайте план на спринт и у задачи выделяйте критерии выполненной работы. Ребята поймут, когда фича становится реализована, у ребят будет план работы на какое-то вменяемое время. Если задачи реализуются с багами, то это звоночек что сотруднику надо пересмотреть взгляды на свою работу, а вы сможете понять кто реально молодец, а кто имитирует бурную деятельность и по 200 коммитов делает, чтобы свои же баги закрыть. Это для вас прямой показатель того, стоит ли челику индексировать зарплату или нет.

                        Вы сами себе жизнь усложняете и теряете деньги. И это все честно и без всякой светлой мути.
                        • Автор канала
                          Автор канала
                          да. но тут хочу отметить, что проект делается по принципу "когда есть время". Нам всем надо деньги зарабатывать,... а он денег не приносит. инвестора нет.
                          • Длинный Огнетушитель
                            Длинный Огнетушитель
                            И это понятно, что когда есть время. Но задачу нужно до конца закрывать же. Нельзя ничего бросать на половине дела. Сами знаете, что нет ничего более постоянного, чем временное)
                          • Крадущийся Судья
                            Крадущийся Судья
                            Помнется по тому же принципу померла офлайнцрм от могучего спеца
                          • Глухой Кот
                            Глухой Кот
                            Приносит, если полезно и используется в бизнес-процессе
                        • Глухой Кот
                          Глухой Кот
                          скрум-практика, можно нагуглить)
                          • Длинный Огнетушитель
                            Длинный Огнетушитель
                            Да я просто решил этот сленг весь откинуть)
                  • Длинный Огнетушитель
                    Длинный Огнетушитель
                    И суть в том, что это тривиальная задача. Ноль рокет саенса.
                • Тёмный Попугай
                  Тёмный Попугай
                  не, пусть будет на проде. А тестировщиками будут конечные пользователи. Бесплатно
                  • Автор канала
                    Автор канала
                    ну так и есть. ага.
                    • Тёмный Попугай
                      Тёмный Попугай
                      и ошибки на сайте можно не исправлять - это же бабульки не приносит)
                    • Крадущийся Судья
                      Крадущийся Судья
                      Узурпатор уже до пользователей добралса
  • Призматический Буффало
    Призматический Буффало
    Так, делим 180 000/2 500 = 60р за сайт в месяц. Х..ля оптимизировать то?
  • Призматический Буффало
    Призматический Буффало
    Типа 2р в день, при доходности 170-340р в дегь
  • Глухой Кот
    Глухой Кот
    если у него 180к - дорого
  • Глухой Кот
    Глухой Кот
    значит дорого)
  • Рубиновый Самурай
    Рубиновый Самурай
    с хромиумом сильно лучше справляются свежие райзены. по цене конечно дороже, но и по количеству одновременных потоков должна быть ощутимая разница в +
  • Худой Ягуар
    Худой Ягуар
    На текущий момент решения нет, т.к. цены на оеративную память улетели в космос. Покупать свое железо сейчас слишком дорого. Поэтому аренда "металла" пока самое правильное.

    Лет пять назад правильнее было покупать свое железо в лизинг.
    • Автор канала
      Автор канала
      да. поэтому пытаемся ужаться не более того. я попробовал пощупат куда мигрировать, но ... дороде
  • Озябший Генерал
    Озябший Генерал
    Comment media
    Как будто за эти деньги можно купить. Вопрос только в хранении. А так старьё же
  • Озябший Генерал
    Озябший Генерал
    Процы старые, но вот ОЗУ конечно конь цена
  • Раздражительный Барс
    Раздражительный Барс
    1) что за сайты
    2) сколько запросов в день
    3) надо ли везде chromium
    4) отключить лишнее службы на серверах

    над искать срытое api, у большинства сайтов оно есть. вам останется лишь обновить токен периодически, тут и активируете свой chromium.
    не надо просто везде использовать сложные решения!многие сайты парсятся максимально простыми решениями.
    с огромной вероятностью уверен что поднимаете горы инстансов chromiumна пустом месте..
    то есть вариантов куда оптимизировать море!

    в первую очередь я бы посмотрел чего расходуется больше, CPU или надо ОЗУ. то есть что простаивает в моментах.
    • Раздражительный Жираф
      Раздражительный Жираф
      не туда воюешь. Себестоимость инфраструктуры очень невысокая, ты пытаешься сэкономить на железках, но повышаешь уровень исполнителя, который тут в разы дороже
      • Раздражительный Барс
        Раздражительный Барс
        надо просто уметь. а не набирать железа больше.
        все просто решается умея!
        можно конечно набрать эпиков и сказать что оптимизировали..
        это парсинг! максимально простое что можно создать в ИТ в плане сложности..
        самый простой путь, согласен, просто взять лучше серваки. или в облако и заплатить еще больше по итогу.😁
        • Раздражительный Жираф
          Раздражительный Жираф
          проще быть просто богатым
          • Раздражительный Барс
            Раздражительный Барс
            тоже вариант.😁
          • Тёмный Попугай
            Тёмный Попугай