Telega.FM Лента новостей из телеграмм по темам
Новое Горячее Лучшее
Русский ИТ бизнес
Русский ИТ бизнес
28 окт 2025 12:56
Post media

Мы делаем сервис (на мир, к слову) - на вход домен, на выходе структурированные данные. Собрали контент, обработали ИИ и т.п. Задача самая важная и первая - сделать sitemap всего сайта и собрать сырой контент.

На картинке делюсь промежточными итогами скорости сбора. Не айс, но зато мы не очень нагрузим сайты. А то боялись, что с помощью нашего сервиса будут неприятно нагружать сайты, мешая работе.

Русский ИТ бизнес
0
👍 0
0
  • Алый Повар
    Алый Повар
    Сколько у вас сборщиков на один сайт?
    • Автор канала
      Автор канала
      пока один сервер. это маловато
  • Алый Повар
    Алый Повар
    Есть проект заграничный, не буду рекламировать… у них на один сайт больше 50 сборщиков, думаю 🤔 принцип работы понятен
  • Лохматый Осьминог
    Лохматый Осьминог
    Почему не берете официальную sitemap?
    • Лунный Следопыт
      Лунный Следопыт
      за ней же часто не следят
      • Лохматый Осьминог
        Лохматый Осьминог
        что-то мне кажется, что любая современная cms следим за ним автоматом
        • Лунный Следопыт
          Лунный Следопыт
          неа. далеко не всегда. да и много сайтов не на коммерческих цмс, а на самописных. там часто на это забивают
    • Алый Повар
      Алый Повар
      Будто создать карту сайта это просто :) смешной такой
      • Раздражительный Жираф
        Раздражительный Жираф
        а что в этом сложного? Ходи по страницам, смотри canonical и заголовки
        • Экологичный Священник
          Экологичный Священник
          пока тебя не внесут во все блеклисты планеты земля
          • Раздражительный Жираф
            Раздражительный Жираф
            ну не внесли до сих пор, хожу
            • Экологичный Священник
              Экологичный Священник
              они ж хотят сделать сервис и парсить любой сайт на который покажет рандомный китаец
              • Раздражительный Жираф
                Раздражительный Жираф
                слабаки, надо было просто заранее обойти все сайты
                • Экологичный Священник
                  Экологичный Священник
                  проще флешку с интернетом заказать
                  • Раздражительный Жираф
                    Раздражительный Жираф
                    у меня на ноутбуке нет USB порта
                    • Экологичный Священник
                      Экологичный Священник
                      чтож, значит жди пока Максим Владимирович сделает сервис, скачаешь у него
                  • Робкий Киллер
                    Робкий Киллер
                    Или изучить аолгоритмы HTTrack единственная стабильная прога с которой не было проблем с закачкой любых сайтов
                    • Экологичный Священник
                      Экологичный Священник
                      Максим со своими студентами изобретает велосипед? Я так и думал
                      • Робкий Киллер
                        Робкий Киллер
                        Вообще-то это я вам с Димоном скинул прогу чтобы скачали для нас интернет на флэшки
                        • Экологичный Священник
                          Экологичный Священник
                          у него нет юэсби, мне одному что ли качать?
                          • Океанический Гоблин
                            Океанический Гоблин
                            Дай угадаю. Он из секты яблочников и там забыли поставить USB. Или не умеют этого делать.
                            • Робкий Киллер
                              Робкий Киллер
                              Всё верно. Девайс работает без usb и сам является носителем
                            • Экологичный Священник
                              Экологичный Священник
                              или кгб им тоже не продлила лицензию
                          • Робкий Киллер
                            Робкий Киллер
                            Купите у меня девайс https://t.me/Russian_IT_Business/312016
                            • Экологичный Священник
                              Экологичный Священник
                              а зачем он?
                              • Робкий Киллер
                                Робкий Киллер
                                Чтобы стать единственным владельцем своих данных и никакой депутат вас не обокрал https://t.me/Russian_IT_Business/311976
                                • Экологичный Священник
                                  Экологичный Священник
                                  а что там за железо, какая ось? все ли китайские закладки установлены, хорошо ли припаяны?
                                  • Океанический Гоблин
                                    Океанический Гоблин
                                    Так локально же работает. Ставьте файрвол или физически убивайте интернет и всё ОК. К тому же китайцы пока на 300 млрд. мою Родину не обкрадывали. Им больше доверия.
                                    • Экологичный Священник
                                      Экологичный Священник
                                      так у меня уже есть 2 телефона без симкарт
                                      • Океанический Гоблин
                                        Океанический Гоблин
                                        Судебные приставы через суд сим-карты изъяли? Сочувствую.
                                        • Экологичный Священник
                                          Экологичный Священник
                                          просто кгб лицензию не продлила
                                          • Океанический Гоблин
                                            Океанический Гоблин
                                            Comment media
                                            Прикольно. Скрипты, кажись, в бесконечный цикл ушли
                                            • Экологичный Священник
                                              Экологичный Священник
                                              наверное кгб лицензию не продлила
                                    • Робкий Киллер
                                      Робкий Киллер
                                      А когда заорут: «лежать руки на пол», что будет с вашим телефоном / компом / хдиском?
                                      • Океанический Гоблин
                                        Океанический Гоблин
                                        Я с кнопочной звонилкой хожу. Здесь с десктопа печатаю. Но если оценить трезво, то ничего крамольного не писал.
                                        • Робкий Киллер
                                          Робкий Киллер
                                          Ну мы же обсуждаем как уберечь данные, например корпоративные, - от конкурентов, которые юзают лубянку в своих коммерческих целях
                                  • Робкий Киллер
                                    Робкий Киллер
                                    А вот это уже от Вас зависит. Смотря по нуждам в конструкторе соберете. Вы сами решаете как упаковать ось и полностью владеете информацией как что устроено и какие библиотеки / драйвера / компоненты установлены

                                    Опционально

                                    - сжигание начинки от вторжения
                                    - нано корпус не горит в огне
                                    - водонепроницаем
                                    - амортизация от ударов

                                    И так далее. Корпус открывается и активируется при открытии только во время работы. В мертвом (не спящем) режиме защищен физически и можно колоть орехи
      • Добрый Павлин
        Добрый Павлин
        Один скрипт не большой, раз в сутки проверять базу и обновлять карту.
  • Алый Повар
    Алый Повар
    Проблема в том, чтобы правильно ✅ найти и корректно обработать информацию все URL
  • Свистящий Мармелад
    Свистящий Мармелад
    Делал подобное на гошке. Порядка 1000 сайтов, 5м страниц с 4 серверов парсилось где-то час. И не по сайтмапу, а по поиску ссылок на страницах
    • Голографический Пёс
      Голографический Пёс
      посчитал
      допустим 1000 сайтов доноров выдержат по 5000 запросов в час - 2 запроса в секунду
      а ваш сервер получается выполнял 1.25м запросов в час - это 347 запросов в секунду?
      там были только запросы или еще какая-то логика, записи в базу данных выполнялись?
      как-то жирно выходит
      • Спокойный Уж
        Спокойный Уж
        это выглядит как ддос сайтов, за это можно привлечь.
        • Экологичный Священник
          Экологичный Священник
          говоришь как агент обхсс
      • Свистящий Мармелад
        Свистящий Мармелад
        4 сервера, сам парсинг больше 500 потоков. И нагрузка то не на один сайт в 347 запросов. Логики никакой, получили контент отправили в кафку
      • Экологичный Священник
        Экологичный Священник
        347 в секунду жирно?