Русский ИТ бизнес
Русский ИТ бизнес

Мы делаем сервис (на мир, к слову) - на вход домен, на выходе структурированные данные. Собрали контент, обработали ИИ и т.п. Задача самая важная и первая - сделать sitemap всего сайта и собрать сырой контент.

На картинке делюсь промежточными итогами скорости сбора. Не айс, но зато мы не очень нагрузим сайты. А то боялись, что с помощью нашего сервиса будут неприятно нагружать сайты, мешая работе.

Русский ИТ бизнес
  • Алый Повар
    Алый Повар
    Сколько у вас сборщиков на один сайт? Ответить
    раскрыть ветку (1)
    • Автор канала
      Автор канала
      пока один сервер. это маловато Ответить
  • Алый Повар
    Алый Повар
    Есть проект заграничный, не буду рекламировать… у них на один сайт больше 50 сборщиков, думаю 🤔 принцип работы понятен Ответить
  • Лохматый Осьминог
    Лохматый Осьминог
    Почему не берете официальную sitemap? Ответить
    раскрыть ветку (34)
    • Лунный Следопыт
      Лунный Следопыт
      за ней же часто не следят Ответить
      раскрыть ветку (2)
      • Лохматый Осьминог
        Лохматый Осьминог
        что-то мне кажется, что любая современная cms следим за ним автоматом Ответить
        раскрыть ветку (1)
        • Лунный Следопыт
          Лунный Следопыт
          неа. далеко не всегда. да и много сайтов не на коммерческих цмс, а на самописных. там часто на это забивают Ответить
    • Алый Повар
      Алый Повар
      Будто создать карту сайта это просто :) смешной такой Ответить
      раскрыть ветку (30)
      • Раздражительный Жираф
        Раздражительный Жираф
        а что в этом сложного? Ходи по страницам, смотри canonical и заголовки Ответить
        раскрыть ветку (28)
        • Экологичный Священник
          Экологичный Священник
          пока тебя не внесут во все блеклисты планеты земля Ответить
          раскрыть ветку (27)
          • Раздражительный Жираф
            Раздражительный Жираф
            ну не внесли до сих пор, хожу Ответить
            раскрыть ветку (26)
            • Экологичный Священник
              Экологичный Священник
              они ж хотят сделать сервис и парсить любой сайт на который покажет рандомный китаец Ответить
              раскрыть ветку (25)
              • Раздражительный Жираф
                Раздражительный Жираф
                слабаки, надо было просто заранее обойти все сайты Ответить
                раскрыть ветку (24)
                • Экологичный Священник
                  Экологичный Священник
                  проще флешку с интернетом заказать Ответить
                  раскрыть ветку (23)
                  • Раздражительный Жираф
                    Раздражительный Жираф
                    у меня на ноутбуке нет USB порта Ответить
                    раскрыть ветку (1)
                    • Экологичный Священник
                      Экологичный Священник
                      чтож, значит жди пока Максим Владимирович сделает сервис, скачаешь у него Ответить
                  • Робкий Киллер
                    Робкий Киллер
                    Или изучить аолгоритмы HTTrack единственная стабильная прога с которой не было проблем с закачкой любых сайтов Ответить
                    раскрыть ветку (20)
                    • Экологичный Священник
                      Экологичный Священник
                      Максим со своими студентами изобретает велосипед? Я так и думал Ответить
                      раскрыть ветку (19)
                      • Робкий Киллер
                        Робкий Киллер
                        Вообще-то это я вам с Димоном скинул прогу чтобы скачали для нас интернет на флэшки Ответить
                        раскрыть ветку (18)
                        • Экологичный Священник
                          Экологичный Священник
                          у него нет юэсби, мне одному что ли качать? Ответить
                          раскрыть ветку (17)
                          • Океанический Гоблин
                            Океанический Гоблин
                            Дай угадаю. Он из секты яблочников и там забыли поставить USB. Или не умеют этого делать. Ответить
                            раскрыть ветку (2)
                            • Робкий Киллер
                              Робкий Киллер
                              Всё верно. Девайс работает без usb и сам является носителем Ответить
                            • Экологичный Священник
                              Экологичный Священник
                              или кгб им тоже не продлила лицензию Ответить
                          • Робкий Киллер
                            Робкий Киллер
                            Купите у меня девайс https://t.me/Russian_IT_Business/312016 Ответить
                            раскрыть ветку (13)
                            • Экологичный Священник
                              Экологичный Священник
                              а зачем он? Ответить
                              раскрыть ветку (12)
                              • Робкий Киллер
                                Робкий Киллер
                                Чтобы стать единственным владельцем своих данных и никакой депутат вас не обокрал https://t.me/Russian_IT_Business/311976 Ответить
                                раскрыть ветку (11)
                                • Экологичный Священник
                                  Экологичный Священник
                                  а что там за железо, какая ось? все ли китайские закладки установлены, хорошо ли припаяны? Ответить
                                  раскрыть ветку (10)
                                  • Океанический Гоблин
                                    Океанический Гоблин
                                    Так локально же работает. Ставьте файрвол или физически убивайте интернет и всё ОК. К тому же китайцы пока на 300 млрд. мою Родину не обкрадывали. Им больше доверия. Ответить
                                    раскрыть ветку (8)
                                    • Экологичный Священник
                                      Экологичный Священник
                                      так у меня уже есть 2 телефона без симкарт Ответить
                                      раскрыть ветку (4)
                                      • Океанический Гоблин
                                        Океанический Гоблин
                                        Судебные приставы через суд сим-карты изъяли? Сочувствую. Ответить
                                        раскрыть ветку (3)
                                        • Экологичный Священник
                                          Экологичный Священник
                                          просто кгб лицензию не продлила Ответить
                                          раскрыть ветку (2)
                                          • Океанический Гоблин
                                            Океанический Гоблин
                                            Comment media
                                            Прикольно. Скрипты, кажись, в бесконечный цикл ушли Ответить
                                            раскрыть ветку (1)
                                            • Экологичный Священник
                                              Экологичный Священник
                                              наверное кгб лицензию не продлила Ответить
                                    • Робкий Киллер
                                      Робкий Киллер
                                      А когда заорут: «лежать руки на пол», что будет с вашим телефоном / компом / хдиском? Ответить
                                      раскрыть ветку (2)
                                      • Океанический Гоблин
                                        Океанический Гоблин
                                        Я с кнопочной звонилкой хожу. Здесь с десктопа печатаю. Но если оценить трезво, то ничего крамольного не писал. Ответить
                                        раскрыть ветку (1)
                                        • Робкий Киллер
                                          Робкий Киллер
                                          Ну мы же обсуждаем как уберечь данные, например корпоративные, - от конкурентов, которые юзают лубянку в своих коммерческих целях Ответить
                                  • Робкий Киллер
                                    Робкий Киллер
                                    А вот это уже от Вас зависит. Смотря по нуждам в конструкторе соберете. Вы сами решаете как упаковать ось и полностью владеете информацией как что устроено и какие библиотеки / драйвера / компоненты установлены

                                    Опционально

                                    - сжигание начинки от вторжения
                                    - нано корпус не горит в огне
                                    - водонепроницаем
                                    - амортизация от ударов

                                    И так далее. Корпус открывается и активируется при открытии только во время работы. В мертвом (не спящем) режиме защищен физически и можно колоть орехи Ответить
      • Добрый Павлин
        Добрый Павлин
        Один скрипт не большой, раз в сутки проверять базу и обновлять карту. Ответить
  • Алый Повар
    Алый Повар
    Проблема в том, чтобы правильно ✅ найти и корректно обработать информацию все URL Ответить
  • Свистящий Мармелад
    Свистящий Мармелад
    Делал подобное на гошке. Порядка 1000 сайтов, 5м страниц с 4 серверов парсилось где-то час. И не по сайтмапу, а по поиску ссылок на страницах Ответить
    раскрыть ветку (5)
    • Голографический Пёс
      Голографический Пёс
      посчитал
      допустим 1000 сайтов доноров выдержат по 5000 запросов в час - 2 запроса в секунду
      а ваш сервер получается выполнял 1.25м запросов в час - это 347 запросов в секунду?
      там были только запросы или еще какая-то логика, записи в базу данных выполнялись?
      как-то жирно выходит Ответить
      раскрыть ветку (4)
      • Спокойный Уж
        Спокойный Уж
        это выглядит как ддос сайтов, за это можно привлечь. Ответить
        раскрыть ветку (1)
        • Экологичный Священник
          Экологичный Священник
          говоришь как агент обхсс Ответить
      • Свистящий Мармелад
        Свистящий Мармелад
        4 сервера, сам парсинг больше 500 потоков. И нагрузка то не на один сайт в 347 запросов. Логики никакой, получили контент отправили в кафку Ответить
      • Экологичный Священник
        Экологичный Священник
        347 в секунду жирно? Ответить