Русский ИТ бизнес
Русский ИТ бизнес

Сделали файл https://botprotection.ru/llms.txt - типа помогает ИИ понять о чем сайт

Сделали файл https://botprotection.ru/llms.txt - типа помогает ИИ понять о чем сайт
Сделали файл https://botprotection.ru/llms.txt - типа помогает ИИ понять о чем сайт. Слушайте, из опыта - это вообще работает или полная шляпа? Кто делал, напишите.

Учитывая, что сделать такой файл заняло ровно 2 минуты с помощью Astra, вопрос не сложный, но не совсем понятно как это помогает в SEO/AEO :) Как по мне - ерудна.

tg / max

Комментарии (63)

  • Колючий Маг
    Колючий Маг
    В гугле нейросетях забанили спросить? 😄 Если без шуток не работает. Вернее бессмысленно. Нейросети уже отлично читают сами сайты и код. Это для них источник истины, чем подстава, которую ей подсовывают в этом файле. В качестве идеи было когда все начиналось, но все знают к чему привело когда-то мета-поле keywords. Теперь его нет. И этот файл ушел в небытие Ответить
    раскрыть ветку (15)
    • Худой Ягуар
      Худой Ягуар
      вы ошибаетесь на счет keywords, это поле работает и как раз очень хорошо в текущих реалиях Ответить
      раскрыть ветку (14)
      • Длинный Огнетушитель
        Длинный Огнетушитель
        Я что-то упустил? Про него лет 8 назад же все забыли и сами поисковики говорили, что оно нафиг не надо. Ответить
        раскрыть ветку (13)
        • Колючий Маг
          Колючий Маг
          Как эффект плацебо работает 😄 Ответить
          раскрыть ветку (12)
          • Длинный Огнетушитель
            Длинный Огнетушитель
            Ща даже сайтмап даже не очень важен, вроде как Ответить
            раскрыть ветку (11)
            • Колючий Маг
              Колючий Маг
              Ну в Яндекс.Вебмастер и Гугл.Консоль добавить как база. Все таки роботы знают по каким ссылкам идти, а не искать на сайте для первичного индекса. И официальная поддержка поисковиками признается Ответить
              раскрыть ветку (6)
              • Длинный Огнетушитель
                Длинный Огнетушитель
                Чуть-чуть почитал в интернете. Яндекс и Гугл не обращают на него внимания. Перестали обращать, так как это превратилось в спам. И это все было уже хз как давно) не исключаю, что за использование кейвордсов ещё понижение можно поймать) Ответить
                раскрыть ветку (2)
                • Колючий Маг
                  Колючий Маг
                  Так это про keywords ? не про сайтмэпы же? Ответить
                  раскрыть ветку (1)
                  • Длинный Огнетушитель
                    Длинный Огнетушитель
                    Конечно) про кейвордсы Ответить
              • Длинный Огнетушитель
                Длинный Огнетушитель
                Ну я бы тоже добавлял всегда, если есть возможность) Ответить
                раскрыть ветку (2)
                • Океанический Гоблин
                  Океанический Гоблин
                  Когда делаешь SEO для сторонней организации, то добавлять НАДО!

                  Под эти теги и файлы можно прописать затраченные человекочасы, которые нужно оплатить пои подготовке сайта к SEO Ответить
                  раскрыть ветку (1)
                  • Длинный Огнетушитель
                    Длинный Огнетушитель
                    Ну так да. Полезная вещь) Ответить
            • Топающий Скелет
              Топающий Скелет
              А как поисковик узнает, что ты на третьем уровне вложенности сделал новую страницу и на нее не ведёт никакая другая страница? По метрике только, но не факт.
              Сайтмап работает.
              Только его генерировать нужно с нормальной частотой и с корректными данными модификации. Ответить
              раскрыть ветку (3)
              • Длинный Огнетушитель
                Длинный Огнетушитель
                Сайтмап работает. Просто где-то читал, что мол уже необязательно. Я же написал, что сам бы добавил, конечно же) Ответить
                раскрыть ветку (2)
                • Топающий Скелет
                  Топающий Скелет
                  На статейник или магазин - нужен. Для лендоса с тремя страницами, как у Макса, наверное - лишнее. Ответить
                  раскрыть ветку (1)
                  • Длинный Огнетушитель
                    Длинный Огнетушитель
                    Ну там его и руками можно написать) Ответить
  • Худой Ягуар
    Худой Ягуар
    Помогает и не ерунда, но только в комплексе с другими мероприятиями. Нужно знать, что нужно делать в целом. Ответить
    раскрыть ветку (2)
    • Колючий Маг
      Колючий Маг
      Когда этот файл появился, там один спам был от SEOшников. Когда-то было поле keywords, которое также заспамили и теперь его не используют. А этот файл все спамом засыпали легко, поэтому так и не прижился Ответить
      раскрыть ветку (1)
      • Худой Ягуар
        Худой Ягуар
        и вот как раз все LLM-ки очень хорошо научились отличать спам от не спама Ответить
  • Пряный Единорог
    Пряный Единорог
    А почему бы не написать как комментарии в robots.txt? Любой бот читает robots.txt 100%. Ответить
  • Президентский Сок
    Президентский Сок
    На выход нужно структуру ответа получать, чтобы конечная точка могла эти данные обрабатывать Ответить
  • Танцующий Единорог
    Танцующий Единорог
    Далеко не все боты его принимают во внимание. Хуже не будет, но и особого прорыва тоже не имеет смысла ожидать. Ответить
  • Лохматый Осьминог
    Лохматый Осьминог
    Говорят, бестолковый файл Ответить
  • Топающий Скелет
    Топающий Скелет
    Работает. Сео-анализаторы-пузомерки - галку ставят, что есть lims.txt
    Для души приятно. Ответить
    раскрыть ветку (2)
    • Океанический Гоблин
      Океанический Гоблин
      LLMS.txt
      Вы похоже не тот файл добавили Ответить
      раскрыть ветку (1)
      • Топающий Скелет
        Топающий Скелет
        Это моя клавиатура ещё не знает таких слов. Ответить
  • Топающий Скелет
    Топающий Скелет
    Сразу видно, что lims делался нейронкой по промту - сделай lims для сайта ... Ответить
  • Робкий Киллер
    Робкий Киллер
    LLM TXT работает! И вот как

    Пишется в файл оглавления разделы и краткие описания

    Путь к файлу указывается рядом с картой сайта в robots txt

    Потом когда спрашиваешь нейронку по тематике сайта она не парсить как дура все подряд сжигая токены, а юзает этот файл как MCP сервер точечно и бережно обходя только целевые странички

    В отличии от карты сайта, файлик можно спроектировать определенным образом и снабдить краткими инструкциями Ответить
    раскрыть ветку (1)
    • Топающий Скелет
      Топающий Скелет
      Х.з.
      Никто не знает, работает или нет.
      Но лучше сделать. Ответить
  • Робкий Киллер
    Робкий Киллер
    Comment media
    Добавьте ссылку в роботс

    Хотел показать как бот зайдет и сколько истратит токенов Ответить
    раскрыть ветку (28)
    • Робкий Киллер
      Робкий Киллер
      Comment media
      Хостер режет иностранные запросы. Надо что-то с geodns мутить Ответить
      раскрыть ветку (27)
      • Робкий Киллер
        Робкий Киллер
        Comment media
        Вот наглядно как сработал llm txt

        Я специально задал мутный путанный вопрос, но он в итоге разобрался и ответил в контексте сайта

        Зайди на сайт https://botprotection.ru/llms.txt и объясни как работает защита для метрики? Также сразу посчитай примерно сколько потратил токенов и как быстро нашел информацию

        1) файл llm txt добавить в роботс
        2) файл LLM нужен и он сильнее чем карта сайта
        3) надо что то решать с “политиканами” из-за которых сайты становятся не посещаемыми

        Как Песков собрался «смыслы доносить?» Ответить
        раскрыть ветку (26)
        • Робкий Киллер
          Робкий Киллер
          Comment media
          Вот наглядно как он ходил по сайту и сколько истратил токенов

          Мы видим что его путь был однозначный только по делу

          Теперь представьте у сайта нету llm txt как бот будет искать ответ на непонятный вопрос?

          1) парсить сайт пока не забьется контекст
          2) искать в интернете то что проиндексировано Ответить
          раскрыть ветку (25)
          • Робкий Киллер
            Робкий Киллер
            Comment media
            Что за за защита в метрике с чем связан мой путанный вопрос? А вот с чем

            Но бот разобрался и не стал убивать сайт полным парсингом, а бережно прошелся по целевым разделам Ответить
            раскрыть ветку (1)
            • Робкий Киллер
              Робкий Киллер
              Вывод? Кто не поставил lllm txt тот дурак и дважды дурак если не добавил ссылку на файл в robots txt Ответить
          • Полуночный Архитектор
            Полуночный Архитектор
            а если там нет ответа на вопрос? он также будет шариться по всему сайту. Или задача так и поставлена - прошарить везде Ответить
            раскрыть ветку (22)
            • Робкий Киллер
              Робкий Киллер
              Он же не знаток, а гадатель. По остальным разделам догадается о чем сайт и сопоставит потом пройдет в ближайшие по смыслу разделы Ответить
              раскрыть ветку (21)
              • Полуночный Архитектор
                Полуночный Архитектор
                цель -СПАРСИТЬ Ответить
                раскрыть ветку (17)
                • Робкий Киллер
                  Робкий Киллер
                  Comment media
                  Вот как он сам объяснил Ответить
                  раскрыть ветку (16)
                  • Полуночный Архитектор
                    Полуночный Архитектор
                    вот он и объяснил, что ты поставил задачу смотреть только этот файл, а не "найди на сайте" Ответить
                    раскрыть ветку (15)
                    • Робкий Киллер
                      Робкий Киллер
                      Comment media
                      Нет. Объяснил что есть в файле llm txt

                      А запрос звучал так

                      Зайди на сайт https://botprotection.ru/llms.txt и объясни как работает защита для метрики? Также сразу посчитай примерно сколько потратил токенов и как быстро нашел информацию
                      Ответить
                      раскрыть ветку (14)
                      • Полуночный Архитектор
                        Полуночный Архитектор
                        ты дал ссылку не на сайт, а на конкретный файл. Не тормози Ответить
                        раскрыть ветку (13)
                        • Робкий Киллер
                          Робкий Киллер
                          Comment media
                          Потому что Макс ещё не добавил ссылку на файл в роботс

                          Если бы добавил я бы просто обратился к сайту может даже по одному имени

                          Это и подтверждает что нужно добавить на роботс Ответить
                          раскрыть ветку (12)
                          • Полуночный Архитектор
                            Полуночный Архитектор
                            смех Ответить
                            раскрыть ветку (10)
                            • Робкий Киллер
                              Робкий Киллер
                              Дай любой сайт где добавлено в роботс и я покажу как это работает Ответить
                              раскрыть ветку (9)
                              • Робкий Киллер
                                Робкий Киллер
                                Comment media
                                Даже Версель зачем-то добавил? Если это не работает. То зачем интересно? Ответить
                                раскрыть ветку (2)
                                • Робкий Киллер
                                  Робкий Киллер
                                  Comment media
                                  Вот ещё для убедительности зачем нужен файл llms txt и почему специальные агенты круче поисковых

                                  Один и тот же вопрос

                                  что значит Isolated compute в vercel и обьясни как искал ответ Ответить
                                  раскрыть ветку (1)
                                  • Робкий Киллер
                                    Робкий Киллер
                                    Comment media
                                    Ответ Грока и алгоритм поиска ответа

                                    На тот же вопрос Ответить
                              • Полуночный Архитектор
                                Полуночный Архитектор
                                ты не догоняешь как это работает? как к роботс.тхт обращаются, так и туда должны по дефолту, как читать agents.md, ты же не просишь, ты просто создаешь файл, а его читают Ответить
                                раскрыть ветку (5)
                                • Робкий Киллер
                                  Робкий Киллер
                                  Все. Выяснил у Грокбота что именно ему не нужен robots он вначале идет в llm и llms txt Ответить
                                  раскрыть ветку (4)
                                  • Полуночный Архитектор
                                    Полуночный Архитектор
                                    и вот ты с такими познаниями пишешь мегасуперчерныйящик, который поставит всех раком... эмммммммм.... Ответить
                                    раскрыть ветку (3)
                                    • Робкий Киллер
                                      Робкий Киллер
                                      Доверяй да проверяй говорили в ссср у вас такому походу не учили уже Ответить
                                      раскрыть ветку (2)
                                      • Полуночный Архитектор
                                        Полуночный Архитектор
                                        вот ты ж и не проверяешь, а полагаешься на ответы ИИ Ответить
                                        раскрыть ветку (1)
                                        • Робкий Киллер
                                          Робкий Киллер
                                          А на что мне полагаться на то что карты сайты довлеет? Ответить
                          • Робкий Киллер
                            Робкий Киллер
                            Comment media
                            Оказывается не обязательно в Robots!!

                            Это для машины итак канонические пути, куда она идет в первую очередь чтобы беречь ресурсы сайта

                            Канонические «для машин» входы — сначала llms.txt / llms-full.txt на домене docs (и зеркала вроде vercel .com, docs .vercel .com), если они есть. Это как раз канал для свежего, минуя индекс. Если в robots.txt ссылки нет — всё равно пробую известные пути
                            Ответить
              • Королевский Лев
                Королевский Лев
                Алекс а ты еще выкатил свой проект срмок на go или что то такое у тебя было Ответить
                раскрыть ветку (2)
                • Робкий Киллер
                  Робкий Киллер
                  Comment media
                  Выкатил до уровня «работает не трожь», но это не то, что можно раздавать другим

                  Поэтому свою рабочую версию разбиваю на кубики и пазлы и прикручиваю в конвейер сборки и тогда уже сам конвейер будет собирать стартовые наборы

                  Сейчас стадия погружения в новую технологию Jev чтобы её задействовать для верификации схем конвейера

                  Так что уже скоро. Можно будет получить стартовые наборы: сайты, магазины, cms, crm, ops hosting, ide, game и дальше развивать под себя с помощью harness

                  https://lexproto.vercel.app

                  Вот, сегодня завершил черновик для конструктора вертикальных SADT слайсов. Завтра добавлю документацию и как вызывать. Потом прикручу к конвейеру и начнем

                  Самому не терпится Ответить
                  раскрыть ветку (1)
                  • Королевский Лев
                    Королевский Лев
                    ого, прикольная история Jev, впервые слышу если честно, но уже впечатляет скорость (судя из статьи на хабре) Ответить
  • Колючий Маг
    Колючий Маг
    А обновлять как? Он же обновляться постоянно должен вместе с содержанием сайта Ответить
    раскрыть ветку (2)
    • Полуночный Архитектор
      Полуночный Архитектор
      как и сайтмап Ответить
    • Автор канала
      Автор канала
      просить периодически ИИ обновить Ответить
  • Голографический Пёс
    Голографический Пёс
    У меня на сайте нет файла llms.txt, но к нему иногда делают запросы. За последние 30 дней к сайту от серверов openAI было сделано 533 запроса. Все запросы на обычные пользовательские страницы. Ни одного запроса к llms.txt. За это же время к файлу llms.txt было сделано 6 запросов от seo-сканнеров. Похоже на чепуху Ответить
  • Роботизированный Вепрь
    Роботизированный Вепрь
    Ждём прозрение про MPC апишки.

    Максим, когда на сайт добавите? Ответить