Мы привыкли к классическому джентльменскому набору любого сайта: robots.txt экономит ресурсы сервера, запрещая поисковикам сканировать мусорные страницы, а sitemap.xml, наоборот, скармливает поисковикам каждую доступную страницу для полной индексации.Однако ситуация изменилась, когда
В начале мая в инструменте Lighthouse от Google появилась новая категория проверок «Агентный просмотр». Читать далее
Страшно, когда эксперты пишут, пережевывая то, что написали уже другие, да еще и бездумно с помощью нейросетей. А потом все дружно внедряют llms.txt, не разобравшись зачем он нужен и работает ли вообще. Читать полностью
llms.txt - это файл в корне сайта, который говорит языковым моделям, что у вас за сайт, какие источники канонические и что цитировать. ChatGPT, Perplexity и Claude уже его читают. Большинство сайтов в Рунете его не имеют, поэтому AI-краулеры цитируют их или плохо, или никак. Файл пишется за 30 минут,…