DDoS-атаки становятся масштабнее и опаснее. О «самом-самом» расскажем 13 февраля, а сегодня поговорим о новом явлении. В последнее время некоторые боты-сборщики данных для обучения LLM, «используют содержимое веб-сайтов, но делают это без уважения». Рассказываем о проектах, пострадавших от излишнего внимания ИИ-краулеров, и о том, как изменились сайты с их появлением. А также приведем пару примеров «партизанской» защиты от ботов, которым robots.txt — не указ. Читать далее
Некоторые владельцы сайтов жалуются на большое количество ботов, которые создают нагрузку на серверы, особенно краулеры для LLM (ИИ). По информации аналитического отчёта Fastly, краулеры, скраперы и фетчеры иногда создают нагрузку на сайт до 39 тыс. запросов в минуту.В 2025 году нагрузка от скраперов выросла на 87%, причём основной трафик идёт от RAG-скраперов, а не для первичного обучения моделей. Читать далее
ChatGPT не "ранжирует сайты" — он извлекает фрагменты из retrieval-слоя (преимущественно индекс Bing + собственные краулеры), оценивает их на пригодность к извлечению и синтезирует ответ со сносками. Чтобы попасть в этот ответ, нужно три вещи: чтобы краулеры OpenAI физически могли прочитать…
В сентябре этого года на сайт KrebsOnSecurity.com была произведена DDOS-атака большого объема и необычной природы. Атака не удалась благодаря работе команды Akamai, компании, которая обеспечивает защиту этого сайта. По данным Akamai, эта атака почти вдвое превосходила по объему самую крупную…