Меня зовут Арсений Савин, и я знаю, как бороться с вредоносными ботами. Почти два года я занимаюсь разработкой веб-скраперов в компании Effective, и хорошо изучил, как они работают — и как их остановить.За время реализации этого проекта я столкнулся с огромным количеством…
Некоторые владельцы сайтов жалуются на большое количество ботов, которые создают нагрузку на серверы, особенно краулеры для LLM (ИИ). По информации аналитического отчёта Fastly, краулеры, скраперы и фетчеры иногда создают нагрузку на сайт до 39 тыс. запросов в минуту.В 2025 году нагрузка от скраперов выросла на 87%, причём основной трафик идёт от RAG-скраперов, а не для первичного обучения моделей. Читать далее
Иногда возникает необходимость получить данные c веб-страниц и сохранить их в структурированном виде. Инструменты веб-скрапинга (web scraping) разрабатываются для извлечения данных с веб-сайтов. Эти инструменты бывают полезны тем, кто пытается получить данные из Интернета.…
Обычно для создания Телеграм-бота нужно знать какой-нибудь язык программирования и арендовать виртуальный веб-сервер. Теперь api2app позволяет создавать в графическом режиме не только веб-приложения, мини-приложения для ВК, но и чат-ботов для Телеграм. Если у вас есть готовое API, то для создания бота Вы можете обойтись без программирования, а бекенд-программисты могут сэкономить время.В этом уроке расскажу как быстро создать простого Телеграм-бота. Читать далее