При парсинге данных есть одна ключевая проблема — защитные механизмы, которые препятствуют массовому сбору. Это могут быть как вполне себе тривиальные лимиты по частоте запросов, так и сложных системы поведенческого анализа (Cloudflare, Akamai, DataDome). В топе самых частых ошибок, приводящих к срабатыванию защитных механизмов — использование личных IP-адресов или IP-адресов сервера, на котором запускается парсер. Читать далее
Уверен, что любой, кто сталкивался с парсингом (его еще называют скраппинг) попадал в такую ситуацию что парсер отваливается с ошибкой или не собирает нужные данные. И не всегда можно однозначно определить в чем проблема.Проблема в большинстве случаев — защитные механизмы,…
Многие читатели, и я в их числе тоже, никогда раньше не задавался вопросом, какой прокси я использую и что это за странные абревиатуры TCP, UDP и так далее? Мы просто брали прокси не вникая в тонкости и использовали, если что то не работало, просто писали в поддержку и просто меняли. Но я уже разобрался с TCP, с прокси разных видов и вот время дошло до UDP. Давайте разбираться что это за зверь и как его приручить! Читать далее
Изображение: Unsplash Маскирование IP-адреса с помощью прокси нужно не только для того, чтобы обходить цензуру в интернете и смотреть сериалы. В последние годы прокси все чаще используют для решения корпоративных задач от тестирования приложений под нагрузкой, до конкурентной разведки. На Хабре есть неплохой обзор различных вариантов использования прокси в сфере бизнеса. Сегодня мы поговорим о том, на что обращать внимание при выборе прокси-сети для решения таких корпоративных задач. Читать дальше →