Вы когда-нибудь радовались идеальному прототипу парсера, который у вас летал на демо-странице, а в проде внезапно начал ловить 403, 429, пустые HTML и «куда-то делись карточки»? Контент отрисовывается на JS, сервер требует токен, после смены IP, старая сессия перестаёт работать.В этой статье я подробно разберу, как собирать данные устойчиво и предсказуемо, без излишней магии и с упором на реальную эксплуатацию. Читать далее
Парсинг сайтов открывает перед вами целый ряд возможностей по сбору необходимой информации с других сайтов. Если вам необходимы данные о ценах у конкурентных магазинов, то парсинг это то, что вам нужно. Можно заказать парсинг автомобильных сайтов, так как продажа автомобилей
При веб парсинге сайтов рано или поздно приходится сталкиваться с механизмами защиты от ботов. Сайты могут блокировать массовые запросы по IP-адресу, выдавать сложные капчи или применять другие антибот меры. Я хочу рассмотреть как реализовать на Python парсинг сайта с обходом таких защит: Читать далее
Многие читатели, и я в их числе тоже, никогда раньше не задавался вопросом, какой прокси я использую и что это за странные абревиатуры TCP, UDP и так далее? Мы просто брали прокси не вникая в тонкости и использовали, если что то не работало, просто писали в поддержку и просто меняли. Но я уже разобрался с TCP, с прокси разных видов и вот время дошло до UDP. Давайте разбираться что это за зверь и как его приручить! Читать далее