При масштабном веб-парсинге прокси - это не просто "много дополнительных IP адресов": это ключевой компонент, позволяющий обходить защиты сайтов и распределять нагрузку. Без продуманной системы прокси, вы будете тратить все время на реанимацию или замену заблокированных IP адресов. Проблемы могут возникать не только из-за количества запросов, но и из-за их распределения и автоматизации: при переходе к большим объемам критичен переход от "одного рабочего скрипта" к распределенной архитектуре. Читать далее
Большинство руководств по MTProto прокси написаны под Linux. Но что если ваш сервер на Windows? В статье разберём полный цикл настройки приватного MTProto прокси с Fake TLS на Windows Server + Docker: выбор образа, подводные камни (BOM в конфиге, порт 443 и HTTP.sys, флаги которых нет в v2), изоляция на отдельном IP и PowerShell-скрипт для пересоздания прокси с новым секретом одной командой. Все грабли — собраны на практике. Читать далее
Многие читатели, и я в их числе тоже, никогда раньше не задавался вопросом, какой прокси я использую и что это за странные абревиатуры TCP, UDP и так далее? Мы просто брали прокси не вникая в тонкости и использовали, если что то не работало, просто писали в поддержку и просто меняли. Но я уже разобрался с TCP, с прокси разных видов и вот время дошло до UDP. Давайте разбираться что это за зверь и как его приручить! Читать далее
Изображение: Unsplash Маскирование IP-адреса с помощью прокси нужно не только для того, чтобы обходить цензуру в интернете и смотреть сериалы. В последние годы прокси все чаще используют для решения корпоративных задач от тестирования приложений под нагрузкой, до конкурентной разведки. На Хабре есть неплохой обзор различных вариантов использования прокси в сфере бизнеса. Сегодня мы поговорим о том, на что обращать внимание при выборе прокси-сети для решения таких корпоративных задач. Читать дальше →