При масштабном веб-парсинге прокси - это не просто "много дополнительных IP адресов": это ключевой компонент, позволяющий обходить защиты сайтов и распределять нагрузку. Без продуманной системы прокси, вы будете тратить все время на реанимацию или замену заблокированных IP адресов. Проблемы могут возникать не только из-за количества запросов, но и из-за их распределения и автоматизации: при переходе к большим объемам критичен переход от "одного рабочего скрипта" к распределенной архитектуре. Читать далее
Периодически ко мне обращаются люди с вопросами вроде: «Я нашел инвестора на строительство полупроводникового завода, подскажите, с чего начать, какие подводные камни?» или «Я хочу начать производить сенсоры для видеокамер с нуля», ну и опять про подводные камни. Ну, давайте посмотрим, с чего начать и какие подводные камни. Посмотреть на подводные камни
Большинство руководств по MTProto прокси написаны под Linux. Но что если ваш сервер на Windows? В статье разберём полный цикл настройки приватного MTProto прокси с Fake TLS на Windows Server + Docker: выбор образа, подводные камни (BOM в конфиге, порт 443 и HTTP.sys, флаги которых нет в v2), изоляция на отдельном IP и PowerShell-скрипт для пересоздания прокси с новым секретом одной командой. Все грабли — собраны на практике. Читать далее
Многие читатели, и я в их числе тоже, никогда раньше не задавался вопросом, какой прокси я использую и что это за странные абревиатуры TCP, UDP и так далее? Мы просто брали прокси не вникая в тонкости и использовали, если что то не работало, просто писали в поддержку и просто меняли. Но я уже разобрался с TCP, с прокси разных видов и вот время дошло до UDP. Давайте разбираться что это за зверь и как его приручить! Читать далее