При масштабном веб-парсинге прокси - это не просто "много дополнительных IP адресов": это ключевой компонент, позволяющий обходить защиты сайтов и распределять нагрузку. Без продуманной системы прокси, вы будете тратить все время на реанимацию или замену заблокированных IP адресов. Проблемы могут возникать не только из-за количества запросов, но и из-за их распределения и автоматизации: при переходе к большим объемам критичен переход от "одного рабочего скрипта" к распределенной архитектуре. Читать далее
Большинство руководств по MTProto прокси написаны под Linux. Но что если ваш сервер на Windows? В статье разберём полный цикл настройки приватного MTProto прокси с Fake TLS на Windows Server + Docker: выбор образа, подводные камни (BOM в конфиге, порт 443 и HTTP.sys, флаги которых нет в v2), изоляция на отдельном IP и PowerShell-скрипт для пересоздания прокси с новым секретом одной командой. Все грабли — собраны на практике. Читать далее
Многие читатели, и я в их числе тоже, никогда раньше не задавался вопросом, какой прокси я использую и что это за странные абревиатуры TCP, UDP и так далее? Мы просто брали прокси не вникая в тонкости и использовали, если что то не работало, просто писали в поддержку и просто меняли. Но я уже разобрался с TCP, с прокси разных видов и вот время дошло до UDP. Давайте разбираться что это за зверь и как его приручить! Читать далее
Сегодня я расскажу, как из-за случайной встречи с ANTLR я создал RCParsing, библиотеку на C# для парсинга практически любого вида синтаксиса, поддерживающую парсинг отступов из коробки. Мы разберемся, как работают разные алгоритмы парсинга и чем отличается тот, что используется у меня. Также я закину пример кода для парсинга упрощенного YAML с использованием моей библиотеки. Читать далее