Процесс парсинга усложняется существенными затратами времени на обработку данных. Многопоточность поможет в разы увеличить скорость обработки данных. Сайт для парсинга — «Справочник купюр мира», где получим валюту в соотношении к иным. Читать дальше →
Сравним коллекции Java по следующим параметрам:На чем основана — какая структура данных или коллекция используется под капотом.Дубли — разрешены или нет в коллекции повторяющиеся значения.Null — позволяет ли коллекция вставлять null.Синхронизированность — все ли методы коллекции синхронизированы.Потокобезопасность — безопасно ли использовать коллекцию в многопоточной среде.Тип итератора — поведение итератора в многопоточной среде. Читать далее
Статья о парсинге веб-сайтов освещает следующие аспекты:• Понятия парсинга и скрапинга; • Законность и этика парсинга; • Парсинг с использованием requests и BeautifulSoup; • Статические страницы; • Динамические страницы; • Работа с API; • Защита от парсеров; • Способы обхода. Читать далее
В этой статье я постараюсь наиболее просто рассказать о парсинге сайтов и его основных нюансах. Моя компания занимается парсингом сайтов уже более трёх лет и ежедневно мы парсим около 300 сайтов. Я обычно открыто пишу об этом в соц.сетях (плюс мы много чего из итогов парсинга…