Александр Ледовский, тимлид команды аналитики и DS в Авито, рассказал про опыт работы с Apache Spark и о том, как правильно задавать параметры Spark-сессии, чтобы получить ресурсы. Читать далее
Тимлид команды аналитики и DS в Авито Александр Ледовский рассказал, как быть, когда нужно посчитать что-то на pySpark, чтобы потом выгрузить. Читать далее
Мы на Хабр Карьере помогаем IT-специалистам зарабатывать больше, а компаниям — быть в курсе трендов на рынке найма. Большинство людей боятся просить прибавку к зарплате. Зачастую они думают, что недостойны этого или что им откажут. Нередко такие страхи беспочвенны. При этом руководители не всегда стремятся повышать выплаты сами — об этом приходится просить. Читать далее
Продолжаем выводить ваши знания о PySpark на новый уровень :) В этот раз расскажем, что такое план запроса, как его смотреть, и что делать, чтобы уточнить узкие места в расчётах. Читать далее