Всем привет! Меня зовут Алексей Николаев, я работаю дата-инженером в команде ETL-платформы MWS Data (ex DataOps). Часто сталкиваюсь с тем, что в сложной инфраструктуре и больших проектах простые, на первый взгляд, задачи по работе с данными очень сильно усложняются. В результате возникают…
MongoDB объявила о выпуске 10.0 версии коннектора MongoDB для Apache Spark. В этой версии используется новый API Spark Data Sources второй версии (V2) с поддержкой структурированной потоковой передачи данных Spark (Spark Structured Streaming). Зачем нужна новая версия? Текущая версия MongoDB Spark Connector была первоначально…
Популярный портал WhoScored опубликовал символическую сборную худших игроков группового этапа ЕВРО-2016, в состав которой попали сразу пятеро россиян. Среди наших – и воспитанник уральского футбола Игорь Смольников. Средняя оценка игрока «Зенита» за три игры – 6,34 (по 10-бальной шкале). Компанию Игорю Смольникову составили Сергей Игнашевич, Александры Кокорин и Головин, а также Федор Смолов. На втором месте по количеству делегатов в сборную худших – Украина с двумя футболистами. По одному игроку предос
В этой статье я попытаюсь продемонстрировать, как дебажить задачу Spark, используя только Spark UI. Я запущу несколько задач Spark и покажу, как Spark UI отражает выполнение задачи. Также я поделюсь с вами несколькими советами и хитростями. Читать далее