Всем привет! Меня зовут Алексей Николаев, я работаю дата-инженером в команде ETL-платформы MWS Data (ex DataOps). Часто сталкиваюсь с тем, что в сложной инфраструктуре и больших проектах простые, на первый взгляд, задачи по работе с данными очень сильно усложняются. В результате возникают…
MongoDB объявила о выпуске 10.0 версии коннектора MongoDB для Apache Spark. В этой версии используется новый API Spark Data Sources второй версии (V2) с поддержкой структурированной потоковой передачи данных Spark (Spark Structured Streaming). Зачем нужна новая версия? Текущая версия MongoDB Spark Connector была первоначально…
В этой статье я попытаюсь продемонстрировать, как дебажить задачу Spark, используя только Spark UI. Я запущу несколько задач Spark и покажу, как Spark UI отражает выполнение задачи. Также я поделюсь с вами несколькими советами и хитростями. Читать далее
Популярный портал WhoScored опубликовал символическую сборную худших игроков группового этапа ЕВРО-2016, в состав которой попали сразу пятеро россиян. Среди наших – и воспитанник уральского футбола Игорь Смольников. Средняя оценка игрока «Зенита» за три игры – 6,34 (по 10-бальной шкале). Компанию Игорю Смольникову составили Сергей Игнашевич, Александры Кокорин и Головин, а также Федор Смолов. На втором месте по количеству делегатов в сборную худших – Украина с двумя футболистами. По одному игроку предос