Примета времени – бизнес быстро обрастает огромным количеством данных. Если есть big data, то нужна команда, которая с ними разберется. Я Ольга, рекрутер в Clevertec. Наши специалисты развивают корпоративные хранилища данных. На своем опыте расскажу, как мы их находим. Читать далее
Алгоритмы для работы с большими даннымиВсем привет! Для начала давайте разберем что такое вообще Алгоритмы для работы с большими данными, основная суть алгоритмов для работы с большими данными — это эффективная обработка огромных объёмов информации при минимальных вычислительных ресурсах (памяти, CPU, диске). Их суть — жертвовать точностью ради скорости и масштабируемости. Читать далее
Привет, Хабр! Сегодня рассказываем, чем отличаются подходы к построению распределённых хранилищ данных Data Warehouse (DWH) и Data Lake и в чём специфика задач специалистов, работающих с данными.В статье сначала опишем паттерны построения распределённых хранилищ, чтобы понимать, через какие процессы проходят данные. А после поговорим о задачах специалистов по работе с данными и необходимых для каждой позиции навыках.P. S. На картинке спрятаны 6 инструментов для работы с данными. Узнали их? Читать далее
"Анализ данных" часто организован так: вот у нас разработчики хранилища, а вот у нас аналитики. В DWH (data warehouse, хранилище) умеют SQL, а аналитики у нас умеют работать c экселем. Если нам нужно что-то проанализировать, то идете к аналитикам, а они идут за данными к DWH за данными. Вроде бы…