Типичный диалог на планировании:Лид: — Пользователи просят репликацию вот этих колонок в этих таблицах из продакшен базы в data lake.Разработчик: — Когда?Лид: — Вчера.Запрос в таску, таску в спринт, а дальше вручную исследование входных данных, подготовка маппинга и…
Привет, Хабр! Сегодня я бы хотел рассказать об ETL. ETL-процессы — это серия действий, которые нужны для извлечения данных из нескольких источников, их преобразования и загрузки в целевую базу данных. ETL — это акроним от терминов Extract, Transform, Load. Сначала происходит извлечение…
Продолжаю цикл статей по разработке ETL-процессов на Python. На этот раз мы преобразуем синхронный etl-процесс из статьи Пишем ETL-процесс на Python в асинхронный. Читать
ETL (извлечение, преобразование, загрузка) — процесс сбора данных из разрозненных источников, их подготовки и загрузки в единое хранилище для последующего анализа. Он помогает компаниям работать с большими потоками информации, которые ежедневно генерируются в бизнес-среде.В статье разберём, как ETL-системы преобразуют разрозненные сырые данные в структурированную основу для прибыльной аналитики и почему крупному бизнесу тяжело без них обойтись. Читать далее