Типичный диалог на планировании:Лид: — Пользователи просят репликацию вот этих колонок в этих таблицах из продакшен базы в data lake.Разработчик: — Когда?Лид: — Вчера.Запрос в таску, таску в спринт, а дальше вручную исследование входных данных, подготовка маппинга и…
Привет, Хабр! Сегодня я бы хотел рассказать об ETL. ETL-процессы — это серия действий, которые нужны для извлечения данных из нескольких источников, их преобразования и загрузки в целевую базу данных. ETL — это акроним от терминов Extract, Transform, Load. Сначала происходит извлечение…
Продолжаю цикл статей по разработке ETL-процессов на Python. На этот раз мы преобразуем синхронный etl-процесс из статьи Пишем ETL-процесс на Python в асинхронный. Читать
ETL и 1С. Извлечение данных Первый взгляд Если вы, как ETL-специалист столкнулись с необходимостью получать данные из 1С, то это первое, что вы можете увидеть, попытавшись разобраться со структурой БД (это из случае MSSQL, для других СУБД картинка аналогичная): Бизнес-смысл в…