Привет, Хабр! Сегодня я бы хотел рассказать об ETL. ETL-процессы — это серия действий, которые нужны для извлечения данных из нескольких источников, их преобразования и загрузки в целевую базу данных. ETL — это акроним от терминов Extract, Transform, Load. Сначала происходит извлечение…
В конце зимы и начале весны, появилась возможность поработать с новым для меня инструментом потоковой доставки данных Apache NiFi. При изучении инструмента, все время не покидало ощущение, что помимо официальной документации, нелишним были бы материалы "for dummies", с практическими примерами. После выполнении задачи, решил попробовать облегчить вхождение в мир NiFi. Читать дальше →
Продолжаю цикл статей по разработке ETL-процессов на Python. На этот раз мы преобразуем синхронный etl-процесс из статьи Пишем ETL-процесс на Python в асинхронный. Читать
ETL и 1С. Извлечение данных Первый взгляд Если вы, как ETL-специалист столкнулись с необходимостью получать данные из 1С, то это первое, что вы можете увидеть, попытавшись разобраться со структурой БД (это из случае MSSQL, для других СУБД картинка аналогичная): Бизнес-смысл в…