Dagster — это оркестратор, предназначенный для организации конвейеров обработки данных: ETL, проведение тестов, формирование отчетов, обучение ML-моделей и т.д.На паре несложных примеров посмотрим как его развернуть, настроить и работать с ним. Читать далее
Мы запустили Dagster, потому что в мире данных наблюдается кризис инструментов и инженерии. Существует драматическое несоответствие между сложностью и критичностью данных и инструментами и процессами, которые существуют для их поддержки. Читать далее
Рассказываем, какие задачи решают оркестраторы в проектах внедрения корпоративных хранилищ данных. Выясняем, в чем разница между инструментами, и почему Dagster становится все популярнее в DWH-проектах, чем Airflow. Читать далее
В этом посте мы изучим тему фальшивых звёзд GitHub, поделимся своей методикой их выявления и покажем, как самостоятельно провести такой анализ любых репозиториев. Если вам неинтересна история, то можете сразу перейти к коду в конце статьи. А если вам понравилась статья, перейдите в репозиторий Dagster и поставьте нам реальную звезду GitHub! Читать дальше →