dbt является мощным фреймворком, который включает в себя два популярных языка: SQL + Python.При помощи dbt можно создавать разные "слои" данных или выделить dbt только под один слой, к примеру dm.При помощи понятного и всем известного SQL интерфейса можно создавать разные модели для вашего DWH или Data Lake. Читать далее
Привет! Меня зовут Артемий Козырь, и я Analytics Engineer в Wheely.Мы могли бы долго и нудно обсуждать, кто такой Analytics (Data / Backend) Engineer, какими инструментами он должен владеть, какие buzzwords в тренде и ценятся в CV, однако, на мой взгляд, гораздо интереснее рассмотреть процесс и результаты его деятельности в рамках конкретной прикладной задачи.В этой публикации: Читать далее
SQL – это нескучно. С современными инструментами возможности языка кратно возросли. Мультитул для моделирования данных dbt, современные колоночные аналитические СУБД позволяют буквально творить с данными чудеса.Меня зовут Артемий и я Analytics Engineer в компании Wheely. И сегодня я…
Всем привет! Меня зовут Антон и я руковожу Big Data платформой в Детском Мире. На Хабре проходит сезон Больший данных, и я решил что это отличная возможность поделиться нашим опытом внедрения Dbt (инструмент для оркестрации Sql витрины). На хабре уже статьи по инструменту, в моей статье, покажу как пришли от запуска ноутбука в Zeppelin к промышленному решению запуска большого количества витрин написанных на SparkSql в OnPrem Hadoop. Читать далее