Архитектура корпоративной платформы данных содержит множество потенциальных точек отказа: проблема может возникнуть при получении данных из источника, во время их обработки и загрузки, на уровне инфраструктуры или пользовательских запросов. Поэтому при эксплуатации DWH используют инструменты мониторинга и логирования.В первой части материала про мониторинг DWH разберем, что именно необходимо контролировать на каждом уровне хранилища и какие сигналы помогают своевременно обнаружить проблемы. Читать далее
В первой части материала мы разобрали, что необходимо контролировать в корпоративном хранилище данных - от инфраструктуры и ETL/ELT-процессов до Data Quality и выполнения запросов:Мониторинг и логирование DWH, часть 1: уровни контроля, метрики и типовые проблемыВо второй части перейдем к…
Собрали для вас подробный материал про DWH — корпоративное хранилище данных:— что это такое и как работает КХД - простыми словами — когда DWH действительно нужно и какие задачи решает — как устроена архитектура DWH (LSA, A16Z, подходы к проектированию) — как данные проходят путь от…
Логирование и мониторинг WG Всех приветствую! Послушал обзор курса Мониторинг высоконагруженных систем от OTUS в котором упоминалось, что используется асинхронный подход в мониторинге и решил реализовать его в установленном WG. Готового легковесного в интернете ранее не нашел, а…