В ходе этой статьи мы развернём следующий стек инструментов наблюдаемости Grafana: Loki (логи); Promtail (агент логов); Tempo (трассирровка); Prometheus (метрики); Cortex и Grafana Mimir (долгосрочное хранилище для данных Prometheus); Alertmanager (обработка оповещений Prometheus); Grafana (визуализация). Приступим! Читать дальше →
Вы видите красивые графики в Grafana, алерты настроены, метрики собираются — значит, все под контролем? На самом деле, нет. Когда в продакшене что-то пойдет не так, Prometheus покажет скачок latency, но не объяснит, почему это произошло. Логи могут не содержать нужных данных. Трейсов нет. Итог
Вам сказали развернуть систему мониторинга, вы выбрали связку Prometheus + Grafana. Развернули Grafana на своих серверах (VM/Docker/Kubernetes) и подключили Data Source Prometheus (а возможно вам еще сказали развернуть логирование и вы используете Grafana Loki) и далее по гайдам из ютуба начали создавать свои…
У вас есть Grafana. Она показывает графики с Prometheus. Prometheus скрейпит метрики с ваших сервисов. Если сервис упал — вы видите красный на дашборде. Если Prometheus упал — вы не видите ничего. Дашборд замирает на последних известных значениях. Если не знать, что Prometheus лежит, можно час смотреть на «зелёный» дашборд, который на самом деле показывает данные часовой давности.Это не гипотетика. Я видел это дважды. Читать далее