Дано• кластер k8s• много приложений, которые пишут свои логи в stdout/stderr, а контейнерный движок (в данном случае docker) складывает их в файлы• fluent-bit, запущенный на каждой ноде k8s. Он собирает логи, фильтрует их и отправляет в Loki• loki - хранилище логов от Grafana LabsВ чём заключается проблемаПри просмотре логов через Grafana (источник - Loki) видно, что логи приходят с сильной задержкой или часть логов вообще отсутствует. При просмотре через kubectl logs все логи на месте. Читать далее
Обычно процесс оптимизации типичного backend'а на php включает:• оптимизации SQL‑запросов в БД;• оптимизации работы с кэшем (повышение hitrate, увеличение объёма кэшируемых данных);• оптимизация внутренних процессов в backend (вынесение тяжёлых процессов в асинхронный режим,…
В этой статье, подготовленной по мотивам моего доклада в «Школе мониторинга» Slurm, хочу поделиться своим набором best practice «Как лучше всего настроить Grafana Loki для сбора логов в инфраструктуре». На мой взгляд, порог входа в систему достаточно низкий, и в Интернете много туториалов. Поэтому я расскажу о более сложных и не совсем очевидных вещах, с которыми не раз сталкивался при работе с Grafana Loki. Читать далее
Хочу показать как развернуть готовый и полностью работающий стек мониторинга Grafana + Loki + Prometheus + Pushgateway + Promtail за пару минут (в прямом смысле этого слова), без необходимости устанавливать на машину дополнительное ПО (плагины dockerm плагины логирования) и собирать логи со всех контейнеров машины (или сразу со всех нод, в случае с swarm). Читать далее