Сегодня я хочу рассказать о метриках. Но не о тех, которые обычно обсуждают, к примеру, на конференциях, где каждый рассказывает о своём продукте. Я буду говорить о командных метриках и о нашей команде Sber Data Exchange.Но сначала пару слов всё‑таки…
Как получить от мониторинга уверенность, что ИТ-инфраструктура работает как надо? В этой статье разберемся, как устроена работа с метриками в Monq: от их сбора и автоматической привязки к контекстным элементам до создания кастомных метрик и контроля качества покрытия. Поговорим о том, как быть уверенным, что система действительно “зеленая” — а не делает вид ,что у вас все в порядке. А в конце статьи вас ждет видео с конкретным примером работы с метриками от А до Я. Читать далее
Миллионы разработчиков пишут запросы PromQL и создают пользовательские дашборды Grafana для Kubernetes. И все используют одинаковые метрики из node-exporter, kubelet и kube-state-metrics. К сожалению, не все знают, как при работе с метриками обойти некоторые подводные камни.Команда VK Cloud перевела статью, в которой автор разбирает ошибки в одном простом с виду запросе Prometheus для Kubernetes. Он должен возвращать сведения об использовании памяти пода: Читать далее
В прошлой статье мы погрузились в оценку самых популярных AI продуктов.По итогам ручного тестирования и попытки автоматизации по выбранным критериям был сделан вполне себе ожидаемый вывод о невозможности применения одних и тех же метрик к оценке задач разного рода.Поэтому было принято решение ознакомиться с основными метриками для оценки качества ответов AI продуктов.Такими метриками стали: Precision, Recall, Specificity и Confusion matrix, а также MAP и MRR.Для чего такие метрики нужны? Читать далее