Для улучшения работы инженера по обеспечению качества (QA) с помощью метрик и карты пути клиента (Customer Journey Map), важно понимать, как эти инструменты могут быть использованы для повышения качества продукта и минимизации ошибок на разных этапах разработки. Читать далее
Для улучшения работы инженера по обеспечению качества (QA) с помощью метрик и карты пути клиента (Customer Journey Map), важно понимать, как эти инструменты могут быть использованы для повышения качества продукта и минимизации ошибок на разных этапах разработки. Читать далее
Привет, Хабр! В задачах машинного обучения для оценки качества моделей и сравнения различных алгоритмов используются метрики, а их выбор и анализ — непременная часть работы датасатаниста. В этой статье мы рассмотрим некоторые критерии качества в задачах классификации, обсудим, что является важным при выборе метрики и что может пойти не так. Читать дальше →
DeepEval - фреймворк для оценки работы AI с открытым исходным кодом.Содержит в себе множество метрик и бенчмарков для оценки качества работы AI моделей, а также предоставляет инструменты для аналитики изменений качества работы в течение разных периодов времени.В предыдущей статье мы уже частично осветили имеющиеся у DeepEval метрики (метрики для оценки RAG).В этой статье постараемся объяснить, какой еще функционал предлагается DeepEval для работы с AI. Читать далее