Всем привет! Меня зовут Михаил, я продуктовый аналитик в команде Foodtech мобильного приложения Магнит. В своей прошлой статье я рассказывал о применении алгоритмов PrefixSpan и Seq2Pat для анализа путей пользователей, и сегодня продолжу тему изучения передвижения пользователей внутри приложения. На этот раз речь пойдёт о методе, который позволяет оценить влияние каждого сегмента аудитории на изменение метрики всей пользовательской базы. Читать далее
DeepEval - фреймворк для оценки работы AI с открытым исходным кодом.Содержит в себе множество метрик и бенчмарков для оценки качества работы AI моделей, а также предоставляет инструменты для аналитики изменений качества работы в течение разных периодов времени.В предыдущей статье мы уже частично осветили имеющиеся у DeepEval метрики (метрики для оценки RAG).В этой статье постараемся объяснить, какой еще функционал предлагается DeepEval для работы с AI. Читать далее
Привет! В этой статье я хочу рассмотреть практический вопрос, связанный с расчётом MDE линеаризованной метрики. Я кратко напомню суть метода линеаризации, а затем покажу как связано изменение исходной ratio‑метрики с изменением её линеаризованного варианта в A/B‑тесте — это поможет правильно рассчитать размер выборки в экспериментах с ratio‑метриками c использованием линеаризации. Читать далее
Привет! Меня зовут Сергей Топунов, я фронт-разработчик в SM Lab. Недавно мы сделали редизайн одной из наших внутренних систем, о чем я и хочу вам сегодня рассказать. «Оценка вклада» — это внутренняя Backoffice-система, которая нужна для регулярной оценки сотрудников. Она…