Привет, Хабр! В прошлой статье я указал, что в A/B-тестах используются три основных типа метрик, а именно пользовательские конверсии, средние метрики пользователей и ratio-метрики. К последним обычно относят средний чек, CTR баннера, среднюю длину сессии и др. Такие метрики имеют…
Привет! В этой статье я хочу рассмотреть практический вопрос, связанный с расчётом MDE линеаризованной метрики. Я кратко напомню суть метода линеаризации, а затем покажу как связано изменение исходной ratio‑метрики с изменением её линеаризованного варианта в A/B‑тесте — это поможет правильно рассчитать размер выборки в экспериментах с ratio‑метриками c использованием линеаризации. Читать далее
Статья о том, как линеаризация помогает оценивать А/Б тесты с метриками отношения и повышать чувствительность экспериментов.Разберём применение линеаризации на примере эксперимента со средним чеком. Построим доверительный интервал для метрики отношения. Проверим корректность работы линеаризации и покажем, в каких случаях её эффективность может снизиться. Убедимся, что CUPED увеличивает мощность критерия, и обсудим как линеаризовать ковариату. Читать далее
Допустим, мы запустили АБ‑тест, рандомизировали клиентов, и теперь хотим оценить эффект фичи на средний чек. Средний чек — это пример ratio‑метрики или метрики отношения: считаем отношение суммы покупок к их количеству. Как анализировать эффект на такую…