Хабр, привет! Сегодня обсудим, как применять CUPED для повышения чувствительности А/Б тестов. Рассмотрим на простом примере принцип работы CUPED, покажем теоретически за счёт чего снижается дисперсия и приведём пример оценки эксперимента. Обсудим, как выбирать ковариату, как работать с бинарными метриками и что делать при противоречивых результатах. Читать далее
Пишу эту статью для тех, кто уже знаком с CUPED, но ищет больше понимания этого метода и взгляда на него с другой стороны. Здесь я не буду детально объяснять базовый алгоритм CUPED аб-тестирования: про это уже достаточно материала в сети. Основное внимание уделим рассмотрению метода…
Привет, Хабр!Меня зовут Евгений Пантелеев. Я занимаюсь аналитикой в Авито Авто в сегменте Resellers.В этой статье я расскажу о том, как мне удалось усилить CUPED довольно простой механикой и довести результат до статзначимости с помощью пост-стратификации в продолжительном эксперименте.Также попробуем разобраться почему многие аналитики на практике пренебрегают пост-стратификацией, считая, что мощный CUPED дает повышение чувствительности эксперимента близкое к максимальному. Читать далее
CUPED (Controlled-experiment Using Pre-Experiment Data) — сравнительно новая техника A/Б-экспериментов. Она позволяет увеличить чувствительность метрик за счёт использования данных, полученных ранее. Чем больше чувствительность, тем более слабые изменения можно замечать и учитывать в эксперименте.…