Иногда мы настолько бываем увлечены способами увеличения мощности тестов, снижения дисперсии, уменьшения длительности теста, что забываем смотреть на данные при использовании стандартного критерия Стьюдента. В этой статье я постараюсь простым языком рассказать о последствиях, к которым может привести слепой запуск A/B-тестов без предварительного А/А-тестирования. Читать далее
Привет! В этой статье я хочу рассмотреть практический вопрос, связанный с расчётом MDE линеаризованной метрики. Я кратко напомню суть метода линеаризации, а затем покажу как связано изменение исходной ratio‑метрики с изменением её линеаризованного варианта в A/B‑тесте — это поможет правильно рассчитать размер выборки в экспериментах с ratio‑метриками c использованием линеаризации. Читать далее
Уполномоченный по правам студентов в России Артем Хромов поддерживает инициативу о проведении общероссийского мониторинга трудоустройства выпускников вузов, сообщили РИА «Дагестан» в аппарате уполномоченного. По его мнению, полученные результаты должны учитываться при проведении мониторинга эффективности деятельности вузов. Ранее о проведении такого мониторинга заявили в Минобрнауки России и Пенсионном фонде России. Российские налогоплательщики тратят миллиарды рублей на […]
Всем привет! Меня зовут Рома Смирнов. Я работаю продуктовым аналитиком в Lamoda. Как и во многих других продуктовых компаниях, решения о том, раскатывать ли новую фичу, принимаются в Lamoda на основе данных, в частности на основе результатов A/B-тестирования.Бутстрэп — один из популярных методов обработки результатов тестов. В этой статье я расскажу о том, каким образом можно определить размер выборки при расчете результатов A/B-теста с помощью бутстрэпа. Читать далее