Привет, меня зовут Настя, я продуктовый аналитик в Dodo. Недавно мы провели A/B-тест по запросу геолокации у пользователей. Когда я приступила к анализу, то с ужасом обнаружила, что данных — кот наплакал, а бизнес уже очень ждёт результатов. Тогда мне пришлось пустить в ход свои…
В статье рассматривается использование теста TPC-H с PostgreSQL и проблемы, связанные с запросами Q17-Q20 теста.ВведениеВместе с PostgreSQL поставляется утилит pg_bench с "TPC-B like" тестом. Кроме этого теста были созданы тесты TPC-R для отчётов, TPC-D для OLAP, TPC-W для заказов в веб-магазине, которые не…
Вводим формат мини-кейсов, где я и коллеги разбираем одну конкретную проблему и даем советы. Главное требование — приберечь воду для благих целей, давать выжимку. Проблема: как проводить какие-то тестирования, оценку экспериментов, если конверсий на сайте мало? Выбрали период месяц, все пользователи. Мало конверсий — мало данных. Любые выводы при таком раскладе мало чем отличаются от гадания на ромашке или консультации с секретарем. Читать дальше →
Для запуска А/В теста необходимым минимумом является фиксация ошибок первого и второго рода, расчет MDE (минимальный наблюдаемый эффект). Однако при расчете результатов теста далеко не всегда получается достичь MDE заданного размера, в таком случае статистическая значимость результатов не будет достигнута. Помимо этого даже при статистически значимом результате существует вероятность ошибки, при которой наши результаты являются выбросом или просто случайностью. Как быть в таком случае? Узнать больше!