Рост после теста: наша ли заслуга?
Почему сравнения «до и после» мало и что помогает оценить влияние изменения.
- ROSSAUS · 011 / 5
Цифры выросли после изменения
Конверсия выросла с 5 % до 8 %. Это хороший сигнал, но само совпадение по времени ещё не объясняет причину.
5 → 8 %конверсия после измененияУчебный пример для разбора влияния теста - ROSSAUS · 022 / 5
Что изменилось вокруг?
Могли повлиять сезон, скидка или состав аудитории. Фиксирую такие изменения и смотрю на сопоставимый период или контрольную группу.
- СезонДругой спрос
- ЦенаСкидка или акция
- АудиторияДругой состав трафика
Сначала отделяем изменение продукта от внешних факторов - ROSSAUS · 033 / 5
Добавляем группу без изменения
При подходящем A/B-тесте группы распределяем случайно, сравниваем в один период. В примере тест вырос на 3 п.п., контроль на 1 п.п.: разница изменений составляет 2 п.п.
+2 п.п.разница изменений- Тест5 → 8 %
- Контроль5 → 6 %
Учебный пример, не доказательство эффекта без проверки данных - ROSSAUS · 044 / 5
Проверяем качество сравнения
Смотрю на объём и качество данных, сопоставимость групп, срок наблюдения и неопределённость оценки. Если данных мало, не делаю уверенный вывод.
- 01Достаточно данных
- 02Одинаковые правила измерения
- 03Нет вреда следующим этапам
Главная метрика не должна расти за счёт качества заявок или удержания - ROSSAUS · 055 / 5
Решение вместе с его основанием
Фиксирую, что изменили, с чем сравнивали и что узнали. По этому решаем: расширить тест, внедрить изменение или остановиться. Так следующий шаг опирается на данные.
Читать следующие разборы- ИзменилиОдна гипотеза
- ИзмерилиРезультат и ограничения
- РешилиЧто делаем дальше
В заметках продолжу разбирать такие решения на примерах
Кнопки или клавиши ← →Листайте свайпом или кнопками