Как оценить упущенную выгоду при выборе гипотез в A/B-тестах

Когда A/B-тест показывает статистическую значимость для нескольких гипотез одновременно, возникает вопрос: какую из них внедрить? Ответ лежит не только в подтверждении эффекта, но и в количественной оценке потенциальной прибыли от каждой. Упущенная выгода – это ценность наилучшей альтернативы, от которой пришлось отказаться в пользу другого решения. В контексте A/B-тестов она показывает, сколько прибыли мы теряем, выбирая не оптимальный, а лишь «хороший» вариант. Правильная оценка позволяет максимизировать рост ключевых метрик продукта и избежать дорогостоящих ошибок при масштабировании.

Что такое упущенная выгода и почему она важна в A/B-тестах?

Упущенная выгода, или opportunity cost, – это экономический термин, обозначающий ценность наилучшей из отвергнутых альтернатив при выборе конкретного решения. Например, если вы инвестировали в один проект, то упущенной выгодой будет потенциальная прибыль, которую мог бы принести второй по привлекательности проект, от которого вы отказались. В продуктовой аналитике, при работе с A/B-тестами, этот концепт особенно критичен. Представьте, что у вас есть три варианта изменения интерфейса, и каждый из них по результатам теста показал статистически значимое улучшение конверсии. Если вы выберете не тот, который приносит максимальный прирост, вы буквально теряете потенциальную прибыль.

Игнорирование упущенной выгоды может привести к субоптимальным решениям, когда компания внедряет просто «хорошую» гипотезу вместо «лучшей». Это замедляет темпы роста, снижает общую прибыльность продукта и уступает конкурентам, которые более тщательно подходят к выбору. Оценка упущенной выгоды заставляет нас мыслить шире, не только фиксируя наличие позитивного эффекта, но и ранжируя эти эффекты по их экономической ценности.

Отличие от стандартной оценки A/B-тестов

Обычный A/B-тест фокусируется на том, чтобы определить, есть ли статистически значимое отличие между контрольной и тестовой группами. Мы проверяем нулевую гипотезу H0 (нет различий) против альтернативной H1 (различия есть). Если p-значение ниже уровня значимости (например, 0.05), мы отвергаем H0 и принимаем H1, считая, что изменение оказало эффект. Однако, когда у нас есть несколько тестовых групп (A/B/C/D тесты), каждая из которых показывает положительный и статистически значимый результат, традиционный подход не говорит, какой из этих «победителей» принесёт наибольшую выгоду. Он лишь констатирует факт улучшения.