Как избежать парадокса Симпсона в A/B-тестах продукта

Парадокс Симпсона — это контринтуитивное явление в статистике, когда общая тенденция, проявляющаяся в агрегированных данных, может быть противоположна тенденции, наблюдаемой в отдельных подгруппах этих данных. В контексте A/B-тестов в продуктовой аналитике он может привести к ошибочным выводам о влиянии изменений и, как следствие, к неверным продуктовым решениям. Избежать его помогает тщательная сегментация данных и понимание причинно-следственных связей, лежащих в основе наблюдаемых метрик.

Что такое парадокс Симпсона и почему он возникает в A/B-тестах

Представьте ситуацию: вы запускаете A/B-тест, чтобы оценить влияние новой кнопки "Купить в один клик" на конверсию. После сбора данных вы видите, что контрольная группа (без кнопки) показала конверсию 5%, а тестовая группа (с кнопкой) — 4,5%. На первый взгляд, новая кнопка ухудшает конверсию. Это поверхностный, агрегированный взгляд.

Однако при более глубоком анализе, разбив пользователей на сегменты, например, по типу устройства (десктоп и мобильные), обнаруживается совершенно иная картина. Среди пользователей десктопов конверсия контрольной группы составила 6%, а тестовой — 7%. А среди мобильных пользователей конверсия контрольной группы была 4%, тестовой — 4,2%. В каждом сегменте новая кнопка демонстрирует улучшение конверсии, но общий показатель говорит об обратном. В этом и заключается парадокс Симпсона.

Причина парадокса кроется в неравномерном распределении каких-либо влияющих факторов между группами теста. В нашем примере, предположим, что в тестовую группу попало значительно больше мобильных пользователей (например, 70% против 30% в контрольной группе). Мобильные пользователи изначально имеют более низкую конверсию. Из-за этого смещения, несмотря на положительный эффект в каждом сегменте, общая конверсия тестовой группы оказалась ниже. Этот фактор, искажающий общую картину, называют "смешивающим фактором" (confounding factor).

Парадокс Симпсона встречается не только в A/B-тестах. Он часто наблюдается в медицинских исследованиях, социологических опросах и даже при анализе успеваемости студентов. Его обнаружение требует внимательности и глубокого понимания данных. Простая статистическая значимость общего результата не защищает от этой ошибки, поскольку тест может показывать "значимое ухудшение", которое на деле является значимым улучшением в каждом отдельном сегменте.