Почему средние метрики обманывают: глубокий взгляд на медиану и когорты для точной интерпретации данных

В продуктовой аналитике нередки ситуации, когда агрегированные, или «средние», метрики формируют искаженную картину реальности. Они могут демонстрировать общий рост или стабильность там, где на самом деле скрываются серьезные проблемы или упущенные возможности. Причина кроется в чувствительности среднего к выбросам и неспособности показать истинное распределение данных. Чтобы принимать по-настоящему обоснованные решения, продуктовому аналитику необходимо смотреть глубже, применяя такие инструменты, как медиана, мода, когортный анализ и сегментация, а также всегда учитывать статистическую значимость.

Почему средние значения могут вводить в заблуждение

Среднее арифметическое — это, пожалуй, самая распространенная и интуитивно понятная мера центральной тенденции. Мы используем её повсеместно: средний чек, среднее время на сайте, средняя зарплата. Однако, несмотря на свою простоту, эта метрика обладает серьезным недостатком: она крайне чувствительна к аномальным значениям, или «выбросам». Единичные экстремальные данные способны значительно исказить среднее, уведя его далеко от типичного значения для большинства наблюдений.

Представьте небольшой стартап, где работает 10 человек. Зарплаты девяти сотрудников составляют от 80 000 до 120 000 рублей. Например, семь человек получают 80 000, два — 120 000. Это составляет 80*7 + 120*2 = 560 000 + 240 000 = 800 000 рублей. Если десятый сотрудник, основатель компании, получает 500 000 рублей, то средняя зарплата по компании составит (800 000 + 500 000) / 10 = 130 000 рублей. Эта цифра значительно выше, чем зарплата подавляющего большинства сотрудников, и не отражает их реального финансового положения. В данном случае, среднее значение скрывает, а не раскрывает суть.

«Единственная цифра редко рассказывает полную историю. Если вы видите только среднее, вы видите лишь малую часть айсберга, а не его подводную громаду.»

— Роман Гаврилов, Продуктовый аналитик Rusability

Влияние аномалий и выбросов

Выбросы — это не просто статистический шум; они могут быть следствием ошибок в сборе данных, результатом уникального поведения очень малой группы пользователей или свидетельством нестандартных, но значимых событий. В любом случае, они оказывают непропорционально большое влияние на среднее арифметическое. Если в интернет-магазине один покупатель сделает заказ на 1 000 000 рублей, а остальные 999 закажут в среднем на 2 000 рублей, то средний чек по всей выборке будет (1 000 000 + 999 * 2 000) / 1000 = (1 000 000 + 1 998 000) / 1000 = 2 998 рублей. Это число почти на 50% выше типичного чека для основной массы покупателей, что может привести к неверным выводам о платежеспособности клиентов или эффективности маркетинговых акций.

Последствия такой некорректной интерпретации данных могут быть весьма серьезными. Если, основываясь на завышенном среднем чеке, мы решим повысить минимальную сумму заказа или запустить рекламную кампанию для премиум-сегмента, то рискуем отпугнуть значительную часть наших реальных покупателей. Именно поэтому продуктовый аналитик должен проявлять особую бдительность и всегда проверять данные на наличие выбросов, а также использовать метрики, устойчивые к их влиянию.

Альтернативы среднему: медиана и мода

К счастью, математическая статистика предлагает альтернативы среднему арифметическому, которые позволяют получить более репрезентативную картину, особенно когда данные распределены неравномерно или содержат выбросы. Это медиана и мода.

Медиана — это значение, которое находится ровно посередине упорядоченного ряда данных. Если выстроить все значения по возрастанию (или убыванию), медиана будет тем числом, которое делит этот ряд на две равные половины: 50% значений меньше медианы, а 50% — больше. Её главное преимущество заключается в устойчивости к выбросам. Возвращаясь к примеру с зарплатами в стартапе: 80 000, 80 000, 80 000, 80 000, 80 000, 80 000, 80 000, 120 000, 120 000, 500 000. В этом ряду медианой будет 80 000 рублей (среднее между 5-м и 6-м значением). Эта цифра гораздо точнее отражает типичную зарплату для большинства сотрудников.

Когда использовать медиану

• При скошенных распределениях: Если гистограмма вашей метрики имеет длинный «хвост» в одну из сторон (например, большинство пользователей проводят на сайте мало времени, но есть единицы, которые остаются часами), медиана покажет более типичное значение.
• При наличии значимых выбросов: Как в примерах с зарплатами или средним чеком, когда несколько экстремальных значений искажают среднее.
• Для метрик, где важен «центральный» пользователь: Например, медианное время до первого действия, медианное количество экранов, просмотренных за сессию.
• При анализе пользовательских рейтингов: Медианный рейтинг может быть более показательным, чем средний, если есть группа очень лояльных или очень недовольных пользователей.

Когда использовать моду

Мода — это значение, которое встречается в наборе данных наиболее часто. Она особенно полезна для категориальных данных (например, самый популярный тарифный план, цвет товара) или дискретных числовых значений (наиболее частое количество товаров в заказе). Если, например, в интернет-магазине самыми популярными размерами одежды являются M и L, а размеры XS и XXL заказывают редко, мода ясно укажет на M и L как наиболее востребованные, даже если средний размер будет где-то между ними. Мода помогает выделить наиболее характерные, повторяющиеся паттерны.

В отличие от среднего и медианы, мода может быть не одна (бимодальное или мультимодальное распределение), что само по себе является ценной информацией, указывающей на наличие нескольких «типичных» групп или предпочтений среди пользователей. Например, бимодальное распределение времени использования приложения может сигнализировать о двух основных сценариях его использования: быстрые короткие сессии и длительные погружения.

Глубокое понимание данных: распределение и его формы

Одних только метрик центральной тенденции — среднего, медианы или моды — недостаточно для полного понимания данных. Истинная картина начинает проясняться, когда мы анализируем распределение данных. Визуализация, например, с помощью гистограмм или коробчатых диаграмм (boxplot), является обязательным шагом для любого продуктового аналитика. Эти графики позволяют увидеть форму распределения, наличие выбросов, его симметричность или скошенность.

Нормальное распределение (колоколообразная кривая): Здесь среднее, медиана и мода примерно совпадают, и среднее хорошо отражает типичное значение. Данные симметрично группируются вокруг центра. Скошенное распределение: Если есть «хвост» вправо (положительная скошенность), это означает, что большинство значений невелики, но есть некоторое количество очень больших значений (например, доход). В этом случае медиана будет меньше среднего. Если «хвост» влево (отрицательная скошенность), большинство значений большие, но есть несколько очень маленьких (например, время выполнения задачи). Здесь медиана будет больше среднего. Бимодальное распределение: Наличие двух «пиков» указывает на существование двух различных групп внутри ваших данных, каждая со своим типичным значением. Понимание формы распределения критически важно для выбора правильной метрики и метода анализа.

«Визуализация распределения данных — это не просто графики; это наш способ увидеть невидимое, выявить скрытые паттерны и задать правильные вопросы к данным.»

— Кристина Полякова, Ведущий аналитик в X-Growth

Когортный анализ как инструмент истинного роста

Когортный анализ — это мощный метод, который позволяет отслеживать поведение групп пользователей (когорт), объединенных по определенному признаку и периоду. Чаще всего когорты формируются по дате первой регистрации, первого платежа или первого использования новой функции. В отличие от агрегированных метрик, которые показывают лишь общую картину «здесь и сейчас», когортный анализ позволяет увидеть динамику изменений во времени и выявить, как конкретные нововведения или внешние факторы влияют на удержание, конверсию и другие ключевые показатели разных групп пользователей.

Без когортного анализа можно столкнуться с ситуацией, когда общие метрики растут, создавая иллюзию успеха, в то время как базовое здоровье продукта ухудшается. Например, общее количество активных пользователей может расти благодаря постоянному притоку новых клиентов (эффективный маркетинг), но когортный анализ может показать, что удержание пользователей из старых когорт неуклонно падает. Это означает, что продукт не удерживает свою аудиторию, и как только приток новых пользователей снизится, начнется обвальный спад. Агрегированные метрики в этом случае скрывают системную проблему.

Практический кейс: удержание пользователей в мобильном приложении

Представим мобильное приложение, которое в течение 2026 года активно привлекает новых пользователей. В первом квартале приложение получало 10 000 установок в неделю, а во втором квартале, после запуска масштабной рекламной кампании, этот показатель вырос до 25 000 установок в неделю. Общее число активных пользователей приложения за полгода значительно увеличилось. При этом средний показатель удержания (Retention Rate) на 7-й день по всем пользователям оставался относительно стабильным — около 25%. На первый взгляд, всё выглядит отлично: рост аудитории, стабильное удержание.

Однако при детальном когортном анализе обнаружилась иная картина. Когорты пользователей, привлеченные в первом квартале, показывали удержание на 7-й день около 30%. В то же время, когорты, пришедшие после запуска новой рекламной кампании во втором квартале, имели удержание на 7-й день всего 15%. Более того, анализ показал, что эти новые когорты гораздо реже совершали ключевые целевые действия в приложении, например, первую покупку или заполнение профиля. Почему же среднее удержание по всему приложению осталось стабильным?

Причина в том, что огромный объем новых, «некачественных» пользователей (с низким удержанием) размыл и скрыл падение удержания более качественных когорт. Новые пользователи «замещали» тех, кто уходил, поддерживая общую видимость стабильности. Без когортного анализа продуктовая команда могла бы продолжать тратить бюджет на неэффективную рекламную кампанию, полагая, что все в порядке. Благодаря когортам, было принято решение пересмотреть каналы привлечения и оптимизировать онбординг для новых пользователей, сфокусировавшись не только на количестве установок, но и на их качестве. Это позволило изменить стратегию и в третьем квартале уже показывать рост удержания новых когорт до 28%, не смотря на снижение объемов привлечения до 18 000 установок в неделю.

Сегментация как путь к персонализации и точности

Сегментация пользователей — это еще один мощный инструмент, который позволяет выйти за рамки усредненных показателей. Суть подхода заключается в разделении всей пользовательской базы на группы (сегменты) по определенным общим характеристикам: демографическим данным, поведению в продукте, источникам привлечения, платежному статусу и так далее. Идея проста: «средний» пользователь не существует. Пользователи различаются, и их потребности, паттерны поведения, а значит, и метрики, будут отличаться.

Когда мы смотрим на средние метрики по всей базе, мы усредняем показатели совершенно разных групп. Это может привести к тому, что выводы будут бесполезными или даже вредными, потому что они не применимы ни к одному из реальных сегментов. Например, средний коэффициент конверсии для всего сайта может быть 3%, но если посмотреть на сегмент «новых пользователей из платной рекламы» и «повторных посетителей из органического поиска», эти цифры могут быть 1% и 10% соответственно. Пытаться улучшить 3% конверсию без учета этих различий — значит стрелять вслепую.

Пример: средний чек в интернет-магазине

Рассмотрим интернет-магазин, который отслеживает средний чек. В конце месяца общий средний чек составил 3 500 рублей. Если продуктовый менеджер, основываясь только на этой цифре, решает, что это хороший ориентир для формирования акционных предложений или маркетинговых бюджетов, он может совершить ошибку. Этот «средний» показатель может маскировать существенные различия между категориями клиентов.

При сегментации пользователей, магазин обнаруживает следующее: сегмент «новые пользователи, совершившие первую покупку» имеет средний чек всего 1 800 рублей. Это логично, поскольку они еще не доверяют магазину полностью или просто пробуют. Сегмент «постоянные клиенты, совершающие покупки более года» показывает средний чек 6 000 рублей, так как они лояльны и чаще покупают более дорогие товары или сразу несколько позиций. Сегмент «покупатели во время распродаж» имеют средний чек 2 500 рублей, ориентируясь на скидки.

Без сегментации, попытка поднять средний чек, предлагая товары от 4 000 рублей, могла бы отпугнуть новых пользователей и тех, кто ждет распродаж. Благодаря сегментации, команда может разработать персонализированные стратегии: для новых — специальные предложения на недорогие, но популярные товары; для постоянных — программы лояльности и рекомендации премиум-сегмента; для «распродажных» — уведомления о скидках. Таким образом, сегментация позволяет принимать более точные и эффективные продуктовые и маркетинговые решения.

Статистическая значимость и А/В-тестирование: избегаем ложных выводов

После того, как мы определились с правильными метриками и методами анализа, возникает еще одна критически важная задача: убедиться, что наблюдаемые изменения не являются случайными. Именно для этого используется A/B-тестирование в сочетании с проверкой статистической значимости. Зачастую продуктовые команды принимают решения, основываясь на кажущихся улучшениях, например, «конверсия подросла на 0,2% после изменения цвета кнопки». Но всегда ли это реальное улучшение, а не флуктуация данных?

Статистическая значимость помогает нам определить вероятность того, что наблюдаемый результат (разница между контрольной и тестовой группой в A/B-тесте) произошел случайно. Мы хотим быть уверены, что эффект действительно вызван нашими изменениями, а не просто случайными вариациями в данных. Уровень значимости (p-value) — это вероятность получить наблюдаемый или более экстремальный результат, если на самом деле никакого эффекта нет. Чем меньше p-value, тем меньше вероятность случайности и тем выше статистическая значимость результата. Общепринятым порогом является p-value < 0.05, что означает, что вероятность случайного получения такого результата составляет менее 5%.

Пример: тестирование новой кнопки

Предположим, мы проводим A/B-тест, чтобы оценить влияние нового дизайна кнопки «Добавить в корзину» на конверсию. Мы разделили трафик поровну: контрольная группа (Вариант А) видит старый дизайн, тестовая группа (Вариант Б) — новый. Обе группы получили по 10 000 показов.

Вариант А (контроль): 10 000 показов, 500 кликов (конверсия 5,0%).

Вариант Б (тест): 10 000 показов, 530 кликов (конверсия 5,3%).

На первый взгляд, Вариант Б показал прирост в 0,3 процентных пункта, или 6% относительного роста конверсии (5.3% vs 5.0%). Кажется, что новый дизайн лучше. Однако вопрос в том, является ли это улучшение статистически значимым? При использовании онлайн-калькулятора или статистического программного обеспечения для этих данных, мы можем получить p-value, например, 0.15. Это означает, что с вероятностью 15% мы могли бы получить такой или больший прирост конверсии, даже если бы на самом деле новый дизайн не имел никакого эффекта.

Поскольку p-value 0.15 значительно выше общепринятого порога в 0.05, мы не можем с уверенностью сказать, что новый дизайн кнопки действительно приводит к улучшению конверсии. Возможно, наблюдаемый эффект — это просто случайность. В такой ситуации продуктовая команда не должна раскатывать изменение на 100% пользователей. Вместо этого, можно либо увеличить объем выборки (продолжить тест), чтобы получить больше данных, либо признать, что эффект слишком мал, чтобы быть надежным, и сфокусироваться на других гипотезах. Принятие решений без проверки статистической значимости — это игра в рулетку с риском внедрения бесполезных или даже вредных изменений.

Ловушки интерпретации данных: корреляция не равно причинность

Еще одна распространенная ошибка в работе с данными, которая часто приводит к неверным продуктовым решениям, — это путаница между корреляцией и причинно-следственной связью. Корреляция означает, что две переменные движутся вместе: когда одна увеличивается, другая также имеет тенденцию увеличиваться (положительная корреляция), или когда одна увеличивается, другая уменьшается (отрицательная корреляция). Однако это не означает, что одна переменная вызывает изменение другой.

Классический пример — рост продаж мороженого и рост числа утоплений. Статистически эти два показателя часто сильно коррелируют. Но было бы абсурдно предполагать, что покупка мороженого приводит к утоплениям. Здесь обе переменные зависят от третьего, скрытого фактора: теплой погоды. В жаркие дни люди чаще покупают мороженое и чаще идут купаться, что, к сожалению, увеличивает и риск утоплений.

В продуктовой аналитике такая ошибка может проявляться, например, когда команда видит корреляцию между использованием определенной функции и удержанием пользователя, и делает вывод, что эта функция «приводит» к удержанию. Возможно, на самом деле, этой функцией пользуются самые лояльные пользователи, которые и так были бы удержаны. Или же есть другая, скрытая причина, которая мотивирует и использовать функцию, и оставаться в продукте. Для установления причинно-следственных связей необходимы контролируемые эксперименты, такие как A/B-тесты, где вы целенаправленно изменяете один фактор и измеряете его влияние на другие метрики.

Выводы: Как принимать решения на основе данных

• Всегда смотрите на распределение данных, а не только на среднее. Используйте гистограммы и коробчатые диаграммы для визуализации, чтобы выявить скошенность и выбросы.
• Используйте медиану для данных со скошенным распределением или выбросами. Она даст более точное представление о «типичном» значении, чем среднее арифметическое.
• Применяйте когортный анализ для отслеживания истинной динамики. Это позволит увидеть, как меняется поведение пользователей с течением времени и как новые изменения влияют на разные группы.
• Сегментируйте пользователей, чтобы принимать персонализированные решения. «Средний» пользователь не существует; разные группы ведут себя по-разному и требуют разных подходов.
• При проведении A/B-тестов всегда проверяйте статистическую значимость. Не принимайте решения на основе случайных колебаний; убедитесь, что эффект реален и устойчив.
• Различайте корреляцию и причинно-следственную связь. Корреляция — это лишь отправная точка для гипотез, а причинность устанавливается через контролируемые эксперименты.
• Фокусируйтесь на продуктовых целях. Метрики — это инструменты для достижения целей, а не цели сами по себе. Всегда держите в уме, какую бизнес-задачу вы решаете.