🥊 Манна-Уитни значим, t-test – нет. Кому верить?

Иногда кажется, что тесты конфликтуют: прогнали t-test и Манна-Уитни по одной метрике – один дал значимость, а другой нет.

На деле это нормально: они отвечают на разные вопросы, потому что проверяют разные нулевые гипотезы:

🔸 t-test (для 2 независимых групп): отличается ли среднее между группами (проверяет разницу средних);

🔸 U-test (Манна-Уитни): отличается ли распределение (через ранги). Не среднее, не медиана – именно распределения (как формой, так и сдвигом).

Отсюда и типичные ситуации, где один тест видит изменение, а другой нет:

✅ U-test значим, t-test – нет:

Например, для ARPPU: стало меньше «китов» (пользователей с большими чекам), но больше пользователей с небольшими чеками → распределение поменялось. При этом одно компенсировало другое, за счет чего среднее не изменилось.

✅ t-test значим, U-test – нет:

Все тот же ARPPU: cреднее сдвинулось за счет появления какого-то количества китов (выбросов), но распределение практически не изменилось.

Так кому верить?

1️⃣ Спросите себя, что вам важно бизнесово:

🔹 растить среднее → логичнее применять тесты на среднее;

🔹 следить за изменением распределения → логичнее ранговые / квантильные подходы;

🔹 контроллировать реакцию китов → просто работайте с ними как отдельным сегментом.

2️⃣ Смотрите на графики, а не только на p-value – они быстро покажут сдвиг, хвост, изменение распределения и т. д.

--

И главное: выбирайте стат. тест на этапе дизайна эксперимента. Если по итогам теста начать перебирать t-test / U-test / bootstrap и т.д., вы делаете множественные сравнения → растет ошибка I рода.

Тесты не конфликтуют – конфликтуют ожидания. Договоритесь, какую гипотезу проверяете, и используйте релевантный тест под задачу.

#абтесты

🧑‍🔬🧑‍🔬 Повесть о двух физиках

Как-то жизнь свела меня с двумя ребятами-физиками. Оба в возрасте 35+. Оба имели поразительно схожий бекграунд: опыт в одной индустрии, схожие по направлению компании и задачи.

И была у них одна цель – перейти в продуктовую аналитику. Из релевантного опыта – одни и те же курсы, и отдаленно-аналитические задачи на работе. С небольшой разницей по времени, оба пришли ко мне готовиться к собесам.

К сожалению, на этом их сходства закончились, а пути разошлись:

⚛️ Физик №1:

-> Точечно и системно закрывал пробелы в знаниях;
-> На работе стал сдвигать фокус: больше аналитических задач, работы с данными, влияния на решения;
-> Переписал резюме так, чтобы оно отвечало на вопрос работодателя: «Где тут продуктовая аналитика?»;
-> 4 месяца регулярно занимался – после работы и по выходным;
-> Пошёл на собеседования не «когда будет идеально готов», а когда дотянул компетенции до достаточного уровня;
-> Принял оффер на продуктового аналитика. И не упал в з/п 🚀
-> Через год – перешел в другую компанию с x2 по зарплате.

Да, было тяжело. Руки опускались. Порой ему хотелось все бросить. Но он не искал оправданий. Он просто продолжал идти к своей цели.

⚛️ Физик №2:

-> Начал готовиться к собесам, но быстро бросил;
-> Резюме оставил как есть. В итоге оно про физика, а не аналитика;
-> Откликаться на сотни вакансий → почти везде отказы;
-> Обратную связь не принимал: «нет времени после работы», «без знакомств не берут», «рынок сложный, невозможно устроиться»;
-> Если доходил до HR – часто не пускали из-за презентации себя;
-> На редких техсобесах – проваливался на первой же задаче;

Итог: куча сил, нервов и времени – а результата нет. А на вид делал много: что-то учил, откликался, даже по собесам ходил.

В чём реальная разница?

Не в таланте. Не в возрасте. Не в «везении». И даже не в рынке.

Разница в том, что:

🔸 один делал маленькие регулярные шаги в нужном направлении;
🔸 второй копил объяснения, почему шаги нужно откладывать.

Оффер – это не удача. Это побочный эффект ваших действий. Рынок может быть сложным, да. Но если вы ставите цель и действуете системно, вы к ней придете. Вопрос времени и качества этих действий.

А сколько времени ушло у вас, чтобы попасть в аналитику?

📖 Неофициальный словарь продуктовых метрик

Метрики сами по себе не врут – мы просто умеем их очень творчески интерпретировать.

Ниже я собрал неофициальный словарь «как это звучит в отчёте» vs «как это ощущается в продукте». Можно дополнять и кидать коллегам с подписью «Узнаешь? 🤣»:

🔹 LT – через сколько автоплатежей пользователь наконец-то замечает, что с него списываются деньги за подписку;

🔹 MAU – количество людей, половина которых продолжают случайно открывать приложение и почему-то его не удаляют;

🔹 Feature Adoption Rate – когда пользователь попал на экран, который продакт показывал на демо. А он всего лишь один раз нажал на новую кнопку. Тоже случайно;

🔹 CR в Aha-момент – доля людей, которые дошли до «вау-момента», потому что им не встретился баг. А еще их не попросили зарегистрироваться и/или оформить подписку;

🔹 Метрики воронки – наглядная демонстрация, что пользователи исчезают по пути к оплате, как носки в стиралке;

🔹Retention – как долго пользователь откладывает удаление, потому что «вдруг ещё пригодится», но возвращается из-за пушей;

🔹 NPS – «какое у тебя сейчас настроение?» по шкале от 0 до 10;

🔹 North Star Metric – единственная метрика, по которой нас никогда не ругают на общем созвоне;

🔹 Доля платящих – доля людей, которые случайно оплатили и не успели отменить подписку / сделать возврат.

🔹 OKR – официальный способ пообещать невозможное раз в квартал. И когда не получится, сказать: «Зато амбициозно!»;

🔹 Доля обращений в поддержку – частая жертва гениальной идеи убрать номер и спрятать кнопку «Связаться с поддержкой».

Напишите в комментарии свою любимую метрику и её «перевод» на человеческий.)

🤔 Как отвечать на собесе, если у вас мало «боевых» A/B?

Опыт в A/B – одно из базовых требований к продуктовому аналитику.

И почти на каждом интервью всплывает классическая проблема «яйца и курицы»:

-> Чтобы попасть на сильную позицию – нужен опыт A/B;
-> Чтобы появился опыт A/B – нужно уже быть на позиции, где эксперименты проводят регулярно.

Даже если вы уже работаете продуктовым аналитиком, это не гарантия, что опыт в A/B у вас появится:

-> A/B в компании могут вообще не проводится;
-> «Вот-вот начнем проводить», но это «вот-вот» тянется годами;
-> Тестов слишком мало, чтобы набить руку;
-> Эксперименты настолько простые, что вам нечего показать;
-> Или еще хуже – проводятся некорректно.

А когда решаете сменить работу, упираетесь в стену: «У вас слишком мало опыта в A/B». Не зовут дальше, ссылаясь на количество проведенных А/В или их простоту. При этом даже не задав ни одного тех. вопроса по А/B! 🤯

Что делать?

Занимать на собеседовании сильную позицию. Не оправдывать количество, а продемонстрировать уверенность в своих навыках.

«Да, может у меня и нет прикладного/большого опыта в А/В, но я готов(а) ответить на любые вопросы и показать, что понимаю А/В на уровне, которого достаточно для решения рабочих задач».

Конечно, это не откроет двери в команды с высокими требованиями к опыту в А/В. Но сильно повысит шанс пройти туда, где навыки и мышление важнее, чем «количество А/В в резюме».

А если хотите быть уверены в своих навыках А/В, даже если никогда не проводили их в работе, то приглашаю на мой практико-ориентированный интенсив по А/В тестированию. Он закроет разрыв между «знаю в теории» и «умею проводить A/B от начала до конца».

Внутри:

-> Прикладная теория без лишней академщины;
-> Много практики на реальных кейсах без тепличных условий: с нюансами в данных, неопытностью продакта, разными трактовками результатов;
-> Фокус на том, чтобы уметь четко объяснять и защищать выводы;
-> Каждое занятие сразу же переносится на рабочие задачи.

Старт ближайшего (юбилейного пятого) потока – 2 марта.

Хотите прокачаться в A/B так, чтобы это стало конкурентным преимуществом? Оставляйте заявку по ссылке:

🔗 https://nodatanogrowth.com/product-analyst-ab-testing

Приходите, разорвем этот замкнутый круг ❤️

📈 Почему 8 из 10 А/В-тестов бесполезны (и как это исправить)?

Замечали, что большинство экспериментов не дают статистически значимого роста? Вы не одни.

В «зрелых» международных продуктах, где A/B поставлено на поток, успешны лишь 10–20% тестов. В менее оптимизированных продуктах, где только начинают экспериментировать – можно ожидать около 1/3. РФ компании не делятся публично статистикой по А/В, но по моим разговорам с командами – ситуация схожа.

Но значит ли это, что остальные эксперименты – бесполезны?

Рассказал об этом в своем докладе на конференции Матемаркетинг'25. И сегодня хочу поделиться с вами записью своего выступления:

🔗 https://www.youtube.com/watch?v=cVh75XbcFKk

Из него вы узнаете, как получить максимум пользы из каждого конкретного эксперимента 🚀

#абтесты

➗ Почему в A/B сравнивают средние, а не «общие» метрики?

Практически каждый, кто впервые проводит A/B, интуитивно тянется к «общим» метрикам: общая выручка, количество платящих, число установок. И бизнес тоже любит «итоги в деньгах/штуках».

Но на практике в экспериментах почти всегда сравниваются «средние»: ARPU, доля платящих, конверсии. Почему так?

1️⃣ Сумма становится «шумнее», среднее – стабильнее

Дисперсия суммы независимых одинаково распределенных случайных величин растёт с размером выборки: nσ^2. А для среднего – дисперсия падает: (σ^2) / n.

Т. е. чем больше данных, тем «шумнее» становится сумма (общая метрика, в абсолютном выражении), и тем хуже она подходит для сравнения между группами.

А среднее наоборот становится все стабильнее и лучше подходит для выявления даже небольших эффектов.

2️⃣ «Общие» метрики ломаются о разный размер групп

Сумма будет честной для сравнения только в редком частном случае: когда размеры групп строго равны. Тогда «деление на n» сокращается.

В реальных же экспериментах группы A и B почти никогда не совпадают по размеру идеально. Если сравнивать общие значения, то большая группа чаще «победит» просто потому, что в ней больше наблюдений.

Средние метрики нормализуют размер: мы сравниваем что происходит на пользователя, а не сколько пользователей попало в группу.

3️⃣ Статистические тесты заточены на средние

Большинство привычных стат. тестов нацелены именно на сравнение средних (долей, отношений, квантилей и т. д.).

А общая метрика по сути – это среднее × количество наблюдений. Поэтому если хочется понять влияние, например, на общую выручку – обычно достаточно проверить значимость изменения ARPU, а потом перевести это в деньги.

Что тогда делать на практике?

✅ Тестируйте среднюю метрику (долю, отношение);
✅ Общую метрику показывайте как перенос эффекта на деньги/штуки.

Например:

-> Эффект: +0.8% ARPU;
-> Импакт: при текущем трафике ≈ +X шекелей в неделю.

Так вы сохраняете корректность статистики, сравнимость групп и понятность языка для бизнеса.

#абтесты

✅ Топ-5 лучших направлений для продуктового аналитика

В одном из прошлых постов был «анти-топ» направлений для продуктового аналитика. Сегодня рассмотрим обратную сторону: где аналитик будет быстро расти.

Сразу оговорка: речь не про конкретные индустрии/компании, а про набор факторов, которые ускоряют рост.

Ниже – мой личный «топ», куда я бы целился, если хочу максимально прокачаться как продуктовый аналитик 👇

1️⃣ B2C / массовые продукты с частым использованием

Там, где много трафика и пользователь возвращается каждый день или несколько раз в неделю.

-> большой трафик – быстрее набираются выборки;
-> много повторных действий – проще работать с Retention и LTV;
-> эффект изменений видно быстро – короче цикл проверки гипотез.

2️⃣ Команда с развитой аналитической культурой

Где аналитика – не «про красивые презентации и эго менеджмента», а инструмент принятия взвешенных решений.

-> решения принимают на основе данных и причинно-следственных связей, а не «мне кажется» или «я так считаю»;
-> есть понятные продуктовые цели и структуры метрик;
-> аналитик вовлечен от формулирования гипотезы до финальных рекомендаций, а не «посчитай после релиза».

3️⃣ Развитая инфраструктура и self-service аналитика

Чтобы не тратить 90% времени на «собрать данные», «почему цифры не сходятся?» и бесконечные ad-hoc’и.

-> есть единый источник правды и четкие определения метрик;
-> витрины/слои данных позволяют быстро отвечать на вопросы;
-> BI/дашборды живые и реально используются;
-> продакт может закрывать базовые вопросы сам.

Так аналитик сможет сфокусироваться на действительно ценном – точках роста, А/В, продуктовых исследованиях.

4️⃣ Много экспериментов и быстрые итерации

Это самый сильный ускоритель роста. Потому что прокачивается ядро профессии: поиск и формулирование гипотез → их проверка → интерпретация → принятие решения → система знаний.

Только не судите об A/B в компании по тому, что его спрашивают на собесе. И точно не стоит верить обещаниям «мы вот-вот начнем проводить А/В». А/В должны быть рутиной, иначе вы их не увидите.

5️⃣ Продукты со сложной оптимизацией

Когда есть много рычагов и trade-off’ов: цена ↔ конверсия, удержание ↔ доход, качество ↔ скорость, краткосрочные ↔ долгосрочные эффекты.

Сюда можно отнести направления монетизации, персонализации, маркетинга.

Как понять на собеседовании, что рост реально будет?

Задайте на собесе эти 3 вопроса:

❓ Как выглядит цикл работы аналитика в команде?
❓ Сколько А/В вы провели за последний месяц? Почему так мало?
❓ Сколько времени уходит от вопроса до ответа? Что тормозит?

Если ответы вам не подходят – лучше искать дальше.

Но помните, что идеальных мест не существует. Это всегда компромисс – что-то сильнее, что-то слабее. Факторы выше – ориентир, к чему стремиться. А попытка собрать «идеальные условия» лишат вас полезных челленджей для роста.