Еще в метрике нашел деление на новых/вернувшихся пользователей. Ранее такого не было. Но кажется они его сделали по логике GA 3.

На скрине когорта за неделю, т.е. когорта это новые пользователи, они не могут быть вернувшимися, т.к. впервые пришли в продукт в неделю формирования когорты.

Но мы видим, что в когорте есть вернувшиеся пользователи. Т.к. метрика смотрит на визиты, если у пользователя есть >1 визита, то он становится одновременно новым и одновременно вернувшимся. Такой посетитель шредингера получается.

Соответственно и общая сумма посетителей не бьется. Всего в когорте 5826 пользователей. А сумма новые + вернувшиеся, 2027 + 5706 = 7733, потому что один и тот же пользователь пишется и в новые и в вернувшиеся.

Не знаю почему метрика пошла по такому пути подсчета, т.к. уже не раз обсуждали, что это не совсем корректный алгоритм подсчета. Думаю что это связано с заложенной сессионной архитектурой метрики.

UPD. В комментах написали, что этот функционал есть давно в метрике

А расскажите, какой пост в канале для вас был самый запоминающийся или самый полезный и почему?🧐

Мопед не мой, нашел в сети 😄

Нашел интересную статью про подсчет размера выборок.

В частности подробно разбирается проблема расчета выборок для ratio показателей (конверсия по сессиям например).

Т.е. про то почему если мы считаем конверсию по сессиям, а не по пользователям, то не сможем просто так воспользоваться любимыми калькуляторами типа калькулятора Эвана Миллра и к каким ошибкам может привести такой наивный подход https://arxiv.org/pdf/2305.16459.pdf

Мои лучшие вложения 530 р в этом месяце и aha момент

Давайте начнем с того что разберемся с тем что такое aha момент в продуктовом подходе.

Aha момент - это такой момент до использования или во время использования продукта, когда пользователь осознает ценность продукта.

Aha моментов может быть несколько в продукте. Для разных групп пользователей могут быть разные aha моменты, т.к. один и тот же продукт может решать разные задачи для разных групп пользователей.

Но даже если взять одного пользователя, то у него тоже может быть несколько aha моментов и в каждый из них он будет видеть все больше ценности в продукте.

Почему aha момент важен?
Как правило первое осознание ценности продукта должно прийти к пользователю еще до того как он им воспользовался, т.е. это момент когда пользователь в принципе понимает, что ага(aha) кажется продукт решит мою задачу.

Следующий момент когда пользователь уже попробовал продукт и говорит: ага! этот продукт так классно решил мою задачу.

От достижения пользователем aha момента зависит долгосрочный ретеншен и повторные покупки. Если пользователь не смог решить свою задачу с помощью продукта, то и покупать он его повторно не будет.

Мои лучшие вложения 530 р в этом месяце
Теперь на конкретном примере я покажу как работает aha момент.

Начнем с проблемы. Последнее время я начал немного прихрамывать и ощущать, что мой шаг изменился, но я не мог понять в чем дело. Поход к ортопеду ясности не дал.

В интернете я нашел инструктора, который при помощи упражнений помогает людям восстановить функциональность при разных заболеваниях коксартроз, протрузии, грыжи и др.

У него есть продукт - закрытая группа где он каждый день проводит онлайн занятия(специальную гимнастику) и объясняет биомеханику движений и мышц.

Собственно я хотел разобраться в биомеханике, чтобы определить свои проблемы.

После того как я купил подписку в группу, я жаждал знаний. Но в первую очередь после того как я рассказал о своей проблеме инструктор попросил меня сделать несколько упражнений.

После выполнения этих упражнений я сразу почувствовал, что моя функциональность походки сильно улучшилась. Это был aha момент, я почувствовал ценность продукта.

Т.е. инструктор сначала дал мне почувствовать результат(aha момент), а только потом начал погружать в продукт через ежедневные объяснения и практики работы с перекосами и спазмами в теле.

Я осознал, что продукт действительно работает и я готов продлевать подписку.

Также и в любом продукте важен aha момент. Человек не приходит в продукт, чтобы вы его чему-то научили (привет бессмысленные онбординги).

Продукт должен быть сконструирован так, чтобы максимально быстро мог дать пользователю ценность и решить его задачи.

После этого вы уже можете начинать объяснять клиенту как именно работает продукт и как правильно им пользоваться.

Синтетический контроль

Интересное видео от DS "Ленты" про то как использовать синтетический контроль для моделирования АБ теста в оффланй ритейле.

Обычно в оффлайне гораздо сложнее и дороже проводить АБ тесты, поэтому используют разные техники, одна из них синтетический контроль.

Например на группе магазинов тестируют какую-нибудь акцию, но сравнить эффект от акции не с чем, тогда делают прогноз для этих же магазинов по историческим данным и оценивают, а какая бы была доходность без учета акции.

После реальные данные с учетом акции сравнивают с прогнозом и оценивают насколько значимо реальные данные отклоняются от прогноза.

Т.е. реальные данные - это тестовая группа, а прогноз - синтетический контроль, с которым сравниваются реальные данные.

https://youtu.be/b7HlCPoAI2k

А посоветуйте классное кресло для работы, чтобы там регулировки, поддержки всякие. если у вас есть советы по выбору кресла, то тоже кидайте 🪑

🆘 Проверка валидности результатов АБ тестирования

Важный этап, который часто упускают из виду. АБ тест закончился, все радостные хотят скорее посчитать p value и оценить стат. значимость изменения метрики.

Но прежде чем что-то посчитать нужно удостовериться что АБ тест был проведен верно. Особенно это касается команд, которые "на коленке" запускают АБ тесты.

1. Собрано нужное число наблюдений в соответствии с дизайном
Смотрим дизайн АБ теста и число фактически попавших в АБ тест юзеров

2. Баланс раскатки в соответствии с дизайном
Смотрим какая доля юзеров должна была попасть в эксп и какая попала на самом деле.

3. Баланс распределения аудитории по вариантам, SRM
Смотрим баланс групп в дизайне АБ теста и фактическое распределение пользователей по группам. Проверяем дисбаланс SRM

4. Отсутствие пересечения выборок
Проверяем, что один и тот же пользователь не попал сразу в несколько групп.

5. Сопоставимость выборок по параметрам (однородность)
Берем важные для нас признаки, например гео или тип устройства или бизнес признак и оцениваем баланс выборок по этим параметрам

6. Отсутствие дублей
Проверяем, что данные не задублировались по каким-то причинам. Например дублирование юзеров или их действий внутри одной группы.

7. Отсутствие не естественных аномалий
Например, если вы оцениваете деньги, то посмотреть распределение чеков. Если у вас ср. чек 1000 р, то появление чека на 1 000 000 выглядит как аномалия, он может сильно влиять на результат теста и нужно разобраться в его происхождении.

8.Равенство инвариантных показателей
Инвариантные показатели - это такие показатели, которые должны оставаться одинаковыми между вариантами эксперимента. Например для сайтов: число js ошибок, скорость загрузки страницы. Т.е. если в одном из вариантов сильно увеличилась длительность загрузки страницы, то скорее всего мы где-то накосячили и результаты АБ теста не будут объективными по этой причине.


В идеале все эти проверки зашить и автоматизировать в отчетности, чтобы каждый раз не делать руками

Кот-аналитик ждет когда отработает его тяжелый запрос к БД

Попал в список 500 людей, блогов, ресурсов, которых читают аналитики.

По данным исследования от NewHR

Полный список тут

Приятно, что вы меня читаете😻

🗂 Мои посты про АБ тесты

1. Минус АБ теста с триалом
2. Анализ АБ тестов с помощью Retentioneering
3. Почему не стоит выкатывать тестовый вариант, если был получен статистически не значимый результат в АБ тесте?
4. Что влияет на размер выборки и длительность  АБ теста?
5. Где брать сильные гипотезы для роста конверсии?
6. Выбор метрик для АБ теста воронки
7. SRM(sample ratio mismatch) - несоответствие соотношения выборок
8. Почему важно учитывать недельную сезонность при планировании срока проведения АБ теста?
9. 5 направлений в которых вы можете накосячить при запуске АБ тестов
10. Интересное исследование от optimizely (платформа АБ тестов)
11. Часть 1. Почему метрики посчитанные на основе сеансов плохо подходят для оценки АБ тестов?
12. Часть 2. Почему метрики посчитанные на основе сеансов плохо подходят для оценки АБ тестов?
13. Часть 3. Почему метрики посчитанные на основе сеансов плохо подходят для оценки АБ тестов?
14. Айсберг АБ тестов
15. Прокси метрики в АБ тестах
16. Доктор, у меня АА тест прокрасился. Это норма?
17. Часть 1. Как проверить корректность системы сплитования трафика для АБ тестов?
18. Часть 2. Как проверить корректность системы сплитования трафика для АБ тестов?
19. Условие применимости t testа
20. Выбросы в АБ тестах. Удалять или нет?
21. Вкалывают роботы, а не человек. Как chat GPT мне АБ тест посчитал?
22. Две крайности АБ тестирования
23. Проверка валидности результатов АБ тестирования
24. Как подобрать уровень значимости α и мощность для АБ теста?
25. Метрики для АБ тестов
26. Peeking problem - проблема подглядывания в АБ тестах или почему не стоит стопать эксп раньше времени
27. Ошибка первого рода, альфа, p-value. В чем разница?
28. 4 подхода к работе с защитными метриками в АБ тесте
29. SRM. Калькулятор и обсуждение
30. Как проводить больше успешных АБ тестов в единицу времени? Часть 1
31. Как проводить больше успешных АБ тестов в единицу времени? Часть 2
32. Число пользователей страницы не равно числу пользователей, которые попадут под экспериментальное воздействие
33. Почему дисбаланс выборок считается серьезной проблемой?
34. Чем отличается хорошая гипотеза от плохой?
35. Проверка гипотез ≠ АБ тесты
36. Почему не корректно брать для расчета результатов АБ теста только пользователей взаимодействовавших с фичей?
37. Анализ результата АБ теста
38. Чек- лист: 30 ошибок, которые можно допустить при проведении АБ теста
39. Чек- лист: проблемы, которые могут вызывать SRM(дисбаланс выборок)
40. Мысль про односторонний/двусторонний тест
41. Почему важен размер выборки в АБ тестах?
42. Связь гипотеза - аудитория в АБ тесте
43. Что такое экспериментальная культура?
44. 10 вопросов про метрики, которые стоит задать себе при дизайне АБ теста
45. Чек-лист для проверки валидности платформы АБ тестирования
46. Как начать делать АБ тесты в компании, если вы их еще не делаете?
47. Базовые требования к модулю сплитования АБ тестов
48. Базовые требования к модулю сплитования АБ тестов. Часть 2
49. Платформа АБ тестов - основные модули
50. Схемы проведения АБ тестов
51. АА тесты какие и когда применять
52. Список вопросов для диагностики АБ тестов в командах
53. Эффекты первичности и новизны в АБ тестах
54. Как понять, что пора делать АБ тесты и понять, что это даст ценность для бизнеса?
55. Да как разобраться в этих стат критериях?
56. Наглядно про ошибку первого рода
57. Стоит ли смотреть на устойчивость p-value во времени
58. Ухудшающие АБ тесты
59. Что такое АБ тест
60. Чем плох анализ эффекта до/после релиза фичи?
61. 30% стат значимых АБ ложноположительные, но у меня же альфа 5%?
62. Давайте увеличим трафик на период проведения эксперимента?
63. Ошибки при оценке SRM
64. 5 реальных причин SRM с которыми я сталкивался на практике
65. Чем отличается АБ тест и пилотный эксперимент?
66. Дисперсия -священная корова АБ тестов
67. Стоит ли использовать пятерочка-дни?
68. Почему АБ тест - это НЕ идеальный инструмент оценки изменений
69. 7 мифов про АБ
70. 6 советов как учить статистику
71. Мифы про АБ ч2

⚖️ Как подобрать уровень значимости α и мощность для АБ теста?

По умолчанию рекомендуют использовать α = 5%, power = 80%.

α = 5% означает, что в случае если нулевая гипотеза истинно верна, то в 5% случаев мы будем её отклонять и считать что она не верна, т.к. стат критерий обнаружит значимую разницу.

power = 80% означает, что в случае если нулевая гипотеза истинно не верна и между вариантами действительно есть значимые отличия, то в 80% случаев мы будем эти отличия обнаруживать, а в 20% нет, т.е. допускать ошибку второго рода β.

Надеюсь текст выше был вам понятен. Зачастую встает вопрос, а какие именно параметры α и мощность брать. Чтобы в этом разобраться давайте рассмотрим 2 примера.

1. Планируем запуск нового сервиса.
Компания планирует запуск рекомендательного сервиса в продукте и ожидает, что это даст прирост дохода на пользователя.

Разработка рекомендательного сервиса дело не быстрое и дорогое, нужна команда, отдельные сервера под сервис и прочее.

Бизнес хочет понять, а действительно ли для пользователей важны рекомендации и они могут дать значимый прирост метрики, перед тем как делать рекомендательный сервис.

Чтобы оценить перспективность идеи решают для отдельных выборок пользователей подготовить ручные рекомендации, собранные людьми или например каким-то простым алгоритмом и потом привязать их к определенным пользователям.

В этой ситуации у нас еще нет рекомендательного сервиса, его разработка стоит дорого и нам важно убедиться, что он действительно даст значимый прирост arpu.

В такой ситуации я бы постарался взять α < 5%, например 1% или 0,01%. Т.к. нам нужно точно знать, что сервис будет приносить рост дохода и что наш результат АБ теста это не ложноположительный результат.

Не приятно потратить пол года разработки, кучу денег, а потом обнаружить, что сервис рекомендаций не дает прироста, т.к. на АБ тесте мы получили ложноположительный результат.

2. Мы уже запустили новый сервис
Допустим все тот же рекомендательный сервис. Но мы перед тем как его делать не проводили АБ тест, чтобы оценить перспективность идеи.

Полгода разработки прошли, куча денег потрачена, все очень верят и хотят результат.

Здесь бы я постарался максимизировать мощность АБ теста и вместо 80% взял бы например 95%.

Все затраты на разработку уже произведены и для нас очень важно найти стат. значимый прирост.

Потому что жалко просто выкинуть результат работы за пол года по причине того, что тест имел недостаточную мощность и не сумел найти прирост, хотя он на самом деле есть.

Максимизируя мощность, мы уменьшаем вероятность ошибки второго рода. Если мы берем мощность 95%, то ожидаем, что обнаружим стат значимое изменение в 95%, а не 80% случаев, как при стандартном уровне мощности.

Поражаюсь возможностям ChatGPT

Я ему написал: "Просимулируй групповую ошибку первого рода для АА теста в котором контрольный вариант сравнивается с 5 тестовыми. Какой уровень групповой ошибки будет при альфа 0.05"

Он понял, что я от него хочу, написал теоретическое пояснение к FWER, написал код для симуляции, провел симуляции и выдал подходящий ответ.

🕹 Оффтоп. Давайте обсудим компьютерные игры для ПК.

Какую игру вы считаете самой выдающейся и легендарной?

Для меня это WarCraft 3 (не дота). Я даже когда-то, в 2004, мечтал стать киберспортсменом.

Как ваши дела? Меня, что-то завалило. Дизайны АБ тестов, укрощение трекинга веб-аналитики, подготовка учебных материалов по АБ тестированию и еще тележка задач, которые в очереди