🚨 Ошибки в работе с коэффициентом конверсии
В одном из чатов спросили про ошибки при расчете коэффициента конверсии, накатал комментарий и решил поделиться у себя)
Пункты ниже не всегда являются ошибками, но чаще всего все же являются, нужно смотреть конкретную ситуацию.
1. Усреднение конверсии по сегментам, которые сильно отличаются. Например, мобилки и десктоп или разные источники трафика.
2. Расчет конверсии на всем потоке пользователей, а не на когортах.
3. Точечная оценка конверсии, без учёта доверительных интервалов.
4. Расчет конверсии без учёта цикла сделки, т.е. периода дозревания когорт.
5. Не верный выбор базисных единиц в числителе и знаменателе. Например, в числитель записали число заявок, а в знаменателе число пользователей. Это получится не конверсия, к среднее число заявок на пользователя.
6. Возможна не верная оценка результатов АБ тестов при расчете конверсии по сессиям. Статья1, статья2
В одном из чатов спросили про ошибки при расчете коэффициента конверсии, накатал комментарий и решил поделиться у себя)
Пункты ниже не всегда являются ошибками, но чаще всего все же являются, нужно смотреть конкретную ситуацию.
1. Усреднение конверсии по сегментам, которые сильно отличаются. Например, мобилки и десктоп или разные источники трафика.
2. Расчет конверсии на всем потоке пользователей, а не на когортах.
3. Точечная оценка конверсии, без учёта доверительных интервалов.
4. Расчет конверсии без учёта цикла сделки, т.е. периода дозревания когорт.
5. Не верный выбор базисных единиц в числителе и знаменателе. Например, в числитель записали число заявок, а в знаменателе число пользователей. Это получится не конверсия, к среднее число заявок на пользователя.
6. Возможна не верная оценка результатов АБ тестов при расчете конверсии по сессиям. Статья1, статья2
🔥13👏2
Удалось ли вам получить пользу или инсайты от постов в этом блоге?
Anonymous Poll
22%
Нет
73%
Да
5%
Сейчас расскажу в комментах
У многих ребят, с которыми я беседую на консультациях, в голове есть идея, что для успешного поиска и трудоустройства им не хватает хард скиллов. Это относится как к начинающим так и к опытным аналитикам.
На мой взгляд хард скиллы переоценены в вопросе трудоустройства. Очень важно иметь обширную сеть контактов. В одном канале я прочитал, что если хотите бустануть карьеру, то проводите каждую неделю хотябы 1 созвон с людьми из индустрии для того чтобы развивать свою сеть контактов. Я согласен с тем, что важно развивать сеть контактов. Но созвоны требуют много времени и индивидуального подхода.
Лучше всего развивать свой блог, выпускать профессиональные статьи, чатиться в профильных чатах, так вы будете обрастать знакомствами.
Как я попал на 3 последних места работы?
1. Когда я устраивался в OWOX, то рассказал, что веду блог toolmark.ru, оказалось, что некоторые из ребят его читали, т.е. получается были заочно знакомы со мной и моими компетенциями. А некоторые были подписаны на меня в FB и им нравились мои аналитические мемчики.
2. В Банк Точка я попал по рекомендации от одногруппника, с которым мы учились на курсе аналитики в Яндекс Практикуме.
3. При трудоустройстве в Альфа Банк я уже был знаком с несколькими аналитиками. Они были нашими клиентами, когда я работал в OWOX. Соответственно внутри компании уже были люди, знакомые со мной и моим уровнем компетенций.
Т.е. во всех случаях у меня было преимущество в виде, знакомств, либо заочного знакомства через статьи в моем блоге или соц.сети.
Развивайте вашу сеть контактов:
- общайтесь в профильных чатах
- знакомьтесь с аналитиками из других компаний
- ходите на конференции
- общайтесь в рамках обучений на которые ходите
- разивайте линкедин и показывайте там свой опыт
- ведите телеграм канал или профильный блог на хабре или VC
Так через несколько лет вы сможете получить обширную сеть контактов и внутри компаний будут люди которые смогут подтвердить ваши компетенции, а это довольно сильное преимущество в сравнении с кандидатом, о котором никто ничего не знает.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍28
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8
А знаете ли вы курсы по аналитике, где не учат инструментам, а учат именно анализу, методикам, исследованиям, выработке рекомендаций и принятию решений на основе данных?
🤔13
Я тут выше выложил пост, где попросил поделиться прикольными материалами по анализу поведения пользователей, но материалами поделились только 2 человека.
По сути основная задача продуктового аналитика это извлечение инсайтов из данных и подготовка рекомендаций по развитию продукта. По данным предыдущих опросов, в канале больше всего людей идентифицируют себя как "продуктовый аналитик".
Но я тогда не понимаю почему никто не поделился материалами. Поэтому ниже будет опрос
По сути основная задача продуктового аналитика это извлечение инсайтов из данных и подготовка рекомендаций по развитию продукта. По данным предыдущих опросов, в канале больше всего людей идентифицируют себя как "продуктовый аналитик".
Но я тогда не понимаю почему никто не поделился материалами. Поэтому ниже будет опрос
🤔1🎉1
Почему вы не поделились материалами?
Anonymous Poll
17%
Я не занимаюсь анализом поведения пользователей
4%
Мои материалы - моя прелесть. Никому не отдам
39%
Мне интересна тема, но у меня нет стоящих материалов
47%
Я только вкатываюсь в эту вашу аналитику и не шарю в этом всем
3%
Другое(пиши коммент)
🤞Почему не корректно брать для расчета результатов АБ теста только пользователей взаимодействовавших с фичей?
Рассмотрим пример, запускаем АБ тест калькулятора. Но решаем, что результат АБ теста будем оценивать только по тем пользователям которые кликали в калькулятор, т.к. вроде же логично, что надо в первую очередь оценить поведение тех для кого фича интересна, зачем нам те кто не проявил никакого интереса к ней?
В таком подходе кроется ловушка. Вы для оценки берете не всех пользователей, которые подверглись эксперименту, а только тех кто отреагировал на изменение, тем самым нарушаете одно из главных предположений о том, что сравниваемые группы в АБ тесте равны по всем параметрам. Соответственно в выборках присутствует ошибка отбора.
Может случится ситуация, что если вы будете считать конверсию только по тем кто работал с калькулятором, то конверсия вырастет в тестовом варианте, но по факту когда раскатите или пересчитаете на пользователей которые видели калькулятор, то конверсия будет ниже в тестовом варианте.
Накидал пример с цифрами в гугл таблице
Вы можете сказать, что Юра опять ты пишешь очевидные вещи, но на самом деле они очевидны когда вы акцентировали на них внимание, а когда ты в потоке работы и у тебя нет времени хорошенько обдумать каждое решение, то легко допустить подобные ошибки. Ко мне приходят иногда с предложениями посчитать АБ тест таким образом))
Рассмотрим пример, запускаем АБ тест калькулятора. Но решаем, что результат АБ теста будем оценивать только по тем пользователям которые кликали в калькулятор, т.к. вроде же логично, что надо в первую очередь оценить поведение тех для кого фича интересна, зачем нам те кто не проявил никакого интереса к ней?
В таком подходе кроется ловушка. Вы для оценки берете не всех пользователей, которые подверглись эксперименту, а только тех кто отреагировал на изменение, тем самым нарушаете одно из главных предположений о том, что сравниваемые группы в АБ тесте равны по всем параметрам. Соответственно в выборках присутствует ошибка отбора.
Может случится ситуация, что если вы будете считать конверсию только по тем кто работал с калькулятором, то конверсия вырастет в тестовом варианте, но по факту когда раскатите или пересчитаете на пользователей которые видели калькулятор, то конверсия будет ниже в тестовом варианте.
Накидал пример с цифрами в гугл таблице
Вы можете сказать, что Юра опять ты пишешь очевидные вещи, но на самом деле они очевидны когда вы акцентировали на них внимание, а когда ты в потоке работы и у тебя нет времени хорошенько обдумать каждое решение, то легко допустить подобные ошибки. Ко мне приходят иногда с предложениями посчитать АБ тест таким образом))
👍16❤🔥2
Подготовка к анализу поведения пользователей в продукте и поиску точек роста
Есть много подходов, нельзя сказать что какой-то правильный или не правильный, поделюсь своим виденьем.
✅ Сначала смыслы - потом цифры
Если у анализа нет целей и контекста, то из него сложно извлечь пользу
✅ Продукт - это не просто картинка на экране
Это набор определенных сценариев для решения задач пользователей
✅ Пользователи - это не просто логи в БД
У них есть задачи, они находятся на разных стадиях жизни в продукте
Продукт и пользователи - это не плоская, а объемная история. Поэтому надо включать свои 3D очки, чтобы увидеть смысл и истории за интерфейсами и цифрами.
Для того чтобы анализ был осознанным и принес результаты, должны быть несколько элементов.
1. Цель
Цель позволит сфокусировать анализ. Как правило целью анализа продукта может быть поиск точек роста(узких мест) в продукте в целом или в отдельных подпроцессах(онбординг, конверсия, удержание и прочее), либо работа с отдельными сегментами или фичами в этих процессах.
2. Сегменты
Без сегментации невозможно сделать осмысленный анализ. Т.к. если вы возьмете усредненных пользователей, то они будут не информативны - сильно зашумлены и вы не увидите реальной картины. Поэтому важно провести сегментацию по значимым параметрам и смотреть сегменты отдельно.
Типы значимых сегментов
2.1 По потребностям и решаемым задачам
2.2 По типу платформы
2.3 По этапу жизни в продукте
2.4 Что-то еще в зависимости от вашего продукта
3. Понимание сценариев использования продукта и их соответствие этапам жизни в продукте.
Т.е. вы должны понимать какие части продукта в какие моменты времени участвуют в онбординге, в активации, в конверсии, в удержании и прочее.
4. Задачи пользователя
У пользователей из разных сегментов есть определенные задачи, критерии выбора, барьеры и на каждом этапе жизни в продукте они должны решать эти задачи, что бы двигаться дальше от онбординга к монетизации.
5. Целевые действия и метрики
Чтобы понять может ли пользователь решить свои задачи при помощи вашего продукта у вас для каждого этапа жизни клиента в продукте должны быть целевые действия.
По которым вы сможете понять, что пользователь решает свои задачи и переходит с этапа на этап. На основе ключевых событий можно создать метрики для оценки эффективности каждого этапа.
Все эти параметры можно завернуть в табличку. Для каждого значимого сегментам вы можете сделать такую таблицу отдельно. Прикрепил пример таблички для интернет магазина, по продаже чая, она далеко не идеальна, но для иллюстрации идеи подойдет.
Резюме
Когда у вас есть понимание бизнес задач, понимание сегментов пользователей и их задач, понимание этапов жизни пользователя в продукте, понимание сценариев использования продукта и метрики по которым вы можете проводить оценку, то после этого можно идти зарываться в логи, анализировать отдельные фичи и микроворонки.
Без понимания сегментов данные будут запутанными и не понятными, без понимания глобальных сценариев, анализ фичей будет вырван из контекста и только запутает.
Есть много подходов, нельзя сказать что какой-то правильный или не правильный, поделюсь своим виденьем.
Если у анализа нет целей и контекста, то из него сложно извлечь пользу
Это набор определенных сценариев для решения задач пользователей
У них есть задачи, они находятся на разных стадиях жизни в продукте
Продукт и пользователи - это не плоская, а объемная история. Поэтому надо включать свои 3D очки, чтобы увидеть смысл и истории за интерфейсами и цифрами.
Для того чтобы анализ был осознанным и принес результаты, должны быть несколько элементов.
1. Цель
Цель позволит сфокусировать анализ. Как правило целью анализа продукта может быть поиск точек роста(узких мест) в продукте в целом или в отдельных подпроцессах(онбординг, конверсия, удержание и прочее), либо работа с отдельными сегментами или фичами в этих процессах.
2. Сегменты
Без сегментации невозможно сделать осмысленный анализ. Т.к. если вы возьмете усредненных пользователей, то они будут не информативны - сильно зашумлены и вы не увидите реальной картины. Поэтому важно провести сегментацию по значимым параметрам и смотреть сегменты отдельно.
Типы значимых сегментов
2.1 По потребностям и решаемым задачам
2.2 По типу платформы
2.3 По этапу жизни в продукте
2.4 Что-то еще в зависимости от вашего продукта
3. Понимание сценариев использования продукта и их соответствие этапам жизни в продукте.
Т.е. вы должны понимать какие части продукта в какие моменты времени участвуют в онбординге, в активации, в конверсии, в удержании и прочее.
4. Задачи пользователя
У пользователей из разных сегментов есть определенные задачи, критерии выбора, барьеры и на каждом этапе жизни в продукте они должны решать эти задачи, что бы двигаться дальше от онбординга к монетизации.
5. Целевые действия и метрики
Чтобы понять может ли пользователь решить свои задачи при помощи вашего продукта у вас для каждого этапа жизни клиента в продукте должны быть целевые действия.
По которым вы сможете понять, что пользователь решает свои задачи и переходит с этапа на этап. На основе ключевых событий можно создать метрики для оценки эффективности каждого этапа.
Все эти параметры можно завернуть в табличку. Для каждого значимого сегментам вы можете сделать такую таблицу отдельно. Прикрепил пример таблички для интернет магазина, по продаже чая, она далеко не идеальна, но для иллюстрации идеи подойдет.
Резюме
Когда у вас есть понимание бизнес задач, понимание сегментов пользователей и их задач, понимание этапов жизни пользователя в продукте, понимание сценариев использования продукта и метрики по которым вы можете проводить оценку, то после этого можно идти зарываться в логи, анализировать отдельные фичи и микроворонки.
Без понимания сегментов данные будут запутанными и не понятными, без понимания глобальных сценариев, анализ фичей будет вырван из контекста и только запутает.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥7👎1
🦸♂ Что объединяет опытных продактов и аналитиков?
Умение быстро оценить потенциал большинства идей при помощи простых расчетов и здравого смысла, а не идти по сложному пути.
Это позволяет сэкономить ресурс и ускорить рост продукта за счёт концентрации на жизнеспособных идеях.
Примеры
1. Upsell
Появилась идея сделать аппсел, чтобы увеличить средний чек и выполнить план по выручке. Посчитали экономику, выяснили, что точка роста вообще не в среднем чеке, а в повторных продажах.
2. Потенциал АБ теста
Хотели запустить АБ тест, вроде гипотеза сильная, но проверили трафик который доходит до точки где должен быть эксперимент и поняли что эксперимент делать нет смысла, т.к. мало пользователей в него попадет.
3. Модель атрибуции
Хотели разрабатывать сложную модель атрибуции для оценки трафика, но проанализировав число каналов трафика до конверсии выяснили, что 80% пользователей совершают 1 сессию, отказались от разработки модели атрибуции.
4. Управление рекламой
Хотели масштабировать прибыльную рекламную кампанию с хорошим romi, но выяснили что рекламная кампания по брендовым запросам и масштабировать ее не удастся, отказались от идеи поднимать ставки.
5. Выбор метрик
Хотели взять для оценки продуктовых изменений метрику LTV, т.к. она максимально важна для бизнеса, но подумав что для сбора статистики по ней придется ждать 6 месяцев отказались от нее в пользу более быстрых метрик.
Умение быстро оценить потенциал большинства идей при помощи простых расчетов и здравого смысла, а не идти по сложному пути.
Это позволяет сэкономить ресурс и ускорить рост продукта за счёт концентрации на жизнеспособных идеях.
Примеры
1. Upsell
Появилась идея сделать аппсел, чтобы увеличить средний чек и выполнить план по выручке. Посчитали экономику, выяснили, что точка роста вообще не в среднем чеке, а в повторных продажах.
2. Потенциал АБ теста
Хотели запустить АБ тест, вроде гипотеза сильная, но проверили трафик который доходит до точки где должен быть эксперимент и поняли что эксперимент делать нет смысла, т.к. мало пользователей в него попадет.
3. Модель атрибуции
Хотели разрабатывать сложную модель атрибуции для оценки трафика, но проанализировав число каналов трафика до конверсии выяснили, что 80% пользователей совершают 1 сессию, отказались от разработки модели атрибуции.
4. Управление рекламой
Хотели масштабировать прибыльную рекламную кампанию с хорошим romi, но выяснили что рекламная кампания по брендовым запросам и масштабировать ее не удастся, отказались от идеи поднимать ставки.
5. Выбор метрик
Хотели взять для оценки продуктовых изменений метрику LTV, т.к. она максимально важна для бизнеса, но подумав что для сбора статистики по ней придется ждать 6 месяцев отказались от нее в пользу более быстрых метрик.
🎉12👍7
Как часто вы заходите в этот канал?
Anonymous Poll
54%
Если увидел в списке каналов, что есть новый пост, то захожу
7%
Ежедневно проверяю, жду новые посты
22%
1-3 раз в неделю специально захожу посмотреть новые посты
9%
Несколько раз в месяц
12%
Захожу когда вспоминаю, что в канале может быть нужная мне инфа
2%
Другое
В сегодняшней статье хотел бы взглянуть на метрики с разных сторон.
🎈1. Метрики не плоские, а объемные
Как правило метрики это не просто одна цифра. Если говорим про какое-то среднее значение, то оно рассчитано на основе набора отдельных значений. Соответственно метрика - это некоторое распределение значений, в распределение могут быть разные сегменты, которые могут вести себя по разному. В выборке могут быть выбросы.
Вы можете посчитать одну и ту же метрику в разные периоды времени и получить одинаковое среднее значение, но можно ли утверждать, что метрика не изменилась?
Нет, т.к. могла измениться структура сегментов метрики или могли появиться выбросы, но среднее может не измениться. Поэтому всегда важно помнить, что метрика это не просто плоская цифра, метрика - это объем.
📐2. Точечная и интервальная оценка метрики
Например, вы посчитали конверсию 2 вариантов страницы. В первом конверсия 3/100 = 3%, а во втором 300/10000 = 3. Можно ли считать, что метрики одинаковые? С точки зрения точечной оценки да.
Но если мы через эти метрики хотим оценить параметры в ГС, то нам понадобиться доверительный интервал. Там где мало наблюдений, первый вариант, доверительный интервал будет более широкий, т.е. оценка будет менее точная, а там где 10000 наблюдений интервал будет более узкий и точный.
🚣🏾♂️ 3. Метрика - это процесс
Как правило метрика сама по себе лишена смысла. Для того чтобы она обрела смысл нужно её с чем-то сравнить, либо посмотреть её в динамике. Метрика обладает динамикой и отражает реальные процессы, поэтому нужно смотреть метрику в динамике.
Этот пункт вытекает из предыдущего. Т.к. метрика это процесс, то процесс может быть долгим, а может быть быстрым. Например, чтобы оценить retention надо ждать нужный период времени, а что бы оценить конверсию в первую покупку достаточно выдержать время закрытия окна конверсии в когорте. Соответственно важно помнить про это когда выбираете метрики для оценки продуктовых изменений.
⚖️ 5. Trade-off (баланс) метрик
Одна метрика не может быть хорошим инструментом для оценки ситуации. Всегда должны быть еще несколько метрик, которые будут помогать держать баланс в продукте. Например, вы выкатили новую фичу с целью повысить повторные продажи в отдельном сегменте пользователей, допустим повторные продажи выросли, вроде классно?
Но если посчитать метрику среднее число обращений в тех поддержку на пользователя, то эта метрика тоже выросла и у нас выросли затраты на обслуживание, которые перекрывают доходы от новой фичи. Если бы мы смотрели только на метрику продаж, то думали бы все классно и в итоге могли загнать бизнес в убыток.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥7
Напомню, что у нас есть уютный чатик где разгорелась битва за эксель.
Присоединяйся! Встань на защиту🛡 эксель или накинь 💩 на вентилятор https://xn--r1a.website/bor_chat
Присоединяйся! Встань на защиту
Please open Telegram to view this post
VIEW IN TELEGRAM
😁9🤣4❤1