Похоже в Яндекс музыке проходит АБ тест, но видимо что-то пошло не так и на меня выкатили сразу 2 варианта кнопки 🧐

Минус АБ теста с триалом
Выше я выложил пост, в котором Яндекс музыка предлагает попробовать Яндекс музыку с полным функционалом в течении 30-60 дней бесплатно, а потом оплатить.

Недавно я тоже участвовал в проведении АБ теста с триалом, основной минус АБ тестов где есть триал - долгий срок сбора информации. Как правило бизнесу интересна конверсия в оплату после триала или arpu, а не конверсия в триальную версию.

Получается, что сначала нужно собрать выборку нужного размера для теста, а потом ждать еще n дней пока идет триал, после этого можно будет понять итоговую конверсию в покупку и arpu.

В целом если у продукта большая аудитория, то можно взять небольшой кусок этой аудитории и провести тест с триалом на ней, но если продукт с маленькой аудиторией, то получается, что мы должны заморозить существенную часть аудитории от других тестов на эти n дней, чтобы не внести искажения в результаты теста. Соответственно это снижает скорость развития продукта.

P.S. Конечно есть разные подходы, которые могут помочь решить описанные проблемы, например мерять не конверсию в покупку, а возможно какую-то прокси метрику, но это тоже не самая простая задача - найти хорошую прокси метрику.

Ну что, сегодня пятница давайте немного посмеемся
#хиханьки

♟ Почему LTV — плохая метрика для управления продуктом?

LTV (life time value) - суммарный доход, который мы получаем с клиента за период жизни клиента. (можно считать на платящего клиента, можно на привлеченного пользователя)

У этой метрики есть 2 особенности из-за которых она не подходит для управления продуктом.

1. Долгий срок подсчета
К примеру вы сделали изменение в продукте и хотите понять как изменится LTV клиентов в когорте на которых выкатили изменение. Соответственно если у вас срок жизни клиента 1 год, то нужно год ждать, чтобы понять какой будет LTV у новой когорты. Но бизнес не может ждать год, чтобы принять решение, потому что за год все сильно может измениться.

2. Метрика не информативна
Она не позволяет понять в каком месте у нас проблемы. Допустим мы выяснили, что у нас упал LTV, но как понять что с этим делать? LTV не дает ответа на этот вопрос. Как правило нам нужны прокси метрики более низкого порядка. В упрощенном виде LTV можно представить как

LTV на пользователя = конверсия в 1 покупку * средний чек * число покупок за период жизни

В зависимости от того какая из метрик проседает, потребуется работать с разными зонами продукта/маркетинга.

Например
- если проседает конверсия в первую покупку, надо проверять источники трафика на то, привлекаем мы целевой трафик или нет, также есть смысл поработать с конверторами(лендингами), ценностными предложениями.

- если проседает средний чек и у вас продукт подразумевает вариативность цен и состав покупки, то нужно поработать над офферами, ценообразованием, механиками апсела, кроссела.

- если проседает число покупок, то нужно понять оправдал ли продукт ожидания клиентов при первом использовании, собрать фидбек и возможно скорректировать продукт, также могут быть проблемы с биллингом и повторными списаниями, а возможно вам нужно выстраивать e-mail, push рассылки для повторных продаж.

Для чего тогда нужна метрика LTV?
На мой взгляд эта метрика нужна для понимания возможности масштабирования продукта и управления закупкой трафика.

Когда найден product market fit, то настает этап масштабирования и чтобы перейти к масштабированию важно, чтобы LTV был больше чем затраты на клиента, т.е. экономика работала в плюс. Одна из основных статей затрат в онлайн продуктах - это стоимость привлечения клиента.

Обычно для масштабирования закладывают условие, что LTV > CAC в 3-5 раз. Это оправдано тем, что при масштабировании CAC(стоимость клиента) постоянно растет. На это есть много причин: сначала вы выгребаете самую целевую аудиторию, которая имеет хорошую конверсию и получаете низкий CAC, а после надо идти в менее целевые сегменты, где конверсия снижается и CAC растет, кроме этого цены на аукционах рекламных систем постоянно растут из-за роста конкуренции.

Для управления закупкой трафика LTV в чистом виде тоже не подходит, т.к. мы не можем запустить рекламу и ждать год, когда дозреет LTV по когорте привлеченных пользователей, т.к. управлять рекламой нужно оперативно. Тут можно смотреть на прогнозный LTV, т.е. например прогнозировать LTV когорты через 1 год на основе жизни этой когорты в 1 неделю, но это не самая простая задача.

Продолжаем тему АБ тестов
#хиханьки

🤟 Чаты в которых можно потрындеть за анализ данных
Ранее я делал подборку полезных чатов по инструментам аналитика, где можно задать вопрос по определенным хард скилам.

Сегодня я собрал подборку чатов где общаются аналитики и те кто хочет ими стать.

1. Работа ищет аналитиков
Здесь размещают вакансии для аналитиков, обсуждают аналитические штуки, постят котов и природу.

2. Noukash - Войти в Айти
Здесь в целом чат про айти, но правят балом аналитики, так что зачастую все сводится к аналитическим темам

3. Karpov courses чат
Чат курсов от Карпова и Ко, обсуждают курсы, решение задачи и прочее

4. Дата аналитика и с чем её едят
В чатике в основном общаются действующие аналитики, обсуждают всякие рабочие задачи по анализу данных, etl, построению хранилищ

5. Карьерный трек для аналитиков
Здесь обсуждают как найти работу аналитикам, помогают составить резюме, дают тестовые задания для тренировки.

🤠 Привет! А расскажите в каких темах вы сейчас варитесь?
Например:
1. Пытаюсь разобраться в АБ тестах
2. Пытаюсь научиться SQL
3. Придумываю метрики для продукта
4. Пытаюсь составить резюме и найти работу аналитиком
5. Пытаюсь настроить эл. коммерцияю в яндекс метрике
6- ... Что-то еще

Хочу понять чем живет моя аудитория, чтобы выдавать более релевантный контент для решения ваших задач

Аналитики поймут
#хиханьки

💼 Подборки полезностей
За последнее время, я подготовил 3 подборки для погружения в анализ данных.
Хочу поделиться статистикой сохраняемости этих подборок.

1. Подборка курсов по разным инструментам аналитики 1300 просмотров и 269 сохранений.
2. Подборка комплексных курсов по аналитике 1100 просмотров и 126 сохранений.
3. Подборка по АБ тестам 2200 просмотров и 330 сохранений.

Сохраняйте себе если кто-то пропустил эти подборки

🛑 Почему не стоит выкатывать тестовый вариант, если был получен статистически не значимый результат в АБ тесте?

Когда мы запускаем АБ тест, то можем получить 2 результата:
1. Метрика между вариантами эксперимента стат. значимо отличается (в плюс или в минус)
2. Метрика между вариантами эксперимента не имеет стат. значимых различий

Если метрика в тесте лучше чем в контроле и получено стат. значимое различие, то можно выкатывать экспериментальную версию.

Но если мы открутили АБ и не смогли обнаружить стат. значимых различий может появиться вопрос, а можем ли мы выкатить тестовую версию, кажется что тестовая и контрольная версия дают одинаковый результат, раз нет стат. значимых отличий. На самом деле это не так, тут есть важный нюанс.

При дизайне АБ теста закладывается определенный MDE, минимальный обнаруживаемый эффект и мощность, т.е. вероятность с которой мы хотим обнаружить этот эффект (обычно 80%). В зависимости от MDE, мощности, а также уровня альфа определяется размер выборки, который нужен чтобы обнаружить эффект равный MDE в 80% случаев.

Когда же мы открутили заранее определенную выборку, но не получили стат. значимых отличий, то это говорит о том, что скорее всего эффекта заданного размера нет, иначе бы мы его обнаружили, но может быть другой эффект который меньше чем MDE. Этот эффект может быть как в плюс так и в минус, но для того чтобы задетектировать этот эффект с определенной мощностью нужен больший объем выборки.

Т.е. получается, что выкатив тестовую версию при отсутствии стат значимых различий, через какое-то время мы можем получить рост или падение нашей метрики на всей базе продукта. Согласитесь, что никто бы не хотел внезапного падения метрики, поэтому не стоит выкатывать тестовую версию при отсутствии стат. значимого улучшения.

Привет! Если здесь есть владельцы каналов про аналитику, продукты, маркетинг и вы продаете рекламу, то напишите мне, ищу где прорекламировать свой канал.

Либо можем сделать взаимообмен постами. Я пишу обзор на ваш канал и публикую у себя, а вы пишете на мой и публикуете у себя.

@borzilo_y

Погрешность

Погрешность - то что не дает спокойно жить аналитикам. Когда мы пытаемся провести какую-то оценку параметров генеральной совокупности на основе выборки всегда возникает погрешность.

Сегодня хочу попробовать новый формат, подготовил ноутбук, где на очень простом примере разбираю, что такое погрешность.

Если формат с ноутбуком нравится ставь 🔥

💎 CRO микро советы

Придумал еще одну рубрику для канала. CRO - conversion rate optimization. Микро советы по оптимизации конверсии. Одна из тем которая мне очень нравится - это оптимизация конверсии. Рост многих продуктов завязан на конверсии, т.к. её увеличение может дать сильный рост в деньгах, а также снижение стоимости привлечения клиента.

Сегодня поговорим про конверсию в общем. В общем случае конверсия это перевод человека из одного состояния в другое. Например:

🔸 Увидел рекламу → перешел на сайт
🔸 Просмотрел сайт → оставил заявку
🔸 Заявка → покупка продукта
🔸 Покупка продукта → Повторная покупка

По сути набор конверсий образует воронку. Для того чтобы успешно работать с конверсией важно уметь правильно считать конверсию.

Конверсию можно посчитать по разному. Некоторые считаю конверсию как число целевых действий деленное на число сеансов пользователей за период. Такой подход стал популярным благодаря системам веб-аналитики таким как GA и ЯМ.

Но на мой взгляд более оптимально считать конверсию не на сессию, а на число пользователей, т.к. это делает показатель более точным, т.к. сессия это синтетический показатель.

Кроме этого важно отдельно считать конверсию в первую покупку и в повторные. Т.к. пользователи, совершающие первую и повторную покупку качественно отличаются друг от друга.

Так конверсия в первую покупку говорит нам о том насколько мы привлекаем целевых пользователей и насколько мы умеем продавать, т.е. показывает качество наших коммерческих материалов. Конверсия в первую покупку c1 считается как число пользователей когорты совершивших первую покупку / число пользователей в когорте.

Конверсия во вторую покупку с2 говорит о том насколько наш продукт оправдал ожидания клиента. Считается как число пользователей совершивших вторую покупку / число пользователей совершивших первую покупку.

Продолжать тему CRO?

#CRO

Классный кейс от авито по использованию предиктивной аналитики для оптимизации рекламных кампаний.

Они используют прогнозный LTV для оптимизации рекламы. Недавно я писал о таком подходе в посте про ltv

Ну что освоили SQL?
#хиханьки

⛳️ Как ставить задачи аналитику?

Нашел в закромах статью, которую писал 5 лет назад. Она по прежнему актуальна, поэтому делюсь)

Заметил, что многие неправильно ставят задачи перед аналитиками.

Пример 1
Не правильно — нужно проанализировать трафик.

Правильно — определить выгодные и не выгодные рекламные каналы, согласно целевым KPI и подготовить рекомендации по перераспределению бюджета.

Проблема в том, что вместо конкретного вопроса обозначен процесс. Если вы так поставите задачу, то скорее всего получите кучу не нужных данных, а то что нужно в итоге можете не узнать.

Пример 2
Не правильно — нужно настроить google analytics.

Правильно — Нам нужно понимать эффективность рекламных каналов, количество и стоимость конверсий по каждому каналу.

В качестве макроконверсий мы должны отслеживать звонки и заявки с сайта. В качестве микро конверсий выделение e-mail, выделение телефонов дилеров, переход на страницу дилеров.

Здесь проблема в том, что аналитик не знает стратегию проекта, цели и задачи. Не знает какие решения должны быть приняты на основе данных, а соответственно не знает какие данные и отчеты будут нужны ЛПР.

Пример 3
Не правильно — нужно провести анализ систем аналитики и понять в чем причина низкой конверсии интернет магазина.

Правильно — нужно провести исследование и сформировать список гипотез по увеличению конверсии по конкретной товарной группе, в конкретное целевое действие.

Здесь проблема в том, что аналитика ограничивают, тем что нужно проанализировать данные в системах аналитики, но обычно этого недостаточно, т.к. чаще всего системы аналитики показывают ситуацию, но не объясняют почему так происходит, для этого нужны дополнительные исследования: юзер тесты, интервью, опросы.

Кроме этого, если на сайте много товаров, то не правильно мерять конверсию по всем товарам, т.к. по каждой товарной группе могут быть разные предложения и разная конкурентная обстановка. Кроме этого важно обозначить в какое целевое действие надо увеличить конверсию.


Резюмируя хочу сказать, что к аналитикам нужно приходить с конкретными вопросами, если вы хотите получить конкретный ответ, а не отчет на 100500 листов, с которым непонятно что делать.