Как измерить влияние эксперимента на продукт

Не всегда бизнес-цель точно описывается одной удобной метрикой. Из-за этого проанализировать результаты А/Б-тестирования бывает проблематично. Но выход есть. Вот что можно пробовать:

🔸 Искать и валидировать прокси-метрики.

Не можете быстро измерить повторные покупки, зато можете узнать, остался ли пользователь доволен продуктом и рекомендовал ли его еще кому-то.

🔸 Фокусировать все команды на бизнес-метриках.

Определили цель на квартал и проводите большинство экспериментов, чтобы достичь именно её. Гипотезы, которые не решают главную задачу, не тестируете.

Советами поделился Senior Product Manager ML в Booking.соm Андрей Менде в новых выпусках 5-minute Growth. Больше про эксперименты можно узнать именно там.

Смотреть видео

Узнать больше про шоу

Посмотрели шоу 5-minute Growth и научились запускать регулярные growth-эксперименты в теории ⤴️

Пора переходить к практике. Поможет сервис для менеджмента экспериментов EXPF Sigma.

Наши друзья из продуктовой и консалтинговой компании EXPF создали платформу, на которой можно:

1. Запускать эксперименты на любые сегменты пользователей при помощи фича-менеджера.
2. Управлять доставкой фичей после эксперимента.
3. Запускать эксперименты со слоями и без слоев.
4. Отправлять информацию об экспериментах в любую систему аналитики.

После простой интеграции вы сможете запускать эксперименты по любым правилам и развивать свой продукт в разы быстрее.

Ознакомиться с платформой

5 способов сохранить бизнес в кризис

Основатель платформы Profitwell Патрик Кэмпбелл проанализировал данные о доходах более 27 тысяч компаний и написал длинный тред в Twitter с неутешительными выводами.

В пандемию «просадка была чуть больше, чем во время рождественских каникул». Сейчас состояние экономики намного хуже. Особенно плохо приходится B2B — у них цифры вообще, как в кризис 2008 года 🥴 Что можно сделать:

1️⃣ Сократить косты

Выгрузить P&L и изучить всё, на что компания тратит деньги. Условно, оплачивали семь таск-менеджеров под предпочтения каждой команды, оставили один для всех.

2️⃣ Удерживать пользователей

Устранить ошибки при оплате — и вот уже отток не 20–40%, а меньше. Добавить оффбординг с привлекательным оффером для тех, кто только нажал отмену, — 25% из них останутся в подписке. Провести кампанию реактивации (не один раз) — вернутся еще 5% отписавшихся. Предложить апгрейд месячной подписки до годовой — LTV вырастет на 200–800%.

3️⃣ Пересмотреть целевую аудиторию и расширить географию

Сместить фокус и переориентировать бюджеты на новые сегменты, если прежние больше не покупают.

4️⃣ Вспомнить про перекрестные продажи

Найти существующие фичи, которыми пользуются менее 40% пользователей, достать их и предлагать в дополнение к основному продукту. Так можно увеличить LTV на 18–54%.

5️⃣ Снизить скидки

Скидки выше 20% привлекают пользователей, которые не задерживаются в продукте надолго. Если сократить скидки вдвое, в 9 из 10 случаев метрика удержания не изменится. Зато доход вырастет.

В треде еще четыре идеи о том, как вырасти в кризис.

Будет много 🔥 — сделаем до Нового года пост и про это.

Если не хватает трафика для A/B-тестирования

Дано: онлайн-магазин с месячной аудиторией 10 тысяч пользователей.

Гипотеза: Сейчас при оформлении заказа пользователь должен авторизоваться. Кажется, что это действие сильно роняет конверсию в заказ. Если перенести авторизацию на экран успешной покупки или хотя бы сделать её опциональной, конверсия вырастет.

Проблема: Текущая конверсия в заказ 6,5%. Чтобы поднять её на 10% и задействовать при этом две тестовые группы, нужно 70 тысяч пользователей (7 месяцев наблюдений) 🫠

Решение:

1️⃣ Свести к минимуму количество тестовых групп: убираем одну с опциональным шагом авторизации, так как эта полумера не несет большого смысла, и получаем 45 тысяч пользователей (4,5 месяца).

2️⃣ Выбрать более высокую базовую конверсию: планируемое изменение лишь косвенно влияет на конверсию в заказ, поэтому берем в расчет конверсию нажатия кнопки «Оплатить» 7,5% и сужаем выборку до 40 тысяч пользователей (4 месяца).

3️⃣ Увеличить размер изменения, который ожидаем увидеть: меняем 10% на 20% — теперь нужно 10 тысяч пользователей (один месяц).

4️⃣ Свести точность оценок на минимум: необязательно, но позволяет уложиться в 2 недели.

Такой кейс разобрала Аня Лазуткина в своем мини-курсе «Заметки продуктового менеджера». Все 15 выпусков доступны по подписке Epic+.

Смотреть видео

Узнать подробнее про курс

Финальный ивент в 2022 году

Год был непростым для всех без исключения. Пришлось пересматривать ценности, адаптироваться к новой реальности и, несмотря ни на что, продолжать делать, что должно.

На этой неделе 21–22 декабря проведем юбилейный 50-ый (!) онлайн-ивент «Челленджи в EdTech — 2022».

Узнаем, с какими вызовами новой реальности столкнулись EdTech-компании и со всем ли удалось справиться. Спойлер: не со всем и не сразу.

Честные доклады с цифрами и практическими выводами презентуют эксперты из Нетологии, Skyeng, Фоксфорда и Учи.ру.

Дата и время: 21–22 декабря декабря в 17:00

Формат: митап (спикеры выступают с презентациями, а вы можете задавать вопросы в чате).

Ивент будет доступен по подписке Epic+. Записи добавим в видеотеку в дополнение к другим 400+ выступлениям.

Присоединяйтесь, чтобы извлечь уроки из чужого опыта и вдохновиться на рост.

Добавить событие в календарь

Какие каналы привлечения использовать в 2023 году

⭐️ Для развития бренда:

— амбассадоры и блогеры;
— коллаборации и спецпроекты с другими компаниями или медиа-пространствами;
— блог и медиа;
— активная пиар поддержка, в том числе через бюджетный сервис Pressfeed;
— ивенты;
— Hybe.iо или Segmento для охватной рекламы;
— мультиролл Яндекс и прероллы на YouTube для OnLineVideo-кампаний;
— тематические площадки, вроде Авто.ру, для статичных размещений;
— баннеры, билборды, спецпроекты в офлайн.

💸 В перфоманс-маркетинге:

— Яндекс;
— MyTarget;
— МТС Маркетолог для компаний с небольшими бюджетами для тестов;
— SEO;
— CPA-блогеры в Telegram, Дзене и не только;
— триггеры;
— чат-боты;
— перекрестные продажи на сайтах, внутри приложения и не только;
— программы лояльности;
— геймификация.

Подборкой поделился маркетинг-лид в Тинькофф Город Никита Дмитриевский. Подробнее о том, как использовать каждый инструмент, он рассказал на нашем митапе «Black Friday в новой реальности».

Смотреть бесплатно

Как изменилась индустрия EdTech в 2022 году

Образовательные проекты столкнулись с общими проблемами, вроде блокировки социальных сетей, и пережили свои характерные трансформации:

🔸 Стали более востребованными курсы по программированию и аналитике, но просел спрос на курсы по маркетингу.

🔸 У пользователей появилась потребность в переобучении за более короткий срок с возможностью сразу применять новые навыки на практике. Из-за этого многие игроки стали тестировать формат буткемпов.

🔸 Раньше для теста запускали много абсолютно разных продуктов, сейчас новых запусков меньше, они точечные и выверенные.

❗️Сегодня стартует первый день митапа «Челленджи в EdTech — 2022».

17:00-17:30 «Как добиться роста органики до 40% за счет охватных инструментов»
Анна Старчихина, СМО в Нетологии

17:30-18:00 «Как в Skyeng внедряли подписки и почему получилось не сразу»
Дмитрий Бормотов, Head of Product в Skyeng

Добавить событие в календарь

Второй день финального митапа «Челленджи в EdTech — 2022»

Сегодня обсуждаем антикризисные инструменты. Компании расскажут, что помогло им сохранить продукт и команду в этот тяжелый год.

17:00-17:30 «Как сохранить детскую образовательную платформу во время взрослого кризиса»
Катя Молчанова, Product Lead в Учи.ру

17:30-18:00 «Как в кризис построить и сохранить команду-опору»
Диана Змиенко, CMO в Фоксфорде

Добавить событие в календарь

Гайд по growth-метрикам

В американском венчурном фонде a16z определили бенчмарки для B2B-компаний:

— YoY ARR growth
— Gross dollar retention
— Net dollar retention
— Gross margin
— Free cash flow margin
— Gross margin-adjusted CAC payback
— Magic number
— Rule of 40
— Revenue burn multiple
— ARR per FTE

Чтобы сравнить свои цифры с эталонными, достаточно ответить на четыре вопроса о компании.

Попробовать

P.S. Скоро обещают сделать такой же инструмент для B2C.

P.P.S. Если нужно подробнее рассказать про эти метрики, дайте знать — 🔥

Ваше приглашение на Междусобойчик Эйч Teams

Под Новый год наши друзья из Эйч собрали 20 ведущих IT-команд, чтобы проверить ваши хард скиллы и подарить подарки. Заглянуть на Междусобойчик — маст-ду для всех, кто работает в IT и Digital.

1️⃣ Выбираете свою профессию на сайте.

2️⃣ Проходите хардовый тест.
Пройти можно только один тест и только один раз. Вопросы составил Яндекс Практикум, так что удастся почелленджить свои скиллы.

3️⃣ Получаете цифровые подарки.
Например, сертификаты на карьерные консультации Эйч, спорт от Фитмоста, книги МИФ, курсы Синхронизации, а также мерч от компаний.

Междусобойчик закатили команды Альфа, Точки, Авито, Сбера и другие участники проекта Эйч Teams. Помимо теста, там можно познакомиться с внутренней кухней компаний, в которых вы хотите работать, чтобы заранее понимать — мэтч это или нет.

В общем, не пропускайте. Проходите хардовый тест по своей профессии и получайте новогодние подарки по ссылке: https://teams.h.careers/specials/mezhdusoboychik

4 способа преуспеть в кризис

Вы поставили много (хотя можно и больше :)) 🔥 на прошлом посте, поэтому продолжаем разбирать тред Патрика Кэмпбелла. Сегодня о том, как он предлагает компаниям расти в кризис:

1️⃣ Увеличить количество лидов

Внедрить freemium и привлекать много новых пользователей. Сейчас они не готовы платить, но после рецессии конвертировать их в платящих будет намного легче, чем холодную аудиторию.

2️⃣ Избавлять пользователей от тревоги

Публиковать больше контента, проводить больше онлайн- и офлайн-мероприятий, создавать сообщество и давать ответы на вопрос: «Что делать?». За это бренд запомнят как полезный и вернутся, когда будут готовы к покупке.

3️⃣ Хантить клиентов у конкурентов

Заявить о себе и давать больше ценности за меньшие деньги, а то и бесплатно — в кризис это работает блестяще. Особенно если учесть, что альтернатива — остаться без клиентов вообще.

4️⃣ Грамотно повышать цены

Дождаться момента, когда количество пользователей начнет снова расти. Напомнить им про ценность, которую они уже получили. Объяснить, что повышение цен необходимо, чтобы давать еще больше преимуществ. В конце обязательно добавить: «P.S. Если это существенно повлияет на вас, дайте нам знать, и мы что-нибудь придумаем».