​Симулятор GoPractice 2.0 ✔️

Вот и подошло к концу моё погружение в мир управления ростом продукта с командой Handy. Кевин и другие ребята стали как родные. Надеюсь, у них всё получится! 🙂

Если вы не поняли о чём речь, значит вы ещё не попробовали «Симулятор управления ростом продукта» от GoPractice. Это действительно уникальный курс по продуктовой разработке. Охват тем, практика на живых данных, количество ссылок на реально полезные статьи, сложность вопросов — всего хватило!

В отличии от первого Симулятора, который был больше нацелен на менеджеров продукта и аналитиков, этот подойдёт практически всем, кто занимается развитием продукта.

✔️Руководитель найдёт для себя серию крутых примеров успеха/провала компаний и фреймворк для масштабирования бизнеса.
✔️Маркетолог — систему оценки эффективности трафика с учётом эффектов виральных циклов и отличный анализ каналов по уровню защищенности от конкурентов.
✔️Аналитик может потренировать составление сложных SQL запросов и поработать с историческими данными понятного продукта, самостоятельно составить модель роста на базе крутого примера.
✔️Начинающий продакт получит массу полезного материала для самостоятельного изучения, откроет для себя много новых источников знаний и сможет добавить в резюме довольно весомый аргумент в свою пользу. Знаю кейсы, когда людей звали на собеседование только из-за пройденного курса GoPractice.
✔️Опытный продакт получит много тем для размышления, возможность систематизировать и оцифровать вещи, которые делал на интуиции и опыте собственных ошибок. Ну и прокачает насмотренность на несколько уровней!

Если первый курс про запуск продукта на основе данных я проходил в ускоренном режиме, примерно за месяц, то этот я растягивал как дорогой коньяк. Оказалось, что растянул на целых 7 месяцев! Возможно, это самая большая инвестиция в себя, после универа. Только здесь знания, которые можно применять сразу в работе. И останутся они надолго, в отличии от какого-нибудь сопромата.

Кстати, вы, мои постоянные читатели, тоже получили пользу от курса — много вопросов в рубрике #productquestion за последние полгода родились после окончания очередной главы в GoPractice. Если вам было интересно, задумайтесь о прохождении курса, там таких вопросов более 500.

▶️ https://gopractice.ru/course/growth?utm_source=partner&utm_campaign=TSPDFF

PS: Курс дорогой (от 99 900₽), но это тот случай, когда ценность в разы больше стоимости. Плюс у ребят появилась рассрочка на 6 и 10 месяцев от банков партнеров. И небольшой бонус: для подписчиков Продуктория GoPractice дает 5% скидку при покупке курса до 15 июля.

Сегодня #productquestion будет про оценку потенциала ниши для будущего продукта. Даже не вопрос, а возможность подумать и сделать выбор. Правильный он или нет определить невозможно без эксперимента и учёта всех факторов.

Допустим, у вас есть ресурсы для запуска онлайн маркетплейса на новом рынке. Фактор конкуренции давайте вынесем за скобки, для его оценки нужен глубокий анализ. Примем за гипотезу, что уровень конкуренции везде одинаковый, хотя это конечно не так. На какую категорию вы бы ориентировались?

Ответы в опрос👇🏻Завтра опишу как бы я делал такой выбор.

Этот пост поможет при выборе: https://tttttt.me/vladimir_merkushev/794

DAU/MAU (отношение средней дневной аудитории к месячной аудитории) — популярная метрика для оценки вовлеченности пользователей. Метрику в своё время сделал популярной Facebook, который начал включать её в публичную отчетность. Тренд подхватили многие другие компании.

Приложения со значением этой метрики выше 20% считаются крепкими продуктами. Приложения с DAU/MAU выше 50% — мировые лидеры в своей нише.

Но у метрики DAU/MAU есть и свои недостатки. Попробуйте выбрать ключевую проблему этой метрики в опросе👇🏻 Завтра опубликую разбор всех вариантов.

#productquestion

Какую метрику выбрать за основную на определенном этапе — важный вопрос в любом продукте.

Представьте, что вы вступаете в должность руководителя продукта в EdTech компании, которая занимается профессиональным развитием для белых воротничков. Раз в несколько дней пользователям предлагается посмотреть короткий вебинар, пройти тест или выполнить практическое задание. Основная ценность в том, что профессиональное развитие в таком микро формате проще вписать в плотное расписание целевой аудитории.

Вы создаете дашборд ключевых метрик, которые будете отслеживать на постоянной основе. Фаундер говорит, что сейчас очень важно отслеживать рост активной базы пользователей.

Какую метрику вы выберете основной на данном этапе развития продукта? Ответы в опрос👇🏻, комментарии выключаю, чтобы у всех была возможность сделать свой выбор. Завтра будет подробный разбор ответов. Поехали!

#productquestion

​На днях послушал выступление Дмитрия Павлова из Dodo Brands. Ребята делают инфраструктуру и цифровые решения для своих партнёров — кафе и ресторанов по всему миру. Да, Dodo это уже давно не только пицца. Хотя я ещё помню тот вау эффект, когда я первый раз попал на страницу ожидания заказа, а там видеострим из пиццерии, в которой готовят мой пиццу! После такого опыта понимаешь почему Dodo это больше про IT, а не про общепит.

В выступлении Димы был хороший пример того, как даже в компании, где IT в самой основе, могут быть ошибки в экспериментах с участием разных команд. Кейс был такой: команда маркетинга придумала новый сервис — абонемент на кофе. Платишь заранее и можешь по дороге на работу заглянуть в Dodo и взять кофе с собой со скидкой. Кажется идея отличная — кофе это частая покупка, которую можно использовать для дополнительных продаж. Кто берет кофе, может купить и что-то ещё.

Сделали MVP, запустили на базе мобильного приложения Dodo, поддержали небольшой рекламной кампанией. Получили вот такие результаты за 2 недели👇🏻

Внимание, вопрос: можно ли считать этот эксперимент успешным?

Единственного верного ответа здесь нет. Поэтому комментарии оставляю открытыми. Можете написать, почему выбрали тот или другой вариант ответа. Там уже столько вариантов… 🔥

#productquestion

О необходимости технических знаний для менеджера продукта ходит много споров. Но в том, что менеджер должен уметь говорить на одном языке с инженерами и чётко понимать границы продуктовых и технических вопросов, согласны все.

Представьте, что вы планируете запускать сервис такси. Какие технические вопросы вам нужно обсудить с CTO?

Ответы в опрос👇🏻
Завтра сделаю подробный разбор вариантов.

#productquestion

Давно у нас не было вопросов на продуктовые темы. Допустим, вы руководите продуктом, над которым работают три разные команды. И менеджеры двух из них регулярно приходят к вам жаловаться на то, что одна команда не поддерживает инициативы другой, и наоборот. Ваши действия?

1. проведу воркшоп с участием представителей всех трёх команд. Проработаем стратегию продукта вместе

2. при подведении итогов в работе над продуктом буду меньше внимания уделять достижениям каждой команды, больше внимания результатам общих инициатив

3. назначу регулярную встречу с менеджерами трех команд, буду контролировать как они синхронизируют свои планы

4. проведу встречи 1 на 1 с каждым из двух менеджеров, попробую поискать причины разногласий на личном уровне

5. проведу анализ инфраструктуры разработки продукта с участием техлидов, попробую найти проблемы, которые мешают командам работать вместе над общими инициативами

6. свой вариант, можете предложить в комментариях, разберём все уникальные предложения в анализе ответов

Ответы в опрос👇🏻

В понедельник опубликую подробный разбор всех вариантов.

#productquestion

Разбираем ответы на #productquestion о проблемах совместной работы над продуктом. Вопрос, конечно, не имеет единственного правильного ответа. Именно поэтому можно было выбрать несколько вариантов. В зависимости от контекста, все они могут помочь решить проблемы.

1. Встречи с конфликтующими менеджерами 1 на 1 действительно быстрый способ проверить, что причина проблемы находится на личном уровне двух человек. Так бывает, все люди разные. Этот фактор можно исключить одним из первых, согласен с большинством респондентов.

2. Воркшоп с участием представителей всех трёх команд по стратегии продукта. Второй по популярности вариант решения. Разное понимание общей стратегии часто является причиной несогласованных действий команд при работе над одним продуктом. Ключевая роль директора по продукту — регулярно обновлять стратегию, доносить её до всех коллег и проверять что у всех есть единое понимание того, куда и зачем движется продукт.

3. Назначить регулярную встречу для синхронизации самый простой, но не самый лучший вариант. Скорее всего поможет в моменте, но будет отнимать ваше время и время всех сотрудников, включая менеджера третьей команды, у которого все хорошо. А при вашем активном участии на встречах только усилит процесс принятия решений сверху вниз.

4. Проблемы архитектуры могут быть причиной. Если командам проще делать независимые изменения из-за монолитной структуры кода или из-за отсутствия системы независимых экспериментов, они будут приоритизировать эти инициативы. Также можно оптимизировать структуру, по которой распределяется владение (ownership) функционалом продукта среди команд. Если за путь клиента из одного сегмента отвечают разные команды, всегда есть место для несогласованности действий.

5. Пересмотр критериев оценки успеха ожидаемо занял последнее место в опросе. Это проблема культуры компании. Если вы поощряете только достижения команд на уровне их целей, команды будут приоритизировать именно их и делать совместные инициативы вторым приоритетом.

В комментариях предложили ещё один хороший вариант — собраться вместе и «поточить пилу». Проблема может быть и в коммуникации между участниками команд. Если они не знакомы или мало общаются, все зависимости уходят на уровень менеджеров, это очень замедляет процесс и делает его менее эффективным.

Ключевая вещь, к который я хотел привлечь внимание этим вопросом — не все проблемы синхронизации между командами решаются изменением процессов. Ещё одна встреча для синхронизации это первое, что приходит в голову и опрос это подтверждает. Но она не поможет решить более глубокие проблемы в совместной работе над продуктом.

Сегодня в рубрике #productquestion хочу вам задать вопрос про метрики для A/B теста. Представьте, что вы делаете изменения для воронки оформления заказа в онлайн магазине. Какую метрику из этих можно использовать для A/B теста как целевую?

Ответы в опрос👇🏻
Завтра опубликую разбор всех вариантов. Прошлые вопросы можно найти по тегу #productquestion и проверить себя.

Соскучились по продуктовым вопросам? Сегодня хочу вам предложить подумать над такой ситуацией.

Вы — Junior продакт-менеджер студии тренировок по сайклу.
Для увеличения притока новых пользователей команда решает запустить акцию «Приведи друга».

«Приводи друзей, которые еще не тренировались у нас: для них это — отличная возможность попробовать сайкл бесплатно, а для тебя — получить возможность выиграть 1 месяц бесплатных тренировок».

Вы присоединяетесь к обсуждению в момент, когда команда выбирает способ вовлечения большего числа существующих пользователей в акцию.

Основные предложения:

1️⃣ Автоматизировать решение, создав чат-бота. Разослать ссылку по контактам пользователей и далее собирать данные

2️⃣ Создать email рассылку и разослать по базе пользователей, подключить менеджера по продажам для разбора писем и ответов на вопросы о механике акции

3️⃣ Поручить администратору сообщать всем приходящим пользователям об акции, разложить листовки с информацией по студии

За какой из вариантов вы бы проголосовали? Ответы в опрос👇🏻Можно обосновать свой выбор в комментариях к опросу. А завтра я поделюсь подробным разбором всех вариантов.

#productquestion

Прошлый вопрос о выборе решения с командой студии тренировок по сайклу вызвал много реакций и интересных комментариев. Продолжим?

Вы — Junior продакт-менеджер студии тренировок по сайклу.
Для увеличения притока новых пользователей команда решает запустить акцию «Приведи друга». Основная идея акции: Приводи друзей, которые еще не тренировались у нас. Для них это — отличная возможность попробовать сайкл бесплатно, а для тебя — получить возможность выиграть 1 месяц бесплатных тренировок.

Вы присоединяетесь в момент, когда команда выбирает ключевые метрики, по которым будет оценивать успешность эксперимента.

Основные предложения:
1️⃣ Количество новых пользователей, пришедших на первое бесплатное занятие
2️⃣ Количество новых пользователей по акции, забронировавших новое занятие после бесплатного
3️⃣ Количество текущих пользователей, которые получили информацию об акции и продолжили заниматься в студии

За какой вариант вы проголосуйте после обсуждения с командой? Ответы в опрос👇🏻 Выбрать нужно одну ключевую метрику, но можно предложить свой вариант и обоснование выбора в комментариях 😉

Первая часть истории здесь: https://tttttt.me/vladimir_merkushev/1844

#productquestion

Всем хорошего начала рабочей недели! Начнём с разбора ответов на вопрос про метрики.

Напомню, по условиям задачи, вы начинающий продакт и недавно присоединились к команде студии тренировок по сайклу. Нужно принять решение по акции «Приведи друга». Ничего похожего раньше команда не пробовала. А значит перед нами классический эксперимент.

Метрики эксперимента бывают нескольких видов: целевые (target), вспомогательные (supporting) и контрольные (health). Я не хотел явно указывать это в вопросе, но те кто перед выбором подумал «здесь нет единственного верного ответа» — совершенно правы. А те, кто написал про это в комментариях и предложил свои варианты метрик — вообще красавчики 😉

Наиболее близкие к правильному ответу варианты 2 и 3. Количество новых пользователей по акции, забронировавших новое занятие после бесплатного, покажет эффективность акции для роста платящей аудитории. Количество текущих пользователей, которые получили информацию об акции и продолжили заниматься в студии — хорошая контрольная метрика, чтобы оценивать возможное негативное влияние на уже активную платящую аудиторию, например, не раздражают ли их такие рекламные коммуникации. Количество новых пользователей, пришедших на по акции, точно не может быть основой для выводов об эффективности эксперимента, но её будет полезно отслеживать для анализа воронки.

Этот вопрос мы придумали с командой GoPractice, которая скоро запустит новый образовательный курс для начинающих продактов. Он создан для тех, кто хочет перейти в продакт-менеджмент из смежной роли или индустрии.

Если вы планируете такой карьерный переход и не знаете, с чего начать, то присоединяйтесь к сообществу свитчеров (не путать со свингерами! 😁), заполнив заявку в этой форме. Это не доступ к курсу, но возможность пообщаться в сообществе людей с похожими целями и получить релевантную информацию от ребят из GoPractice.

#productquestion

Представьте ситуацию. Вы менеджер продукта в крупной страховой компании. Ваши сотрудники используют приложение для регистрации повреждений авто клиента при страховом случае. Сотрудник компании делает стандартный набор фотографий авто по определенным правилам, после этого данные попадают на анализ к специальной команде экспертов, которые оценивают стоимость ущерба. От точности оценки зависят ваши расходы — у вас есть сеть партнерских СТО и вы оплачиваете их работу по ремонту авто.

Оценка иногда занимает несколько дней, если команда экспертов загружена. Это — основная причина обращений в поддержку от недовольных клиентов.

Команда разработки увлеклась идеей машинного обучения и в «свободное от работы время» сделала и обучила на исторических данных ML модель, которая делает эту оценку ущерба без участия экспертной команды.

На какие вопросы вы как менеджер продукта должны найти ответы для внедрения новой модели в продукт?

Ответы в опрос, можно выбрать несколько ответов. Завтра сделаю разбор каждого варианта👇🏻

#productquestion

Разбираем варианты ответов на вопрос про внедрение новой ML модели.

Неправильных ответов в опросе не было — все эти вопросы (а возможно и другие, в комментариях справедливо упомянули юридические вопросы использования данных) стоит проработать и обсудить с командой. Я бы хотел обратить ваше внимание на то, за какие вопросы отвечает менеджер продукта, а за какие ML команда.

1. Стоимость внедрения и поддержки, эффективность с точки зрения бизнеса — самый популярный вариант в опросе. Полностью согласен. Главный вопрос «зачем?» за который отвечает продакт.

2. Ответить на этот вопрос помогут бизнес-метрики, связанные с внедрением модели. Из условий кейса понятно, что для компании важно уменьшить время оценки ущерба, но при этом контролировать качество оценки, которое напрямую влияет на прибыль. Можно за ключевую метрику взять время, учитывая что модель не сможет дать оценку в 100% случаях и нужна будет возможность экспертной оценки в уникальных случаях (редкое авто, фото в плохом освещении и тд). Качество оценки можно отразить метрикой в деньгах. Также стоит подумать о внедрении новой контрольной метрики — жалобы на качество оценки от клиентов.

3. Способ проверки модели тоже ответственность продакта. При наличии исторических данных проверка на них это первое, что стоит сделать. Тестирование в продакшн через пилот или A/B тест зависит от количества данных и возможности выделить независимый сегмент или регион для пилота. В нашем кейсе, когда количество оценок явно не тысячи в день, лучше выбрать пилотный запуск. A/B эксперимент потребует слишком много времени.

4. Вопросы выбора типа модели, метрик качества ее работы и формирования датасета — ответственность ML команды, но продакт должен четко понимать как принимаются решения. В машинном обучении часто бывает так, что разные способы решения одной задачи могут отличаться на порядок по времени разработки и требованиям к вычислительным ресурсам. Роль продакта — построить логичный и прозрачный процесс выбора решения, а не просто довериться интуиции ML команды.

Проверьте себя ещё раз. Когда вы пропускали какой-либо вопрос, по какой причине вы это делали?

Подробно эти вопросы разобраны в первых 3 главах курса Симулятор управления ML/AI проектами от GoPractice. В нём вы выступаете в роли менеджера, который внедряет ML в продукты сервиса такси Viro. У вас большая экспертиза в продуктах компании, но начальные знания по ML/AI технологиям. Шаг за шагом вы узнаете детали работы моделей машинного обучения и принципы их использования в коммерческих продуктах.

Я сейчас в процессе прохождения курса. Несмотря на то, что в моей практике был запуск ML продукта с нуля, узнаю много нового и вижу каких ошибок можно было бы тогда избежать.

Присоединяйтесь:
https://gopractice.ru/course/ml?utm_source=partner&utm_campaign=W5QS3I

#productquestion

Качаем AI/ML матчасть

В наше время, когда AI звучит не один десяток раз в презентации каждого руководителя крупной продуктовой компании, а каждый второй стартап делает AI-помощник для сами-выберите-чего, может создаться впечатление, что нейронные сети захватили эту сферу целиком и полностью. Open AI и их знаменитый чатик мощно популяризировали нейронные сети.

Машинное обучение (ML) является одной из областей искусственного интеллекта (AI) и используется в научных задачах с 80-х годов прошлого века, а начиная с 2010-х широко используется в продуктах и бизнесе. Возможность научить машину решать задачи, которые раньше могли решать только люди, пригодилась во многих областях и сферах. Значит ли это, что для решения таких задач необходимы нейронные сети?

Представьте, что вы менеджер продукта в сервисе по продаже недвижимости. У вас есть исторические данные о стоимости квартир в зависимости от района, площади, этажа, года постройки и типа дома — огромная таблица с данными о нескольких десятках тысяч объектов. Вы хотите помочь своим пользователям подсказкой средней стоимости при создании объявления о продаже квартиры. Какой тип модели машинного обучения можно попробовать использовать для решения этой задачи?

Выбирайте ответ в опросе, завтра сделаем разбор каждого варианта👇🏻

#productquestion

Разбираем варианты ответов на вопрос про типы моделей машинного обучения. Неправильного варианта в списке нет, все типы применимы. Качество результатов и применимость в живом продукте у всех будут разные, но мне хотелось обратить ваше внимание именно на то, что в ML много разных подходов.

В целом, машинное обучение работает следующим образом:

✔️Формируется датасет, где известны признаки объектов и их целевое значение, например, параметры квартиры и её стоимость.
✔️С помощью специальных методов ищутся взаимосвязи в данных, связывающие признаки объектов и целевое значение.
✔️В результате создается модель, которая для любого объекта на основе его признаков может вычислить это значение.

Линейные модели — формула зависимости целевого значения от признаков объектов, это выбор по умолчанию в качестве простой первой оценки
Объем данных для обучения: нет ограничений
Тип данных: табличные данные, целевое значение линейно зависит от признаков объектов
Результаты: самая понятная интерпретация

Деревья решений — набор логических правил, использующих признаки объекта, которые позволяют получить прогноз целевого значения. Это выбор по умолчанию в качестве базовых моделей для табличных данных со сложными зависимостями целевого значения от признаков объекта
Объем данных для обучения: стони объектов
Тип данных: табличные данные
Результаты: можно интерпретировать

Градиентный бустинг на основе деревьев решений — набор деревьев решений, объединенных определенным образом в ансамбль. Это выбор по умолчанию для задач с табличными данными, он показывает лучшие результаты во многих прикладных задачах.
Объем данных для обучения: тысячи объектов
Тип данных: табличные данные
Результаты: можно интерпретировать

Нейронные сети — это выбор по умолчанию для сырых данных: изображения, звук, текст, видео.
Могут применяться к табличным данным, но обычно показывают качество хуже моделей с градиентным бустингом.
Объем данных для обучения: десятки тысяч объектов
Тип данных: сырые данные
Результаты: сложно или невозможно интерпретировать.

Тема большая и глубокая, но я надеюсь, у меня получилось показать общие и отличительные особенности всех типов моделей машинного обучения. Погрузиться и разобраться в теме мне помог курс по управлению ML/AI проектами от GoPractice. Если вам интересно, напишите в комментариях, поделюсь ссылкой на скидку в ЛС😉

#productquestion

Проводим интервью сами

Попробую оживить старую и когда-то очень популярную рубрику канала #productquestion.
Я сейчас глубоко погружен в пользовательские исследования, поэтому серия вопросов будет про интервью и проблеме, JTBD-интервью и другие инструменты получения знаний из первых рук.

Итак, вы менеджер продукта в онлайн маркетплейсе одежды, присоединились к команде недавно. У продукта уже есть постоянная аудитория, но до вас никто не проводил исследования с клиентами. Вы хотите лучше понять как они покупают одежду, почему выбирают ваш продукт и какие другие способы используют. Ресурсы ограничены, поэтому вы, начитавшись книг про customer development, решаете провести интервью с клиентами сами.

О каких моментах нужно поговорить с респондентом до того как начать спрашивать про покупку одежды?

Ответы в опрос👇🏻, выбирайте все варианты, которые считаете правильными. Завтра подробно разберём все варианты ответов.

Разбираем ответы на вопрос про начало интервью👆🏻. Для удобства я расположу правильные варианты в том порядке, в котором их стоит выполнить на интервью.

Познакомиться и установить эмоциональный контакт. Это важный шаг, который может повлиять на всё ваше общение. Респондент должен чувствовать себя свободно и комфортно. Поэтому стоит начать с небольшой беседы, немного рассказать о себе, найти что-то общее.

Рассказать с какой целью вы проводите исследование. Здесь мы даём понять, что хотим узнать опыт респондента и научиться на его опыте. Постарайтесь обозначить предмет исследования, но без конкретики. В нашем примере это «мы хотим лучше понять как люди покупают одежду».

Установить границы. Скажите сколько времени займёт интервью. Предупредите респондента, что будете задавать личные вопросы про его опыт. Важно сказать, что это не экзамен и здесь нет правильных и неправильных ответов. Можно сказать, что респондент не обязан отвечать на вопрос, если он не хочет.

Попросить разрешение на запись интервью. Записывать интервью — важно. В процессе разговора, даже если вы прокачали навыки конспектирования, вы точно пропустите что-то важное. Объясните для чего вам нужна запись (не хочу отвлекаться от беседы, буду использовать только для этого исследования, не буду никуда выкладывать), спросите разрешение.

Задать общие вопросы. Возраст, место жительства, сфера деятельности респондентов задают нужный нам контекст и помогают при сегментировании. Этот список можно расширить до хобби, любимых брендов, уровня образования и любых данных, которые вы сможете узнать у каждого респондента. Постарайтесь включать в список только те данные, которые вам действительно необходимы при анализе результатов.

Нет: Рассказать в какой компании работаете и какой продукт вы делаете. В B2C интервью не рекомендуется рассказывать о продукте, над которым вы работаете, в начале общения. Это может исказить результаты. В конце интервью можно немного рассказать о вашем продукте и даже предложить попробовать его новые функции. Но делать это уже после того, как вы получили «чистые» знания про опыт респондента.

Нет: Узнать точный уровень дохода респондента. Люди не любят вопросы про деньги. Подумайте несколько раз прежде чем добавить такой вопрос в список общих вопросов. Уровень дохода можно определить и по ответам на другие вопросы, а не спрашивать респондента напрямую.

#productquestion

Вы продакт в компании, которая развивает один из самых популярных онлайн сервисов в стране. Много трафика, постоянных клиентов и денег. Вы планируете эксперимент в виде A/B теста UI изменений формы, через которую проходит большинство пользователей сервиса.

Аналитик показывает вам расчёт необходимого количество трафика для того, чтобы результаты теста были статистически значимыми. По его расчётам тест займёт всего 2 часа. Что будете делать?

👇🏻Выбирайте вариант, который считаете правильным в опросе. Завтра напишу разбор вопроса и всех вариантов ответа.

#productquestion

Разбираемся с вопросом про странный расчёт длительности A/B теста. Вопрос необычный. Чаще всего те из нас, кто сталкивается с A/B экспериментами, работают в ситуации, когда трафика мало. Поэтому длительность эксперимента в 2 часа кажется ошибкой. Но так может быть. Давайте вспомним от чего зависит и как можно оценить длительность A/B теста.

Размер выборки зависит от текущего значения метрики, которую мы хотим улучшить, и от чувствительности измерений, которая нам нужна. Обычно изменения стараются делать гранулярными, поэтому ожидаемый рост может составлять несколько процентных пунктов. Допустим, что наша форма — это подача объявления на самом популярном сервисе объявлений в стране. Текущая конверсия формы 30%, мы думаем, что наши изменения в интерфейсе могут повысить конверсию на 10%. Используем специальный калькулятор и получаем, что в каждой группе должно быть больше 6228 участников при мощности эксперимента и уровне доверия в 95%.

У нас популярный сервис. На таком может быть десятки и сотни тысяч новых объявлений в сутки. Наши 12000+ минимально необходимых экспериментов могут действительно пролететь за несколько часов при распределении всего трафика случайным образом на тестовую и контрольную группу в пропорции 50/50.

Ну и что? Получим результат за 2 часа — быстрее сделаем выводы и донесем ценность до клиента. Так нас учит Lean подход и все гуру продакт менеджмента. Да, но не в этом случае. Смысл A/B тестирования — проверить изменения на небольшой репрезентативной группе пользователей и сделать выводы о том, как изменения могут повлиять на всех. Является ли аудитория, которая за 2 часа увидит изменения, репрезентативной всей огромной аудитории нашего популярного сервиса? Какие 2 часа из суток это должны быть? В какой день недели? Чтобы таких вопросов не возникало за минимальную длительность эксперимента обычно берут неделю. Бывают исключения, но это правило подходит для большей части онлайн продуктов.

А что делать с «лишним» трафиком? В OLX Group, где я проводил много экспериментов, с этим поступали так: выделяют из всего трафика «кусочки» по 10%, на тестовую группу эксперимента назначают X кусочков, и на контрольную группу тоже X кусочков. Пользователи или сессии распределяются в кусочки случайным образом. Получается, что можно один A/B тест запустить на 10% трафика и оставить 80% на другие тесты. Обычно у нас шли несколько десятков экспериментов одновременно.

Так что правильный ответ — вариант 3 либо свой вариант, где вы предлагаете добавить время эксперимента до недели.

#productquestion