​​Чем занимается Product Manager?

Ниже список основных этапов работы продуктолога.
По части из них вы можете найти более подробную информацию на моем канале, ссылки ниже в скобочках. Об остальных этапах буду писать в ближайших постах.

- Приоритезирует идеи. (https://tttttt.me/projectsproducts/32 : Lean Canvas, https://tttttt.me/projectsproducts/38 : «когда говорить «нет» идеям?»)

- Понимает, какие есть проблемы у пользователей.

- Проверяет гипотезы. (https://tttttt.me/projectsproducts/27 : предварительный анализ, качественный и количественный анализ, https://tttttt.me/projectsproducts/48 : подробнее про CustDev, https://tttttt.me/projectsproducts/59 : книга "The Mom Test» о том же.)

- Пишет бриф, рисует роадмап.

- Разрабатывает дизайн.

- Участвует в разработке. (Можно для скорости за основу брать метод описанный в книге «Спринт»: https://tttttt.me/projectsproducts/37 )

- И опять проверяет гипотезы.

- Запускает продукт.

- Смотрит, анализирует, изучает. (https://tttttt.me/projectsproducts/52 : про базовые метрики)

- И снова по кругу….

#product
@projectsproducts

Опубликовала статью на VC «Как прокачать менеджерские навыки или Куда пойти учиться менеджеру проекта?»

Написала там список книг, которые рекомендую к прочтению менеджерам.

Это всё классика:

1. Скотт Беркун. «Искусство управления IT-проектами».

2. Фредерик П.Брукс. «Мифический человеко-месяц».

3. Том Демарко. «Deadline. Роман об управлении проектами».

4. Дж. Ханк Рейнвотер. «Как пасти котов».

5. Эрик Рис. «Бизнес с нуля. Lean Startup».

6. Marty Cagan. «Inspired. How to create products customers love».

7. Alex Osterwalder. «Value proposition design».

8. Roman Pichler. «Agile Product Management with Scrum: Creating Products that Customers Love».

9. Alistair Croll, Benjamin Yoskovitz. «Lean Analytics. Use Data to Build a Better Startup Faster».

10. Ash Maurya. «Running Lean: Iterate from Plan A to a Plan That Works».

11. Jeff Sutherland. «Scrum: A revolutionary approach to building teams, beating deadlines and boosting productivity».

Вот и ссылка на статью:

https://vc.ru/32431-kak-prokachat-menedzherskie-navyki-ili-kuda-poyti-uchitsya-menedzheru-proekta

#project #product #book
@projectsproducts

А второй список в моей статье (ссылка в предыдущем посте), про то, где можно учиться на менеджера.

Здесь те курсы, которые или сама прослушала, или только с хорошими рекомендациями от знакомых.

Бесплатное online-обучение:
- https://netology.ru/programs/project-planning
- https://openedu.ru/course/hse/PRMN/
- https://universarium.org/course/628

Платные и серьезные online-курсы:
- https://www.edx.org/micromasters/ritx-project-management
- https://www.coursera.org/professional-certificate/applied-project-management
- https://skillbox.ru/sibirix/

Offline-обучение:
- Школа менеджеров Яндекса (бесплатно) https://academy.yandex.ru/events/management/shmya_msk-2017/
- https://pm.hse.ru/pk015_2013
- http://www.luxoft-training.ru/training/katalog_kursov/upravlenie_proektami_razrabotki_po/
- https://courses.skolkovo.ru/event/courses/all-courses/project-management/
- http://www.specialist.ru/track/t-mproject
- http://www.pmuniversity.ru/services/training-courses/project-management-methodology/

#project #product
@projectsproducts

Давайте знакомиться?

Уже не первый месяц я веду этот канал, и за это время получила от вас немало вопросов, которые помогают выбрать темы для следующих постов. Я всегда рада вашим сообщениям!

С некоторыми читателями я знакома лично, а другим ещё не успела представиться. Исправляюсь!

Давайте знакомиться!

Я Котина Елена, после замужества Тупикова.

Последние 7 лет работаю в Яндексе и занимаюсь мобильной рекламой, рекламой на Поиске, рекламой мобильных приложений, проведением экспериментов с рекламой ... Ну, вы поняли :)

До этого была менеджером продукта Я.Справочник, делала первый запуск Я.Аудиторий.

Ещё раньше была менеджером в стартапе в Нижнем Новгороде, организатором первых мероприятий MobileDevelopersDay и MobileFest, руководила городским порталом и запускала одну из первых в России систему геоконтекстной рекламы.

Моё хобби - это образование. У меня 4 высших образования. (Master of Science In International Project Management в RANEPA, Management in Innovation, Presidential Program Retraining в ВШЭ, Master of Computing Mathematics and Cybernetics в ННГУ им.Лобачевского и Mathematical methods in Economics в ННГУ). Никогда нельзя останавливаться и всегда нужно учиться новому.

У меня много задумок для публикаций, в ближайшие дни ждите новые посты :)

Не забывайте, что можете отправлять вопросы на почту elena.kotina@gmail.com

@projectsproducts

​​На консультациях мне часто задают вопрос о том, как проходит день менеджера. Что я делаю утром, а что после обеда?

Сначала мне казалось, что это очень простой вопрос, всё очевидно, и не понимала, почему вообще людей это интересует. :) Но иногда ответ на это может для людей стать решающим даже при выборе профессии.

И, кстати, нельзя дать простой ответ, ведь расписание менеджера зависит от того, какие проекты у него в работе или на какой стадии сейчас находится его продукт.

Если работаете над развитием новой идеи, то вы много сидите за компьютером: изучаете конкурентов, смотрите на статистику, которую можете достать из открытых источников, или готовите опрос будущих клиентов.

Или наоборот, организуете миллион встреч, где с коллегами устраиваете брейнштормы, согласуете описание со стейкхолдерами, обсуждаете требования к кандидатам на CustDev.

А если продукт сейчас на стадии активной разработки, то менеджер решает все возникающие проблемы, отслеживает, что смежные отделы успевают подготовить для вас все данные, часто встречается с командой разработки, дорабатывает макеты с дизайнером, разбирает вопросы в Jira.

Продукт готов и вы выходите на рынок? Тогда впереди публичные анонсы, отслеживание реакции пользователей, проверка KPI, срочные доработки или починка багов, которые все равно всегда бывают (хоть один да появится), даже не смотря на то, что прошли все этапы тестирования на двух тестовых средах.
А параллельно в работе у вас уже подготовка следующего эпика..

Но что я делаю всегда утром -
составляют план на день. Проверяю расписание встреч, выбираю 3 самые важные задачи, выделяю в календаре время на их выполнение, проверяю почту и выпиваю чашку кофе. Это мои маячки, которые настраивают меня на продуктивный день.

В конце рабочего дня всегда подвожу для себя итог: что удалось сделать, что в приоритете на ближайшие дни, и навожу порядок на рабочем столе. Это означает, что можно переключиться и идти домой.

Но не буду скрывать, что меня за уши не оторвать от рабочей почты, когда еду домой, и перед сном тоже обязательно нужно прочитать пару писем.
Хотя считается, что это плохая привычка, и я полностью согласна с этим мнением, но от этого очень сложно избавиться.

И лишь спустя много лет работы, я сделала для себя открытие: во время рабочего дня нужно делать перерывы! Чай между встречами, медитация, и обязательный обед. Это не только помогает чувствовать себя более здоровым, довольным, но ещё и даёт возможность уложить в голове всю новую информацию и открывает путь новым идеям :)

Если вы готовы поделиться вашими секретами рабочего дня, пишите мне в личку или на почту, я опубликую их на канале.

Продуктивных рабочих дней!

#project #product
@projectsproducts

Юмористический ролик от Dilbert про Management Training:
https://www.youtube.com/watch?v=dY2NS7NgFVo

#project
@projectsproducts

Нашла небольшой курс на тему Product Design от Udacity (Ролики выложены на youtube).

Темы:
- Business Idea,
- User Research,
- Product Validation,
- UX/UI Design,
- Design Sprint,
- Metrics.

Толково и последовательно рассказывают базовые вещи.
Английский язык с субтитрами.

https://www.youtube.com/watch?v=rsPuayaIZ9s&list=PLAwxTw4SYaPlTr1MmjkAZXVv8Su2CfY7D

#product
@projectsproducts

​​Почему мы так редко знаем цель своего проекта?

Ведь цель нужно не просто один раз где-то формально написать, но и знать/помнить/двигаться к ней в любое время рабочего дня.

Конечно, бывают и «открытые проекты», когда мы в целом не можем такую цель полностью сформулировать. Мне кажется, это вот прям проекты Илона Маска, когда при неизвестных технологиях, у нас есть только основные долгосрочные показатели, к которым мы стремимся, но совершенно неизвестно, когда мы до них дойдем.

По мнению многих экспертов, грамотное правильное целеполагание это 20-25% успеха проекта.
Для определения целей проекта хорошо работает известная концепция целеполагания
SMART.

SMART-цель проекта.

Specific - конкретная («что сделать?»),
Measurable - измеримая (есть ТЗ и/или конкретные KPI),
Achievable - достижимая (с учетом возможностей компании и сотрудников),
Relevant - значимая, актуальная («зачем?»),
Time bound - определена во времени («предоставить результаты к 1 марта», «запустить к 8 апреля»).

20-25% успеха проекта!

#project
@projectsproducts

Хотела сделать для вас запись лекции «Ошибки менеджера проектов. Екатерина Лебедева» в Школе Яндекса, но послушав решила ограничиться перечислением тех самых ошибок, которые были названы.

Итак, ошибкой менеджера будет:

- пытаться впихнуть в MVP «невпихуемое»;
- забыть об эксплуатации продукта во враждебной среде. (Продукт существует не в вакууме. Нужно помнить о рисках.);
- неправильно расставить приоритеты (Кому? Зачем? Почему так?);
- не собрать всю информацию (высокий процент неопределенности);
- не спросить себя: «Что будет, если этого не сделать?»;
- забыть про распределение ролей;
- развесить ответственность и обязательства на всех (Ответственен и виноват всегда менеджер).
- выстраивать процессы, когда инструменты и методы разные;
- заниматься сверхдетализацией;
- полагаться на авось и забыть про риски. «Откуда дует там и цель.»;
- бояться вернуться к истокам и начать сначала;
- думать на шаг вперёд (мы молодцы), но забыть о глобальной цели;
- забыть про аудит. (процессы мониторинга должны быть на проекте постоянно);
- забыть про технический долг;
- решить, что без документации норм;
- оценить слишком грубо эту задачу;
- забыть, что «Сделано» не равно «закрыто», «протестировано», «выполнено»;
- не понять, «кто» источники проекта;
- не понять, что заказчики бывают и внешние, и внутренние;
- уникальность vs типичность;
- плохо ставить задачи (задачи должны быть SMART) (а про это мой пост выше - https://tttttt.me/projectsproducts/67 ).


Но если вы все-таки жаждите посмотреть видео, то вот ссылка - https://www.youtube.com/watch?v=OTEYMOVbIR8

#project #foundation
@projectsproducts

"It's called managing"

Сегодня снова Dilbert перед выходными.
Грубо, но некоторые действительно так себе представляют работу начальника/управленца/менеджера.

https://www.youtube.com/watch?v=dWAve253h-E

#project
@projectsproducts

Планирую сделать серию постов про аналитику и метрики.

Один пост на эту тему был: https://tttttt.me/projectsproducts/52 , там я писала про 2 фреймворка: AARRR от Dave McClure и HEART от менеджеров из Google.

Сегодня будет запись лекции: «Принятие решений на основе данных» (Елена Бубнова), Школа Менеджмента Яндекса.

Поехали!

Метрика - число, сонаправленное с характеристикой продукта.

Метрики будем рассматривать на примере жизненного цикла продукта «Ранжирование с учетом региональности».

Когда продукта еще нет:
- нужно найти целевую аудиторию,
- изучить конкурентов.

На примере продукта:
- Можем посмотреть, как сейчас пользователи работают с Поиском. Посмотрим % запросов, в которых нужна региональность. (например запросы «Где помыть машину?», но не запрос «вконтакте»).
- При анализе конкурентов смотрим не только, например, на Google, но и на Я.Карты, чтобы понять зачем туда люди идут искать, и как они это делают.

Вот мы изучили аудиторию и рынок, и сделали какую-то первую версию продукта.

Но при этом нужно не забывать о доходности продукта (зарабатываете вы или есть инвесторы, особенно если вы работаете над небольшим продуктом, или работаете в стартапа).

Поэтому важно считать бизнес-метрики:
- доля рынка,
- монетизация,
- расходы.
Конкретные метрики описаны хорошо в интернете. :)

KPI (key performance indicator) - главная целевая метрика продукта, которая отражает главное свойство продукта на текущий момент времени. Она слабо подвержена (внутренним) накруткам и сезонности. За KPI вы постоянно следите.

На примере продукта:
мы хотим много и сразу, например:
- чтобы в ТОП-10 выдачи было как можно больше региональных ответов,
- чтобы пользователи больше кликали на эти документы,
- …..

Но когда вы делаете изменения в продукте, все эти метрики редко меняются все в положительную сторону, и с этим надо как-то жить.

Поэтому обычно вводят некий trade-off. Говорят, что «я хочу столько-то % качества, за столько-то % производительности» или «я хочу столько-то % региональных ответов, за столько-то % кликов».
В итоге получаются коэффициенты, на которые в итоге смотрят, как на одну метрику.

Для того, чтобы минимизировать влияние сезонности:

1. вы можете нормировать свой график (например, посещаемости) на какой-нибудь другой график (посещаемость другого сервиса).
2. Смотреть данные год-к-году или неделя-к-недели.

Как придумать KPI?

Чтобы ответить на этот вопрос, давайте обратимся к продуктовым метрикам.

Продуктовые метрики - это метрики, которые помогают нам понять, как изменения, которые мы производим вообще влияют на пользователя.

Есть, например, фреймворки AARRR и HEART с продуктовыми метриками, которые как раз могут помочь нам придумать KPI.

Рассмотрим как это может рабоать на примере HEART (Happiness, Engagement, Adopt, Retention, Task Success):

- Вы берете какие-то аспекты,
- решаете, какие из них наиболее важные, ставите цель: «вы хотите их улучшить» (в нашем продукте: мы хотим улучшить качество поиска. )
- смотрите, какие сигналы вам говорят о том, что сейчас плохо,
- по этим сигналам выделяете главную Метрику.

И вот например, вы решили улучшать качество Поиска. Дали задачу разработчику, пилить новое ранжирование. Через месяц он приходит и говорит, что сделал классную формулу, которую нужно срочно выкатывать. В этот момент нужно остановиться и не торопиться.

Сначала нужно произвести приемку. Приемка признана ответить на вопрос: действительно ли это стоит катить в продакшен или нет.

Про это в следующем посте.

А пока ссылка на видео - https://goo.gl/K1m7tL

#project #product
@projectsproducts

​​Часть 2, продолжение записи лекции «Принятие решений на основе данных» (Елена Бубнова).

Бывает 2 типа приёмок:

1. Offline:
без реальных пользователей, сравниваем 2 системы (бету и продакшен), которые отличаются только одним аспектом.

- с помощью оценки side-by-side: когда даем человеку два результата выдачи или картинки интерфейса и спрашиваем «какая тебе больше нравится?»
- абсолютная оценка: есть инструкция (что хорошо, а что плохо).
- потом вы все данные собранные для продакшена и беты агрегируете в какую-то метрику. Например, для Поиска метрика - pFound (вероятность найти релевантный документ в выдаче по запросу)

2. Online. A/B-тестирование:

- Равные выборки достаточного размера;
- Целый «календарный» период;
- Фиксация ожиданай заранее;
- Статзначимость и p-value(вероятность ошибки при отклонении нулевой гипотезы) важны;
- Иерархия важна. Одни метрики важнее других. (Например, если общая кликабельность падает, а кликабельность по региональной выдаче растет, то скорее всего вы сделали что-то неправильно, и такое катить не надо)

В качестве online-метрик обычно выбирают статистику поведения пользователя (например, клики на выдачу и бездействие).

Метрики нужно валидировать:

- проводить контроли (А-А тесты);
- проверить, что если вы делаете что-то плохо (контролируемые ухудшения), то метрика должна становится хуже (делать на маленький процент и быстро);
- контролируемые улучшения - должны увидеть, что метрика растет;
- сравнить с другими метриками.

Online и offline метрики должны коррелировать, и быть чувствительными.

У нас есть продукт, KPI растет, но еще нужен мониторинг.

Мониторинг - сканирует постоянно «здоровье» вашего продукта (На нашем примере: смотрим, как люди кликают на поисковую выдачу, если кликабельность резко упала, то скорее всего что-то не так).

Мониторинг должен быть:

- чувствительным, пусть лучше у него будет несколько ложных срабатываний, чем вы узнаете через 2 дня, что у вас что-то не работает и потеряете аудиторию и/или деньги;
- работать в реальном времени;
- рассылать нотификации: смс/почту.

А для того, чтобы уследить за всеми метриками, нужен Дашборд.

На дашборды выводят:
- ключевые показатели эффективности, в срезах (по платформам, браузерам, регионам);
- информационные метрики, которые позволяют детальнее понять, что происходит.

Не забывайте, что важно соблюдать баланс:

много метрик - сложно принять решение,
мало метрик - сложно принять решение.

В следующих постах будут еще лекции, ссылки на статьи, краткое содержание книги, и видео от гуру :)

#project #product
@projectsproducts

​​Продолжаем тему метрик и аналитики.

«A good metric changes the way you behave. This is by far the most important criterion for a metric: what will you do differently based on changes in the number? If you don't know, it's a bad metric.»

Я думаю, что вы еще не начали смотреть запись курса от Udacity на Youtube, на который я опубликовала ссылку ( https://tttttt.me/projectsproducts/66 ) несколько дней назад.

Закидайте меня тапками, точнее вашими возмущенными сообщениями в личку, если это не так :)

И в честь недели (или двух) про метрики и аналитику обращу внимание на их видео «Common Business Metrics» - https://www.youtube.com/watch?v=VYWy66voBNU
4 минуты с информацией о базовых метриках.

А именно:
- Net Promoter Score (NPS),
- Click Through Rate (CTR),
- Daily Active Users (DAU),
- 7, 14, 28-Day Active Users (WAU, MAU),
- Retention (churn attrition).

А еще добавлю чуть аббревиатур, на которые стоит обратить внимание:
- ARPU,
- ARPPU,
- CPO,
- MRR.

Конечно же на этих метриках свет не сошелся клином, и есть еще много других, и уникальных именно для вашего продукта.

Но это те, в которых вам точно нужно ориентироваться.

#product #foundation
@projectsproducts

​​Я писала о том, что должно быть ограниченное количество KPIs,
а сегодня встретила статью, где показана система «Growth KPI’s» (такой KPI-фреймворк), которую внедряет в компаниях Craig Strong.

Смотрите карту показателей на картинке ниже.

Всё очень логично, и он пишет о том, что конечно, за всеми этими KPI вы не можете наблюдать каждый день, какие-то вы будете считать раз в квартал, какие-то раз в месяц.

Главное не переусердствуйте, иначе вместо развития продукта вы только и будете заниматься тем, что считать и перепроверять цифры.

Ссылка на статью:
https://medium.com/the-lean-product-lifecycle/kpis-to-grow-your-business-2b0792834946

#product
@projectsproducts

Наташа Бабаева пишет классные посты на Medium (может быть вы читали у нее «Как объяснить дедушке эджайл и скрам за 5 минут»? )

Отрыла для вас ее прошлогоднюю статью «Как работать с аналитикой, если вы дизайнер» - https://goo.gl/oL8bYV

Это я всё к чему?

Аналитика и метрики - это не только про то, сколько вы сейчас зарабатываете, но про то как зарабатывать еще больше, и про то, как сделать продукт еще лучше.

И если вы собрали для себя красивый дашборд, придумали классные KPI, то не прячьте это в своем браузере, или в файле, который открываете раз в месяц.

Расскажите команде о целях, к которым вы все идете, и дайте людям общаться друг с другом.

Дизайнер+аналитик - это только один из вариантов тандема, которые могут сотворить чудо с вашим продуктом.

#product #project
@projectsproducts

Запись лекции Школа менеджмента Яндекса - Как данные помогают строить продукты (Олег Якубенков).

Это лекция-интервью, поэтому делю на пункты.

1. Когда вы начинаете заниматься каким-то продуктом, вы очень мало знаете о том, как этот мир устроен, и вам нужно с нуля разбираться во всём.

Есть 2 варианта как это делать:

- общаться с пользователями, но это не так тривиально, и часто делается неправильно;
- работать с данными, проектировать изменения, измерять их влияние, понимать, что там происходит.

2. Про эксперименты.

Существует теория, что нужно проводить как можно больше экспериментов с продуктами (это как раз больше про работу с данными), чтобы проверить много гипотез. Но это может привести к тому, что вы будете проверять много маленьких (и часто бесполезных) гипотез, что неверно, так как тестировать нужно ключевые гипотезы.

Ключевые гипотезы - это те, которые лежат в основе того, чем вы занимаетесь.

Если вы хотите построить какой-то бизнес, то например, на старте вам нужно снять максимальное количество рисков. Поэтому ранними экспериментами вы как раз их снимаете. В том числе для этого и делаете MVP - это инструмент для того, чтобы узнать, с чем вы работаете, и кто ваши клиенты.

И если в эксперименте вам не удалось получить всю необходимую информацию, то скорее всего вы неверно спроектировали эксперимент.

Эксперимент - это та ключевая штука, которая позволяет вам сокращать неопределенность в принятии решений.

Перед тем как влезать в большую сложную разработку, вы должны находить способы сделать проект дешево, быстро, на коленке, чтобы информировать свое решение, которое вы будете принимать в будущем.

Когда меня спрашивают, стоит ли нам тестировать ту или иную штуку, самый частый вопрос, который я задаю: «Можете ли вы получить статистически значимый результат на той аудитории которая у вас есть?» Условно, если у продукта 200 пользователей в месяц, то вы можете тестировать только то, что сдвинет метрики в несколько раз.

3. Про MVP и этапы работы над продуктами.

Не бывает таких продуктов, которые нельзя выкатывать, так как это «позорище», точнее просто нужно правильно определять, на какую долю пользователей это выкатывать.

Когда мы смотрим на окружающий вокруг мир, то мы видим много сложных крутых сервисов/продуктов, и думаем, что оно так и получается: сделали такой прикольный сервис и он попал на рынок. Но на самом деле эти продукты тоже выросли из маленьких простых вещей.

Для примера расскажу, как происходит работа над играми, и как там живет продукт:

- Игра начинается с идеи. Эта идея может быть преобразована в документ формата А4, где кратко описана суть. Это первый этап, на котором можно придумать много идей.
- Второй этап: команда выбирает игру, и начинает прорабатывать.
- Третий этап: делаем прототип. Часто становится понятно, что на телефоне эта игра ужасна, и была интересна лишь на бумаге.
- Если прототип показывал интересные результаты, то начинался процесс определения того, как игра будет выглядеть, и превращение прототипа в реальную игру, тестирование того, как люди увлекаются ей.
- На каждом из этих этапов игры умирали, и это безжалостная воронка.
- Если игра проходит все эти этапы, то можно уже из игры на 1 день, делать сценарий на 7 дней, и начинать его тестировать на маленьких рынках вроде Канады или Австралии, если игра по прежнему показывает признаки жизни, и если всё хорошо, тогда начинают работать над выходом на большие рынки.

Продолжение следует…

#product
@projectsproducts

Как данные помогают строить продукты (Олег Якубенков).
Часть 2.


4. Продуктовая аналитика - это то, как вы представляете себе свой продукт, попытка описать его в виде модели, чтобы потом построить метрики и лучше понимать, что вы делаете.

Расскажу притчу про слепых и слона:

Группа слепых людей трогает слона, чтобы понять, что он собой представляет.
Каждый из них трогает разные части его тела, но при этом только какую-то одну из них, например, бок, хобот или бивень. Затем они описывают свои впечатления от прикосновений друг другу и начинают спор, поскольку каждый описывает слона по-разному, при этом на самом деле ни одно из описаний не является верным.

Это очень похоже на то, что делает продуктовая команда.

Когда над продуктом работает дизайнер, то у него одни представления о том, как должно быть, когда работает разработчик - другие и так как далее.

Так вот продуктовая аналитика - делает так, чтобы хотя бы базовое представление о продукте было общее.


5. Как выбрать продуктовые метрики?

- Сначала нужно определить, что вы делаете, так как метрики должны лишь помогать двигаться к цели, или ее как-то характеризовать.

- На разных этапах метрики будут разные. Например, на раннем этапе вам скорее важно понять нравится или не нравится ваш продукт пользователям (тут можно смотреть на Retention). Потом у вас появляются новые задачи в работе: привлечение клиентов, расширение аудитории. И из этого выбирается новая главная метрика.

- Нет таких метрик, за которыми всем и всегда нужно следить.
Например, если у вас мобильная игра, то на этапе SoftLaunch оценка в Сторе будет не показательной, так как вы умышленно делаете сильные изменения в продукте, которые по понятным причинам не будут нравится пользователям.

- Когда вы начинаете делать дашборд с метриками нужно задать себе простой вопрос: «Зачем он нужен?». Если дашборд делают для всей продуктовой команды, то это должны быть метрики, которые будут драйвить всю команду (например, график роста активных пользователей, то есть те цифры, которые показывают значительные изменения). А менеджер при этом может смотреть на совершенно другие метрики.


6. Когортный анализ - это подмножество сегментации.
Это сегментирование людей по определенному моменту, когда они пришли в продукт.

Таким образом вы, например, можете взять пользователей, которые пришли в определенную неделю, и потом наблюдать за ними: как они им пользуются, например, в течении нескольких месяцев. И понимать, сколько из них там остается, как они тратят деньги, и что они вообще там делают.

Это помогает, например, сравнить прошлую и текущую версию продукта. Вы может взять похожих пользователей из прошлой версии, и из текущей, и посмотреть, чем они отличаются.
В когортном анализе есть очень много подводных камней, и поэтому часто не добиваются в итоге того, что в когортах действительно похожие пользователи. Например, вы не можете сравнивать пользователей из Филиппин с аудиторией из США.


Продолжение следует (видео длинное, поэтому еще пара частей)…

Ссылка на видео - https://www.youtube.com/watch?v=v1S4ikiFAxA

#product
@projectsproducts

​​Как данные помогают строить продукты (Олег Якубенков).
Часть 3 (ещё чуть-чуть :) ).

7. Метрика Retention - это важная штука, так как если бы условно я сегодня начал отвечать на вопросы, а вы постепенно вышли из зала, то у меня уже не было бы необходимости отвечать на вопросы. Это был бы Retention зала в течении времени пока я отвечаю. У вас должно быть конкурентное преимущество, чтобы люди от вас не уходили.

Представьте себе кривую Retention, которая через какое-то время пересекает отметку «0» - это означает, что все пользователи, которые пришли в продукт, из него ушли. Это не смертельный приговор, но это означает, что у вас есть потолок роста, который ограничивается тем количеством пользователей, которых вы привлекли.

Есть продукты, у которых кривая становится примерно параллельной оси Х, это означает, что вы привлекли каких-то пользователей и их большая часть стала вашей регулярной аудиторией. Такое происходит редко, и если вы такое получили, то значит у вас в руках «неогранённый алмаз». Вспомните любые крупные компании, типа Яндекс, Facebook, у них именно такая кривая.

Поговорим про Product Market Fit.
Это означает, что вы создали продукт, который нужен определенной группе людей. Критерий этого то, что у вас хороший Retention.

Например, для мессенджеров «хороший Retention» встает в положение на определенном уровне параллельно оси Х, в этот момент вы можете начинать закидывать много пользователей в верхушку воронки, и многие из них будут становится регулярными пользователями. Так вы будете весьма предсказуемо расти.

Для других продуктов Retention может быть параллельно оси Х, но потом достаточно быстро уходить в «0», это может означать, что вы создали продукт, который позволяет решить какую-то определенную потребность.

Retention - это тот фундамент, на котором растет ваш продукт.


8. Почему пользователи уходят? а почему остаются?

Если вы создали что-то что людям полезно и нужно, или они не могут без этого уйти (что тоже бывает), то они остаются. А если вы создали что-то бесполезное, или что-то полезное для тех, кому это бесполезно, то тогда они будут уходить.

Если вы представите свой продукт в виде работника компании, то если он будет делать что-то бесполезное, то велика вероятность, что его уволят, так и с продуктом.

9. Когда нужно начинать оптимизировать продуктовую воронку?

Когда вы работаете на ранней стадии над новым продуктом, то одна из частых ошибок - это начать оптимизировать воронку, но на этом этапе на самом деле нужно менять дизайн этой воронки.

Представьте, что вы сделали машину, машина еще не едет, а вы начинаете оптимизировать дизайн корпуса. Это неверно! Нужно сначала добиться того, чтобы машина начала хоть как-то ехать, хотя бы на деревянных колесах.

Когда вы перешли из состояния «мы пытаемся что-то создать» в состояние «мы уже сделали что-то, нам нужно чтобы оно работало хорошо», то в этот момент вы как раз будете заниматься оптимизацией того, что вы создали. И это как раз к вопросу о экспериментах. Эффект эксперимента должен быть сопоставим с размером того, что вы делаете. Как только вы перешли в состояние «у нас концептуально работает продукт», провели эксперименты и на разных этапах воронки добьетесь 10-20 улучшений на 2% каждый, то в итоге вы улучшите метрики в 1.5%, что очень круто.

Поэтому важно понимать, когда надо заниматься оптимизацией, а когда не надо.

#product
@projectsproducts

И заключительная часть ответов на вопросы от Олега:

10. Корреляция.

Если вы посмотрите на график стоимости пиццы и стоимости метро, то они будут между собой хорошо коррелировать, так как оба параметра зависят от уровня инфляции.
При этом между собой, как вы понимаете, они никак не связаны.

Так и когда вы изучаете продукт, вы можете смотреть на него с точки зрения двух параметров, которые между собой никак не связаны, и искать между ними корреляцию.

Например, вы можете увидеть, что люди, которые расшаривают свою учетную запись игры в Фейсбуке, больше платят. Это может означать, что либо в игре есть какие-то механизмы, которые после подключения Фейсбука делают игру интереснее, либо такие люди изначально более мотивированы. И единственный способ это проверить - сделать эксперимент.

Как и идея «смотреть на хороших пользователей» состоит в том, чтобы попытаться идентифицировать те вещи, которые коррелируют с их успехом внутри продукта. Если это у вас получится, то потом вы можете запустить обратный/ухудшающий эксперимент, чтобы посмотреть, что действительно такой показатель у них ухудшается или нет, и решать, стоит ли на этом фокусироваться или нет.

11. Главное слово для продакта - «НЕТ».

Если вы пользуетесь молотком, когда что-то строите, а параллельно используете пилу, отвертку, то это не значит, что всё это должно быть соединено вместе, так и в продукте, вы должны находить золотую середину, когда что-то делать, а когда нет.

Это я уже вспомнила в посте - t.me/projectsproducts/38

12. Если ты сделал крутой продукт, то как подойти к ценообразованию?

Если вы сделали крутой продукт, то вы уже должны знать, сколько вы за него берете денег.

А вообще лучше сначала запустить слишком высокую цену, даже выше той, которую вы считаете нормальной, а потом уже снижать цену под покупателя.

Так работает почти весь американский рынок B2B компаний, у них нет цены по определению. У них есть тарифы, которые они используют, чтобы обслуживать низкую часть рынка, которая не готова платить много. Но у них у всех есть кнопочка «контакт ас, если вы хотите полноценную версию нашего продукта», и если вы «контакт их», то они предложат вам цену в зависимости от того, кем вы являетесь. Если вы крупная компания, то они вам выставят очень высокую цену и потом будут от нее плясать, а если вы маленький стартап, то они будут подстраиваться под вас.

13. Кто такой хороший продакт-менеджер?

Если коротко: Вы должны учиться максимально быстро приближаться к заданной цели используя существующие ресурсы эффективно.

14. Перед тем как работать с данными, вы должны проверять их достоверность.

Вот и всё что нужно знать о лекции "Как данные помогают строить продукты" :)

#product
@projectsproducts