Продуктовый аналитик – какова его роль и почему он так важен?

Продуктовый аналитик – это глаза продукта.

Он находит точки роста, выявляет инсайты в данных и определяет проблемные места в продукте.

Работая в синергии с продуктовым менеджером, он помогает ему валидировать, приоритизировать и оценивать потенциальный вклад гипотез в продукт и его метрики.

Он размечает аналитическими событиями новую функциональность.

Готовит все необходимое для запуска а/б тестов, проводит их, подводит по ним результаты и дает рекомендации для последующих итераций.

Также он мониторит метрики команды и продукта целиком, сообщает о проблемах и подсвечивает их причины при устранении поломок.

А какую роль продуктовый аналитик выполняет в вашей компании? Про какой аспект работы продуктового аналитика вам было бы интересно узнать подробнее?

#продуктоваяаналитика

Почему важно время от времени менять работу, если для тебя важен карьерный рост и развитие?

Длительная работа на одном месте (будь то проект или продукт) так или иначе незаметно приводит к стагнации. Я долго этого не замечал, пока не ушёл в FindMyKids после 3 долгих лет работы в Купибилете.

📍Первые ощущения, которые испытываешь на новом месте, которые и я испытывал в Купибилете – это быстро пролетающие рабочие часы. Все задачи очень интересные. Ты активно в них разбираешься, знакомишься со всеми новыми инструментами, устоявшимися в компании практиками, исторически сложившимися вещами, процессами, людьми. Одним словом — въезжаешь в работу.

📍Проходит время. В какой-то момент осознаёшь, что уже хорошо понимаешь большинство особенностей и тонкостей компании, как все устроено и работает, что уже приобрёл все необходимые знания и навыки для эффективной работы. С этого момента ты начинаешь приносить ощутимую пользу компании и значимо влияешь на изменения, привносить в неё что-то новое.

📍Спустя ещё какое-то время, работа ощущается как будто бы идущей по рельсам – всё те же люди, всё те же технологии, у многих задач схожий контекст, присутствуют одни и те же ограничения и возможности для влияния и изменений. Интересные задачи и развитие может всё ещё и есть, но как будто бы всё об одном и том же. Появляются первые мысли о перспективах смены работы…

📍И первая дилемма, с которой сталкиваешься: “Но ведь ещё столько интересных проектов запланировано! Столько проектов ещё в процессе, по которым вот-вот будет финальный результат и можно будет замерить его влияние. И сколько проектов уже было сделано – как-то жалко было бы всё это оставлять.”

И вот ты уже на новой работе. Быстро пролетающие рабочие часы, все задачи очень интересные…

Но есть важные отличия. Масштаб, значимость и сложность задач уже иные. Технологии, которые ты всегда хотел изучить, но не было возможности применить их в работе. Процессы и осознанность компании более зрелые. Другие специалисты с иным опытом и знаниями, которые можно перенимать. Оглядываясь назад, совершенно не жалеешь что принял решение о переходе.

Менять работу волнительно. Но именно выход из зоны комфорта приведет вас к росту.

#карьерныйрост

Оставьте в покое машинное обучение!

Или топ-3 темы, на которые начинающему аналитику не нужно тратить время. Часть 1.

Машинное обучение настолько забивает мозг начинающих аналитиков, что они зацикливаются только на нем. Итог – резюме, наполненное только проектами по ML.

Если вы идете на позицию аналитика, то это будет больше отталкивать, чем привлекать.

В вашей работе будут встречаться задачи сегментации, прогнозирования и т. д. Но на начальном этапе от вас не требуется расчехлять XGBoost и Prophet.

Бизнес хочет от вас другого.

Он хочет, чтобы вы разделили пользователей по наличию характеристик (по устройствам, наличию действия, покупаемым продуктам и т. д), и эти сегменты сразу же были переданы в работу.

Он хочет, чтобы вы провели линию тренда и дали пессимистичную / реалистичную и оптимистичную оценки с поправкой на изменения в темпах роста.

Не усложняйте. Начинайте с самого наивного, но быстрого решения. И только потом итерируйтесь, если в этом действительно есть потребность.

#продуктоваяаналитика

Помогают ли онлайн-курсы устроиться на первую работу?

Прохождение онлайн-курсов по интересующей специальности будет недостаточным для трудоустройства. Курсы не помогут тем, что будут указаны как единственный «опыт работы» в резюме.

Я собеседовал 200+ аналитиков и инженеров данных. Отсмотрел 1000+ резюме. Фигурирование курсов в резюме для меня показывает то, что человек мотивирован совершенствовать знания и навыки. Но это только один пункт, по которому я и HR’ы оцениваем кандидата.

Когда я искал первое место работы, у меня тоже имелась пачка сертификатов о пройденных специализациях на Coursera, которыми я гордился. Но у меня было расплывчатое понимание специальности и слабоватые навыки. И тем более я не подходил сразу по всем пунктам из вакансий. А также у меня не было знакомых, которые направили бы меня и оценили мои знания.

Дилемма первой работы заключается во фразе: «Нужен опыт, чтобы трудоустроиться, но нужно трудоустройство, чтобы получить опыт».

Что помогло найти работу мне? Целеустремлённое превращение знаний из курсов в опыт. Брал этот опыт везде, где только мог до него дотянуться. Например, участвовал в соревнованиях, хакатонах, брал релевантные задания в университете, фрилансил и вписывался в проекты с друзьями. На pet-project’ы даже не оставалось времени.

На удивление, мне удалось выделиться среди остальных кандидатов за счёт победы на хакатоне (в кейсе Huawei на SignalNeuroHack в 2019 году). И наличия списка соревнований, в которых я участвовал. На эти заслуги обратил внимание основатель компании, в которую я впоследствии и трудоустроился.

Шансы трудоустройства увеличит то, что человек не бездумно «прокликает» задания, сделав по предлагаемому шаблону, а вникнет в то, чему его стараются научить. Важно самостоятельно и с нуля воспроизвести предлагаемые шаблоны, дополнительно изучить, как и для чего это применяется и так далее. После этого – применить знания на прикладных задачах. Этот опыт с большей вероятностью и поможет найти заветную первую работу.

А помогли ли вам онлайн-курсы? Что стало для вас решающим фактором, благодаря которому вы устроились на первую работу?

#карьерныйрост

Держитесь подальше от Excel

Или топ-3 темы, на которые начинающему аналитику не стоит тратить время. Часть 2.

Как говорил мой лектор по информатике: “Excel — это очень мощный и гибкий инструмент”.

На нем действительно возможно делать поразительно впечатляющие вещи и решать разносторонние задачи.

Я не говорю, что он не нужен. Компании активно используют его в работе, даже если не указывают его в вакансии.

Хотя на практике чаще всего используется Google Sheets.

Но если компания в вакансии аналитика указывает Excel — это должно стать тревожным звоночком для вас.

Почему?

Обильное наличие Excel’а в работе свидетельствует о слабо развитой аналитической инфраструктуре и культуре тоже.

Работа над задачами в такой компании и с их стеком будет сильно вредить росту, в отличие от работы в другой компании с более привлекательным стеком.

Попасть в хорошую компанию, с хорошей организационной структурой, стеком, задачами и коллективом – это 80% успеха для начинающего аналитика.

#продуктоваяаналитика

Что случилось с метрикой?

На скриншоте представлена метрика музыкального стримингового сервиса. Пусть этим сервисом будет Яндекс Музыка. Метрика показывает количество прослушиваний в динамике по дням.

Как считаете, что с ней могло произойти?

P. S. эта задача взята из тестового задания компании. Сохранены оригинальные формулировки.

Подобные задачи на канале помечаются хештегом: #задачиссобеседований

Разбор задачи

Правильный ответ к задаче «Что случилось с метрикой?»

Если еще не пробовали решить задачу, рекомендую это сделать до прочтения поста.

От кандидата ожидается не то, что он угадает с первой попытки что произошло с метрикой на самом деле. Ожидается, что кандидат набросает исчерпывающее количество конкретных гипотез, которые впоследствии будут проверены на практике.

Из моего опыта, падение метрик часто происходит по причинам:

📍 Поломки логирования на клиенте или в доставке логов на бекенде

📍 Возникновения бага в некотором разрезе (типе устройства, стране, локализации, источнике трафика) в результате выкладки новой версии продукта;

📍 Внешнего фактора или сезонности.

От этих причин можно отталкиваться для генерации более конкретных гипотез.

В случае с задачей, могла бы оказаться правдивой гипотеза о том, что на рынок РФ вышел Spotify, и пользователя Яндекс Музыки побежали пробовать триал.

Но источники сообщают, что случилась банальная потеря данных (сломалось логирование). Так что никаких интриг и заговоров, лишь человеческий фактор.

А звездочка за количество гипотез достается @maxlukyanenko 🎉

#задачиссобеседований

Не уделяйте много времени инструментам визуализации…

…если только не хотите быть BI-аналитиком.

Или топ-3 темы, на которые начинающему аналитику не нужно тратить время. Часть 3.

На рынке множество инструментов визуализации – Redash, Metabase, Superset, Tableau, PowerBI. Каждый инструмент с особенностями в работе.

Фундаментально – они похожи, и не требуют много времени на изучение, если вы уже знакомы хотя бы с одним.

Если взглянуть на вакансии, используемые решения настолько разнятся, что сложно выделить с каким прийдется работать.

По моему опыту, на них мало смотрят на собеседованиях. Потому начинающему аналитику не стоит изучать десятки решений. А как только вы устроитесь на работу и начнете использовать конкретный инструмент – быстро в него втянитесь.

Если и выбирать инструмент для освоения, то советую обратить внимание на Tableau / PowerBI / Qlik Sense и подобных, вместо open source решений. Они раскроют большее количество доступных в визуализациях фич.

#продуктоваяаналитика

~80% начинающих аналитиков не знают порядок выполнения SQL запроса на собеседовании.

Это число я получил на основе проведения 200+ собеседований кандидатов на позицию продуктового аналитика и mock-интервью со своими менти.

Задумайтесь на минутку об одном из последних своих запросов. В каком порядке у него выполняются операторы SELECT, FROM, WHERE, GROUP BY, HAVING, ORDER BY и LIMIT?

Правильный порядок будет следующим:

1. FROM (а не SELECT) — так как сначала “машине” нужно определить из какой таблицы брать данные. Без этого, остальные операторы не имеют никакого смысла: над какими данными тогда проводить дальнейшие манипуляции?

2. WHERE — ведь зачем тянуть и выполнять вычисления над записями, которые не релевантны? Можем сразу же их отфильтровать;

3. GROUP BY – сгруппируем релевантные записи;

4. HAVING – исключим группы, которые не релевантны.

5. SELECT – и только теперь выберем поля, которые выведем на экран. Лишние, опять же, ни к чему;

6. ORDER BY – упорядочим результат для наглядности;

7. LIMIT – выведем только N первых строк, если не нужны сразу все.

Зачем знать порядок SQL запроса?

Понимание того, как и в каком порядке выполняются запросы, помогает отлаживать случаи, когда запрос выдает не то, что ожидалось. А также оптимизировать скорость их работы.

А теперь вопрос знатокам. Как в этот порядок вписываются: (a) JOIN, (b) UNION, (c) DISTINCT, (d) оконная функция, (e) агрегационная функция, (f) WITH CUBE?

Если оператор SELECT выполняется после HAVING, а ORDER BY — после SELECT, почему тогда запрос на картинке выполнится корректно?

В прошлом посте я рассказал о порядке выполнения SQL запросов.

Напомню, что порядок выполнения операторов в SQL следующий: FROM → WHERE → GROUP BY → HAVING → SELECT → ORDER BY → LIMIT.

Да, существуют СУБД, для которых выполнение запроса на картинке вернет ошибку (например, в старых версиях MySQL). Но есть и те, для которых эти запросы будут корректными, и для них будут возвращены адекватные результаты (например, в ClickHouse).

Как считаете, за счет чего это возможно и как это работает?

#задачи #sql

4 этапа развития а/б экспериментов в компаниях. Введение.

Эта серия постов базируется на опыте мирового эксперта – Рона Кохави. Он 20+ лет работал в Amazon, Microsoft и Airbnb, где занимался преимущественно построением платформ для а/б экспериментов.

Разработанная им платформа в Microsoft по сей день используется для проведения 25 000+ а/б тестов в год (до 100 новых каждый день).

В своей книге «Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing» Рон выделяет 4 этапа развития а/б экспериментов:

1. Подготавливаются инструменты, и создаются необходимые условия для проведения экспериментов. Результаты по экспериментам обсчитываются вручную. Компания проводит ~1 А/Б тест в месяц (~10 в год).

2. Начинают появляться стандартизированные метрики. А/А тесты и анализ статистической мощности становятся нормой. Компания начинает использовать готовые решение для автоматизации проведения А/Б или появляются зачатки самописного решения. Тесты проводятся каждую неделю (~50 в год)

3. Имеется исчерпывающий набор и понимание метрик. Также они становятся более абстрактными: появляются метрики “лояльности”, “успеха” и другие. Завершенные А/Б тесты начинают использоваться для извлечения знаний из них. Появляются автоматические алерты на инциденты. Ведется работа над созданием общего критерия оценки экспериментов – единой составной метрики, которая учитывает в себе компромиссные взаимосвязи метрик. Эксперименты запускаются каждый день (~250 в год)

4. Обнаружение влияния одного эксперимента на некоторый другой происходит автоматически. Остановка а/б теста в случае инцидента также автоматизирована и происходит в реальном времени. Общий критерий оценки экспериментов стабилен и лишь периодически дорабатывается. На этом этапе проводится 1000+ экспериментов в год.

В следующих постах я остановлюсь и расскажу детальнее о каждом из этапов.

Кто не готов довольствоваться выжимкой из книги Рона и статей, на которую она ссылается, крайне рекомендую книгу к самостоятельному ознакомлению.

#продуктоваяаналитика #абтесты

Эту задачу HR’ы социальной сети задают на телефонном интервью.

Времени размышлять нет, ответ ожидается сходу.

В коробке 7 красных, 14 зеленых и 21 синий носков.

1. Какое минимальное количество носков нужно вытянуть наугад чтобы гарантированно образовалась одна пара одного цвета?

2. Какое минимально количество носков нужно вытягуть наугад чтобы в итоге гарантированно получилось три разных?

Попробуйте справиться с задачей самостоятельно перед просмотром решения.

В обеих задачах нужно отталкиваться от худшего случая.

1. Мы можем сначала вытянуть 3 разных носка. 4-ый гарантированно будет уже имеющегося цвета.

2. Аналогично, можем вытянуть 14 зеленых и 21 синий. Следующий носок – уже красный. Итого: 36.

#задачиссобеседований