ANDRON ALEXANYAN
6.58K subscribers
8 photos
2 videos
126 links
Пишу о том, как проводить аналитику и делать правильные выводы.

Основатель simulative.ru — обучаем крутых аналитиков.

Для связи: @andron233
Download Telegram
Вы считаете корреляцию неправильно! 😱

Сегодня хочу поговорить про корреляцию. А точней про ошибки, которые связаны с расчетом этой метрики.

За последнее время во время разговора с людьми я встретился сразу с большим количеством ошибок, связанных с расчетом корреляции. И казалось бы - где тут ошибаться, это же просто число, которое показывает наличие/отсутствие и силу связи между переменными. Но сейчас я покажу вам обратное на примере 2 типовых ошибок.

Ошибка 1: Неправильный выбор переменных

С этой ошибкой я столкнулся сразу несколько раз, когда проверял тестовое задание на позицию junior-аналитика. Там нужно было оценить влияние составляющих рекламного баннера (главный цвет, вспомогательные цвета, пропорции картинки, слова и т.д.) на целевую метрику - например, CTR.

Что важно - некоторые признаки были представлены в виде массивов, например, массив вспомогательных цветов. Так вот некоторые ребята объединяли все значения массива в одну строку и считали это за одну переменную. Например, был массив ['красный', 'синий', 'зеленый'], а получилась строка 'красный, синий, зеленый'.

Итого, вместо оценки влияния каждого отдельного вспомогательного цвета на CTR, они оценивали влияние «строки цветов». При этом в 95% случаев эта строка была уникальной, потому что 'красный, синий, зеленый' и 'зеленый, синий, красный' у них - конечно же, разные сочетания (хотя по факту нет).

Как надо делать: сначала, сформировать «длинный» датафрейм, разбив каждую строку на несколько, чтобы в одной ячейке всегда был только один цвет, а потом посчитать влияние изменения цвета на CTR обычным способом.

Ошибка 2: Категориальные переменные

Корреляцию считают только для числовых признаков - это все знают. Но часто нам приходится работать с категориальными переменными (как в предыдущем пункте). И люди делают одну и ту же ошибку - просто применяют one-hot encoding, т.е. кодируют категориальные переменные (например, цвета) числами. Был «зеленый» - стал «1», был «красный» - стал «2».

А дальше применяется стандартный расчет корреляции - логично же, у нас ведь два числовых признака. Однако, взгляните на 2 набора признаков. В скобочках указано закодированное значение, а справа - значение CTR.

* зеленый (1) - 15%, красный (2) - 35%, синий (3) - 25%
* зеленый (3) - 15%, красный (2) - 35%, синий (1) - 25%


А теперь посчитаем корреляцию для 1 и 2 группы. В первом случае получаем 50%, а во втором -50%. Странно, да? Ничего не изменилось, а результаты полярно разные.

Как надо делать: для расчета корреляции лучше использовать коэффициент Спирмена, если мы на 100% не уверены, что кодирование категориальных переменных числами будет отражать увеличение/уменьшение значения признака. Соответственно, например, для цветов такое кодирование слабо применимо.

✔️ Заключение

Корреляция - мощная метрика, но использовать ее нужно с умом, а не слепо писать формулу.

Если вам этот пост зашел - поделитесь им с друзьями / отправьте в чатики, где вы сидите или в коммьюнити людей, кому это может быть интересно - пусть они тоже не делают таких ошибок ❤️

Ваш репост здорово поможет мне развивать канал! А как только мы пробьем планку в 1000 подписчиков, я расскажу про 3 частую ошибку - ложную корреляцию!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5723🔥13🎅1
Топ крутых метрик для аналитики SMM 💃

Все мы знаем стандартные метрики - CPL, CR, ARPU, LTV и прочее. Про них уже рассказано тысячи раз. Однако, в бизнесе есть много процессов, которые тоже нуждаются в оцифровке, а сделать это довольно сложно. К ним относятся PR, SMM, HR, email-рассылки и прочее.

Поэтому сегодня в формате короткой заметки я хочу поделиться с вами несколькими крутыми метриками для аналитики SMM и постов в социальных сетях, которые мы для себя выработали на опыте своего бизнеса.

✔️ LOVE RATE

Чтобы вам было интересней читать этот пост, начну с нестандартной метрики - Love Rate (LR).

Определение: Коэффициент привлекательности

Формула расчета: Количество лайков / Количество подписчиков * 100%

Что метрика показывает: Насколько аудитория активно «одобряет» ваш контент - ставит лайки, делает репосты, пишет комментарии.

Почему важно отслеживать: Во-первых, это главный маркер интересности вашего контента - если показатель низкий, то вы что-то делаете не так. Во-вторых, все социальные сети (кроме ТГ 🤡) вирусят контент только с большим LR, поэтому если хотите бесплатных подписчиков - работайте над Love Rate.

Примечание: Нужно отслеживать именно положительные реакции, а то можно сделать неверный вывод 🙂

✔️ ER

А теперь вернемся к бессмертной классике - все-таки это одна из основных метрик для оценки эффективности группы/канала.

Определение: Engagement Rate (ER) - коэффициент вовлеченности

Формула расчета: Реакции / Подписчики * 100%

Что метрика показывает: Насколько аудитории интересен контент, насколько активно она на него реагирует.

Почему важно отслеживать: Оценка этой метрики поможет как в составлении контент-плана (низкая вовлеченность - не делаем такие посты), так и при закупке рекламы. Например, когда мы закупаем посевы в Телеграм, мы всегда смотрим на ER каждого канала.

Кейс: Мой близкий товарищ по бизнесу не оценивал ER (и ERR) и попал в глупую ловушку. Он купил за 50к рекламу в канале с 15к подписчиками и низким ERR, когда можно было купить за 2к в канале с 3к подписчиков и огромной вовлеченностью.

✔️ ORGANIC FOLLOWERS

Это очень простая метрика, но только вдумайтесь, насколько она важна!

Определение: Organic Followers (OF) - органические подписчики

Формула расчета (для расчета динамики): Органические подписчики за отчетный период / Органические подписчики за предыдущий период * 100%

Что метрика показывает: Насколько велик приток новой аудитории, которые сами вас нашли (или социальная сеть «подсунула»).

Почему важно отслеживать: Если динамика OF отрицательная, то ваш контент стал менее интересным (а значит упала виральность), а также недалек тот час, когда вам придется тратить деньги, чтобы привлекать новых подписчиков.

✔️ AMPLIFICATION RATE

Определение: Amplification Rate - коэффициент виральности контента.

Формула расчета: Кол-во шерингов / Кол-во постов * 100%

Что метрика показывает: Коэффициент распространения постов за счет репостов.

Почему важно отслеживать: В некоторых сетях (например, ВК) алгоритмы охотнее дают виральные охваты постам с большим количеством шерингов. А в некоторых сетях (например, в Телеграме), это вообще единственный способ бесплатного продвижения.

Кейс: Когда мы только начали вести группу ВК, мы не понимали, как работают алгоритмы. А потом мы увидели, что посты с высоким AR получают много вирального охвата - и стали концентрироваться на таких постах. В итоге мы за 2 месяца выросли больше, чем за весь прошлый год.

✔️ ЗАКЛЮЧЕНИЕ

Конечно, это не все метрики - их намного больше. Давайте наберем 60 реакций огонечков 🔥 и я выложу вторую часть подборки крутых метрик для SMM!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥83👍6
Хочешь сделать понятней - усложни! 😏

1. Графики и отчеты смотреть сложно - знаю по себе. Бывает, открываю дашборд, смотрю в него и закрываю. А потом думаю: «Ну ты же ничего там не увидел, открывай заново!»

2. Причина проста: создатели дашбордов ставят перед собой неправильный вопрос. Строя очередной график, они спрашивают себя: «А могу ли я ответить на вопрос Х, смотря на этот график?»

3. А какой вопрос тогда правильный? Не в этом ли суть дашборда - наглядно отобразить данные с помощью графиков, чтобы находить ответы на вопросы бизнеса?

4. На самом деле нет. Чтобы правильно описать суть дашборда, нужно добавить всего одно слово - «легко».

5. Получается: Суть дашборда - наглядно отобразить данные с помощью графиков, чтобы легко находить ответы на вопросы бизнеса.

6. Согласитесь, смысл поменялся? И теперь стало наконец понятно, в чем разница между голой экселькой и дашбордом. Да и вообще, зачем нам аналитик в компании. Чтобы делать «легко»!

7. А как сделать легко? Один из моих любимых приемов - добавить линию.

8. Чтобы упростить график, нужно добавить линию - это абсурд?! А вот и нет. Добавив линию правильно, вы поможете мозгу находить ответ на вопрос Х легко - а это и есть основная суть дашборда, как мы выяснили.

В комментариях прикрепил пример такой трансформации - классический график динамики выручки и тот же график с дополнительной линией среднего. Согласитесь - именно на графике с дополнительной линией вы легко и моментально увидели дни просадки и дни пиковой выручки, а на первой картинке вам пришлось «прищуриться» для этого.

А вы согласны с этим тезисом? Уже придумали, где «усложнить» свой дашборд? 😉
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥41👍133
Как мы хакнули вебинары 🚨

Как найти тему для вебинара, который будет лучше всего отрабатывать для достижения целей по CAC (стоимость привлечения клиента)?


Мы внедрили офигенную тему, которая помогла нам получать супер дешевые лиды и снизить CAC в несколько раз. Как это было - рассказывает Иван, наш партнер по рекламе и автор крутого телеграм-канала про маркетинг (личная рекомендация, подписывайтесь, сам подписан с первых дней).

КАКУЮ ЗАДАЧУ РЕШАЛИ

В работе над проектом Simulative (симулятор Аналитик данных) мы пробовали запускать разные варианты рекламы: прямая на курс, на бесплатный курс, на вебинары. Последнее работало лучше всего, но все равно стоимость клиента выходила выше KPI 🥲

Тут было несколько гипотез, что можно улучшать:

⁃ дизайн баннеров
⁃ оффер, через который вели на вебинар
⁃ тему самого веба


Тему тестировать сложнее всего, потому что нужно готовить много вебинаров, каждый из которых требует значимых финансовых инвестиций в рекламу, для статистически значимых цифр, чтобы подтвердить гипотезу — работает он или нет с точки зрения продаж. Так как предыдущие гипотезы уже были опробованы, мы перешли к тесту тем.

КАК СПРОЕКТИРОВАЛИ ТЕСТ

Как запускали: Делали по модели MVP: придумали темы, сделали несколько разных ботов под каждый вебинар, несколько вариаций баннеров и офферов. На каждую тему запускали трафик из двух источников.

На что ориентировались: Успешным результатом тестов считали высокую кликабельность объявлений, низкий CPL. Референсом были значения по предыдущему вебинару.

Классный лайфхак: Вебинары мы не проводили. Для проекта это слишком дорого. Поэтому после недельного теста во все боты отправили сообщение о том, что вебинар не состоится. В качестве извинений сделали небольшие подарки в виде полезных информационных материалов. И дальше сделали рассылку с приглашением на вебинар, который победил по метрикам, описанным выше.

Вебинар провели и сравнили не только первичные показатели, но и доходимость, а также стоимость привлечения клиента.

Можно еще сильнее удешевить этот тест, сравнивая только кликабельность и стоимость клика, заходя все дальше и дальше по воронке с победителем тестов. Это дольше, поэтому выбирать стратегию нужно, отталкиваясь от маркетингового бюджета.

ЗАКЛЮЧЕНИЕ

Процесс выбора темы для вебинара - один из многих тестов, которые мы запускаем. Если вам зашел этот пост - давайте наберем на него 50 реакций сердечек ❤️ и я расскажу про другие лайфхаки, которые мы используем для тестирования маркетинга!
Please open Telegram to view this post
VIEW IN TELEGRAM
63👍5🔥4🤣1
ТОП-4 признака, которые влияют на успешность рекламного баннера 🎉

В одном из моих проектов за последние полгода мы проанализировали около 250 000 разных рекламных объявлений в разных нишах бизнеса - от онлайн-образования до элитной недвижимости и эротики.

Наша задача была - выявить признаки, которые работают лучше всего и научиться с высокой вероятностью делать рекламные баннера с классным CTR / CPL / CAC.


Для анализа мы пробовали разные продвинутые алгоритмы и подходы - дисперсионный анализ, ANOVA, бустинг, коэффициенты корреляции и многое другое. Потом мы все это комбинировали, нормировали и представляли в виде понятной диаграммы, по которой однозначно можно понять: что работает лучше, а что хуже (пример диаграммы - в комментариях).

И вот несколько общих выводов, которые я сделал за это время:

✔️ Текст почти всегда важней визуала. Картинка и цвета влияет только на пробитие баннерной слепоты, не более того - остальные метрики почти никак не зависят от объектов и цветов.

✔️ Очень сильно влияет оффер (например, упоминаете ли вы на баннере явную точку Б клиента). Тексты «Обучись аналитике данных» и «Стань аналитиком с зп в Х рублей и работай удаленно» покажут совершенно разные результаты при одинаковом визуале.

✔️ Наличие CTA (call to action) в тексте почти всегда влияет. Как ни крути - лучше написать «Записывайся на вебинар», чем не написать этого.

✔️ Наличие вопроса в текста тоже почти всегда влияет - но не всегда это влияние очевидно. Зависит от клиента - иногда лучше написать «Хочешь стать аналитиком?», а иногда это категорически противопоказано.

Конечно, это очень общие выводы, важность признаков меняется даже для одного и того же клиента в разрезе разных рекламных кампаний. Однако эти 4 пункта встречаются чаще остальных - обязательно учитывайте это при анализе рекламных объявлений.

Давайте соберем 60 реакций огонечков 🔥 на этот пост и я поделюсь еще 7 инсайтами по этому поводу.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥99👍4
Как правильно выбирать метрику для анализа и причем тут воронка? ⬆️

Помню, когда я был профаном и записывал свой первый курс по аналитике данных, там был урок про маркетинговую воронку. Я был сапожником без сапог - у меня не было глубинного понимания, в чем ценность этой штуки. Ну есть этапы маркетинга, есть этапы продаж - что тут интересного? Я, конечно, рассказал про нее, показал пару картиночек, но ни я, ни мои студенты ничего не поняли. Однако потом, работая в других компаниях (а уж тем более, когда появился свой собственный бизнес) я осознал, насколько это важная вещь.

1. Основная ценность воронки - она показывает «узкое горлышко» в компании. То есть вы сразу видите, где у вас плохо работает - на этапе лидогенерации или менеджеры сливают заявки.

2. Но зачем нужно понимать эти узкие места? Почему планомерно нельзя работать над улучшением воронки в целом?

3. Потому что это расфокус. Вы не можете сразу улучшать все метрики. А если и улучшите, то не поймете, что сработало, а что нет - успех повторить и масштабировать не получится.

4. Получается, что воронка - это просто способ выбрать ключевую метрику для улучшения. Нашли узкое место, описали его с помощью метрики, сгенерировали гипотезы по улучшению, проверили их - вот так выглядит правильный пайплайн работы с воронкой.

Причем воронка - не всегда набор верхнеуровневых этапов. Иногда (точней почти всегда) воронку нужно дробить на более мелкие этапы, чтобы понять, где проседание и куда бить.

Пример

Лиды - 1000, заявки - 500, продажи - 5

В компании много лидов и крутая конверсия в заявку (50%). Но всего лишь 1% продаж - это очень мало. Вывод - надо бить менеджеров палкой. Однако, если добавить этап «Квалификация лида», то можно увидеть такую картину:

Лиды - 1000, заявки - 500, прошли квалификацию - 50, продажи - 5

И это уже совсем другая история - получается, маркетинг приводит нецелевых лидов (например, с слишком маленьким доходом или у них не «горит» прямо сейчас). Соответственно, работать надо не над CR2, а над CR-Q.

Заключение

Итак, несколько выводов:

1. Воронка - способ выделить слабое место и найти метрику, которую нужно улучшать
2. Воронка должна содержать максимально подробную разбивку по этапам, чтобы определить метрику правильно


На эту тему можно написать еще много мыслей - пожалуй, это чуть ли не основная штука в любом бизнесе.

Если вам зашел этот пост - давайте наберем на него 70 реакций сердечек ❤️, и я на конкретных примерах покажу правильные и неправильные выводы при анализе воронки.
Please open Telegram to view this post
VIEW IN TELEGRAM
118👍7🔥2🤔1💩1
Как бустануть выручку на 75 млн или анализ воронки продаж 💵

На прошлый пост вы уже набрали больше 100 реакций - а значит, как и обещал, выкладываю конкретные примеры правильных и неправильных выводов при анализе воронки продаж.

✔️ ДАНО

Давайте специально возьмем воронку, никак не связанную с моим бизнесом, чтобы показать, что правильные/неправильные выводы одинаково работают в любой ситуации. Итак, допустим, мы занимаемся оптовой продажей текстиля для магазинов. Средний чек заказа у нас - 250 000 рублей. Lifetime - 20 заказов. Процесс продажи у нас выглядит так:

клиент звонит менеджеру → менеджер узнает потребность → менеджер формирует прайс-лист под клиента и отправляет ему → клиент знакомится с прайсом → клиент отправляет первый заказ менеджеру → происходит отгрузка → клиент делает повторные заказы

А вот наша воронка (в более общем виде) в цифрах:

* Поступило звонков - 100 шт
* Первых заказов - 15 шт (15%)
* Повторных заказов - 5 шт (33%)


✔️ ОШИБКА 1: СЛИШКОМ ОБЩАЯ ВОРОНКА

О чем речь: Воронка продаж содержит сильно меньше этапов, чем процесс продажи на самом деле. Из-за этого мы не видим, где именно срезается конверсия.

Ошибка: Клиентам не нравится наш прайс-лист, нужно провести кастдев, поменять ассортимент, сделать прайс-лист в более удобном виде.

Правильный вывод (возможный): Менеджеры просто очень долго формируют прайс-лист под клиента, из-за чего они находят другого поставщика и начинают с ним работать.


✔️ ОШИБКА 2: ПОСПЕШНЫЙ ВЫВОД

О чем речь: При анализе мы забываем про ограниченность ресурсов компании и делаем вывод, который был на поверхности (см. мой пост про ошибку поверхностных выводов), но далеко не самый эффективный.

Ошибка: Мы зарабатываем мало, потому что у нас маленький поток входящих лидов. Нужно увеличить их со 100 до 600, тогда у нас будет 30 клиентов. Врубаем маркетинг!

Правильный вывод (возможный): Мы видим, что на первом этапе воронки у нас маленькая конверсия - всего 15%. А что если мы увеличим ее хотя бы до 30% (кажется, это вполне возможно). Тогда мы получим те же 30 клиентов, только не потратив ни копейки дополнительно.


✔️ ОШИБКА 3: КРИВАЯ ВОРОНКА

О чем речь: Обратите внимание, что в процессе продажи очень много пунктов, которые должен сделать клиент. Найти телефон компании - сам. Утвердить прайс - сам. Сделать первый заказ - сам. Второй заказ - тоже сам. Компания, по сути, только копипастит прайс-листы и принимает звонки. Очень удобно.

Ошибка: Пытаться тюнинговать хреновую воронку.

Правильный вывод (возможный): Сначала нужно пересобрать воронку так, чтобы она была рабочей. Или как минимум более эффективной. Классно, что текущая воронка дает какие-то результаты - но она объективно кривая, клиенту нужно сделать много усилий, чтобы стать платящим клиентом - так быть не должно. Рассказывал про эту штуку в заметке про
3 простых шага по увеличению retention (если еще не читали - обязательно посмотрите)

✔️ ЗАКЛЮЧЕНИЕ

Короче, с помощью неправильных выводов можно разрушить компанию или долго топтаться на месте. А с помощью правильных - бустануть LTV на 75 млн рублей при вложениях в 0 рублей (посчитайте на данном примере, с учетом роста конверсии до 30%, среднего чека и lifetime). Как вам такое?!

Если вам зашел этот пост - давайте наберем на него 80 реакций огонечков 🔥 и я расскажу про то, как правильно делать выводы на основании ABC-анализа (на днях проводил вебинар на эту тему, хочу поделиться с вами инсайтами)!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥102👍52🤔2👎1
Как делать ABC-анализ правильно 💊

Недавно я проводил вебинар по ABC-анализу и уделил особое внимание тому, как извлекать из него правильные выводы. Причем некоторые из них вообще не лежат на поверхности, их нужно «раскопать».

Учитывая, что с ABC-анализа начался мой путь в аналитике (я работал в региональной торговой сети, там это был основной инструмент) - я на 100% уверен, что с помощью одного лишь ABC можно круто забустить бизнес. Итак, давайте рассмотрим конкретные примеры.

Представьте, что мы провели ABC по трем параметрам: выручка, количество проданных штук, маржинальность.

✔️ Пример 1: группа ААА

Как делают обычно: Группа AAA - абсолютный лидер. А значит его просто не трогают. И так все классно.

Как можно делать: дополнительно посмотреть XYZ-анализ и принять решение о поднятии цены. Если спрос стабильный (группа Х), то можно провести короткий тест и поднять цену. Если спрос не упал, то мы на ровном месте стали зарабатывать еще больше 🙂

✔️ Пример 2: группы CCA, CBA, CBB и другие

С этими группами надо быть аккуратней - они вроде аутсайдеры, но причины могут быть совсем разные. Например, когда я анализировал датасет на вебинаре, я предложил следующие контринтуитивные штуки.

В группе CCA было сразу 3 товара, при этом у всех 3 хорошая доходность (А). Чтобы увеличить количество, давайте просто сократим кол-во позиций в ассортименте до 2 или даже 1. В итоге останется 1 товар с хорошей маржой, а кол-во продаж возрастет и товар может перейти даже в группу ААА!

Есть и другой способ увеличить продажи в группе CCA (и других) - можно сделать акцию 1+1 или 2+1. Т.к. маржинальность у нас в группе А, мы можем себе это позволить. Итого мы не даем дополнительную скидку (почти), но стимулируем покупать больше и «вытягиваем» товар из группы С по количеству в группу А.

✔️ Пример 3: группа ССС

Этот пример не связан напрямую с хитрыми аналитическими приемами, но хорошо показывает, насколько важно иногда «приземляться».

Как-то давно у нас был товар и по ABC-анализу он стабильно был в группе ССС. Мы что только не делали - опускали цену, делали акции, перепробовали все на свете. Но мы ни разу не спросили - а товар вообще есть на полке.

Как оказалось, товар просто не выставили. Нерадивые продавцы видели акцию, не находили товар и забивали болт. Вот тебе и аналитика. А надо было просто сходить за ним на склад.

✔️ Заключение

Про ABC-анализ я могу рассказывать очень долго - это, на первый взгляд, очень простая штука, но толковый аналитик из нее может извлечь просто тонну пользы.

Хочется поделиться с вами полными результатами того ABC-анализа, про который я рассказал в посте, чтобы вы сами смогли все посмотреть и изучить. Так что когда этот пост наберет 100 реакций огонечков 🔥 - я выложу сюда полную версию этого ABC-анализа и мы с вами ее подробно разберем!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥122👍41
Мой персональный топ нестандартных книг, связанных с аналитикой 🦮

Недавно общался с одним из наших студентов и невольно родился топ книг, которые я рекомендую почитать всем, кто хоть как-то связан с аналитикой. Причем абсолютно не важно - вы аналитик, data-driven маркетолог или предприниматель: книги написаны в формате научпоп с интересным изложением, никаких специфических знаний вам не потребуется.

Обязательно сохраняйте себе - это не всем привычные книги, типа «Статистика и котики», это реально необычная, рафинированная подборка.


✔️ Идеи с границы познания: Эйнштейн, Гёдель и философия науки, Джим Холт

Это одна из самых моих любимых книг! Не пугайтесь имен физиков и слова «философия» в названии - ничего сложного там не будет. Куча интересных исторических фактов (например, узнаете, почему фашизм придумали математики), а также непростые вещи в супер понятной и наглядной форме (например, что ваши разовые успехи не всегда гарантируют их повторение из-за регрессии к среднему).

✔️ Ложь, наглая ложь и статистика, Тим Харфорд

Грамотный аналитик может подать даже убыток в компании как праздник и большую радость. Эта книга - как раз про такие фокусы: эффект страуса, 10 правил Харфорда и многое другое. Для всех финансистов - must read перед годовым отчетом.

✔️ Идеальная ставка, Адам Кучарски

Книга одновременно и про теорию вероятности, и про математику, и про литературное повествование. Я читал эту книгу на одном дыхании - она была такой же интересной, как фильм «21», где математики обыгрывали казино за счет подсчетов. Очень рекомендую!

А если вы планируете заглянуть в Монте-Карло на новогодних праздниках - заранее прочитайте эту книгу.

✔️ Математическое невежество и его последствия, Джон Аллен Паулос

В этой книге автор на максимально жизненных примерах рассказывает про применение статистики в разных сферах: от выборов до медицины и казино. В качестве стимула прочитать эту книгу приведу просто один из отзывов, дальнейшие комментарии будут лишними:

Я купил эту книгу и сразу же отп**дил ей парочку астрологов. Спасибо. Жду издания на более плотной бумаге, чтобы опиз*юлить еще нумерологов и психологов.


Ничего не имеем против этих ребят - просто цитируем восторг читателя 😁

✔️ Заключение

Ну как вам подборка, зашла? А какие книги вы бы сюда добавили? Напишите в комментариях 🔝
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥50👍83🤣2
5 конкретных шагов, чтобы делать аналитику правильно

Меня постоянно спрашивают - как генерировать выводы из анализа, если нет коммерческого опыта. Я долго думал и составил для вас четкую последовательность из 5 шагов, которая позволит вам делать крутую аналитику, даже если вы абсолютно начинающий.

✔️ Шаг 1: Сформулируйте основную цель анализа

Это должна быть не абстрактная цель в духе «Увеличить продажи» и даже не цель по SMART а-ля «Увеличить продажи на 5% за 3 месяца». Цель должна представлять из себя конкретную задачу, которую можно решить с использованием ТОЛЬКО той аналитики, которая у вас есть на руках (не прибегая к другим методам).

Например:

* цель ABC-анализа - сделать так, чтобы каждый из товаров хотя бы по одному признаку (выручка/количество/маржа) перешел в группу повыше (например, из C в B или из B в А)
* цель RFM-анализа - сделать так, чтобы каждый из клиентов хотя бы по одному признаку (recency, monetary, frequency) перешел в группу повыше (например, из группы 3 по recency в группу 1)


✔️ Шаг 2: Идите последовательно

Двигайтесь маленькими шажочками. Не пытайтесь охватить сразу всю таблицу или график. Зафиксируйтесь на одной строчке и делайте следующие 3 пункта до тех пор, пока там уже совсем не останется идей.

✔️ Шаг 3: Задавайте вопрос - «А из-за чего так?»

Когда зафиксировались на какой-то строке/точке, задайте себе вопрос: «А из-за чего так?». И обязательно найдите ответ на этот вопрос. Чем больше гипотез придумаете на этом этапе - тем лучше. Причем всегда ищите первопричину.

Пример вопроса:

* Почему порошок Bimax в группе CCB по ABC-анализу?
* Почему 30% клиентов попадают в группу потерянных фанатов по RFM?


И ищите максимальное количество ответов, даже самых сумасшедших - отмести их всегда успеете. Вот цепочка рассуждений для ответа на первый вопрос.

Bimax в группе CCB, значит у него средняя маржинальность, но он продается мало по количеству и по выручке. Вероятно, выручка напрямую зависит от количества продаж, значит подтянуть товар в группу повыше мы можем за счет увеличения кол-ва проданных штук, даже при той же маржинальности. Но почему товар может быть в группе С по количеству продаж?

* Слишком дорогой
* Неудачная выкладка
* Нишевый товар, люди о нем не знают, не распробовали
* Проигрывает конкурентам и не пользуется спросом
* Не выложен на полку вообще
* Стоит просроченный


✔️ Шаг 4: Задавайте вопрос: «А что нужно не ухудшить?»

Перед тем, как принимать решения, подумайте - а что вам важно не ухудшить. Простой пример - можно дать скидку на товар, немного увеличить кол-во проданных штук, но при это уронить рентабельность (которая у нас и так в группе B).

Примеры:

* Нужно вырастить количество проданных штук с сохранением рентабельности в группе А
* Нужно увеличить частоту покупок человека с сохранением среднего чека


✔️ Шаг 5: Задавайте вопрос: «А как исправить?»

Начинайте придумывать решения с учетом п. 3 и 4. Придумайте так много, как сможете. Потом оцените их на предмет «А реально ли они решают проблему» и «Точно ли они не ухудшат метрику, которая должна остаться на том же уровне».

На нашем примере с Bimax - нам нужно заставить продаваться его большим объемом с сохранением рентабельности. Это можно сделать так:

* Акция 1+1 / 2+1
* Кросс-сейл с другим высокомаржинальным товаром (например, постельным бельем)
* Если можно выбить скидку у поставщика и увеличить рентабельность, то можно и обычную скидку давать клиентам


✔️ Заключение

Этот процесс работает железно абсолютно всегда. Вы можете проверить это на любой своей табличке или анализе - такая последовательность из 5 шагов 100% приведет вас к успеху. Первые несколько раз будет трудно, но довольно быстро вы привыкнете, и обратного пути уже не будет!

А если вам это зашло - давайте наберем на этот пост 80 реакций огонечков 🔥 и я разберу кейс из нашего бизнеса по этому фреймворку.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1173👍2
Продуктовый подход к постановке целей на год 🎄

В праздники сделал небольшую передышку от контента, поэтому сегодня хочу поднять вполне себе Новогоднюю тему - планирование и приоритезацию.

Наверняка многие из вас на каникулах прописывали себе планы на год, ставили цели и прочее. Этим же занимаются в течение года и команды аналитиков/продактов/разработчиков - постановкой и приоритезацией гипотез. Не каждая наша идея - хорошая, некоторые нужно просто выкинуть в мусорку еще на входе.

И сегодня я хочу рассказать про несколько фреймворков работы с планами и целями, которые помогают лично мне фокусироваться на важном и достигать личных/бизнесовых/продуктовых целей. Здесь не будет рассказов про Драконий дневник или денежные медитации. Все по факту.

✔️ Декомпозиция

Все начинается с декомпозиции. Это когда вы ставите цель, а потом раскладываете ее на составляющие. Самый простой пример - цель «какой доход я хочу к концу года» разложить на небольшие месячные цели.

Это очень простая штука, но она реально работает, если делать ее с умом. Многие забивают забывают, что есть сезонность (мы не можем расти летом также, как во время Черной пятницы), есть объективные факторы (если поток стартует раз в месяц, ты не можешь планомерно приближаться к выполнению плана каждый день) и так далее.

Кроме того, декомпозиция - не просто циферки. На ее основании можно многое увидеть. Например, что для выполнение нашего плана уже через 3 месяца нужно будет запустить новый курс или нанять 2 дополнительных сейлза. Или что текущая система продаж развалиться посередине года и станет немасштабируемой - уже сейчас понятно, что вы не придете к цели. Это видно в цифрах - нужно только посмотреть.

✔️ SMART

Все слышали, что цели надо ставить по SMART. Она должна быть конкретной, измеримой, достижимой, актуальной и ограниченной во времени. Но все продолжают упускать пункты из этого простого чек-листа.

Если из цели «Похудеть за 2024 год» сделать «За 3 месяца сбросить 100 кг» - лучше не станет, потому что цель недостижимая. Более того, если вы поставите даже цель «За 3 месяца сбросить 5 кг» - вы ее тоже не выполните, если на этом все закончится. Цель поставлена по SMART, но мы не понимаем, как ее достичь, а значит ничего не сделаем.

А вот если мы посчитаем, какой должен быть дефицит калорий для такого сброса веса, посчитаем свое дневное потребление, вычислим дельту калорий и скорректируем рацион, а потом составим план тренировок - вот тогда все будет ок.

Вывод прост - цель по SMART не является серебряной пулей: после постановки такой цели должна следовать еще череда действий. Тогда результат будет.

✔️ RICE / ICE

Мы все хотим многого. Желательно сразу. Но уже через 3 месяца понятно, что 70% наших целей - вообще какие-то левые мысли, нам это было не нужно. Знакомо?

Чтобы оценить важность каждой цели и задачи, круто помогают методы приоритезации - RICE, ICE, MoSCoW и другие. Оцениваете каждую гипотезу или цель по легкости внедрения, важности, стоимости, достижимости и другим критериям. Потом формируете ранжированный список и оставляете только важное. На этом и фокусируетесь.

Например, когда у меня происходит полный завал по работе, я выписываю все свои дела в специальную таблицу и ранжирую их по RICE. Здорово помогает откинуть «очень важные» задачи, которые на самом деле нужны только никому))

✔️ Заключение

Все эти подходы здорово помогают планировать и реально достигать своих планов, а не просто писать недостижимые списки. Более того - это применимо не только в личной жизни, но и для команд аналитики/продукта/разработки. Мы используем эти штуки для приоритезации продуктовых гипотез и фич в разработке.

Если вы хотите подробнее узнать про то, как с умом использовать какой-то из этих подходов - напишите про это в комментариях и я расскажу про это в следующих постах!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍41🔥137
ICE ДЛЯ ПРИОРИТЕЗАЦИИ ГИПОТЕЗ + МОИ ЛАЙФХАКИ 🔥

Как и обещал в предыдущем посте, расскажу сегодня, как я использую методологию ICE для приоритезации продуктовых гипотез, нагрузки команды или даже собственной жизни.

ICE - это подход, в котором вы присваиваете каждой задаче баллы по 3 параметрам: Влияние (Impact), Уверенность (Confidence) и Легкость исполнения (Ease). Затем считаете суммарное значение для каждой задачи и ранжируете все задачи в порядке убывания. В целом, все просто.

Однако, я для себя немного модернизировал этот фреймворк и сейчас поделюсь парочкой фишечек. А в конце еще дам ссылочку на пример готовой (и даже заполненной) таблички.

✔️ Лайфхак 1: Много людей - не залог успеха

Метрика Impact подразумевает, что чем больше людей затронет ваша активность, тем она важней. Но это не так. Посудите сами, что важней: перекрасить кнопочку, которую увидят все пользователи сайта или сменить банковского брокера с комиссией на 50% ниже, но это затронет только платящих клиентов?

Поэтому в рабочих проектах я использую метрику "Ожидаемый экономический эффект".

✔️ Лайфхак 2: Какую метрику улучшаем?

Задача может иметь супер высокие приоритеты по всем 3 признакам ICE, но быть абсолютно неважной, потому что влияет на неключевую метрику. Например, у вас проблема с CR2, а вы улучшаете CR1.

Поэтому я всегда фиксирую - какую метрику улучшаем и насколько эта метрика важна в проекте.

✔️ Лайфхак 3: Учитывайте цену проигрыша

Даже маленькая и простая задача может привести к драматическим потерям. Например, смена банковского брокера может грозить отказами по рассрочкам и падением выручки.

Вывод: внедряйте сначала гарантированно успешные инициативы.

✔️ Лайфхак 4: Считайте трудозатраты правильно

Многие учитывают только часы, потраченные на задачу. Но есть большая разница - один человек делает задачу 20 часов или 5 человек делают по 4 часа. Суммарно - одно и то же. Однако в реальной жизни времени на передачу дел и коммуникации уйдет в разы больше, это надо учитывать.

✔️ Лайфхак 5: Делайте пост-оценку

После того, как вы подсчитали все баллы и отранжировали список, посмотрите на него еще раз. Возможно, какие-то задачи можно запустить в параллель - например, если вам нужно только дать задание команде. Зачем откладывать это на потом.

✔️ Заключение

Как и обещал, прикладываю ссылочку на пример заполненной таблицы: ссылка. Там есть еще дополнительные поля - посмотрите внимательно, они тоже могут быть полезными.

Кстати, для беклога разработки я часто использую фреймворк MoSCoW, для личных приоритетов - RICE, а для планов (личных и компании) - SMART и декомпозицию.

Давайте наберем 100 реакций огонечков 🔥 на этот пост, и я расскажу, как я использую все эти подходы, а также поделюсь ссылочками на файлы.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥105👍5🤩31
Не выгружатель ли табличек я? 🤔

Общался на днях с одним из наших студентов, и он сказал классный термин в контексте того, кем он не хочет быть: «выгружатель табличек».

И я подумал о том, что у нас сформировался очень странный рынок: компании указываю в вакансиях требования для выгружателей табличек, технические собеседования проверяют скиллы на выгружателя табличек, все онлайн-курсы обучают выгружать таблички.

А аналитика-то - не про таблички выгружать. И не про код писать. Я уже давал определение, кто такой аналитик на мой взгляд, в посте про Управляемый хаос и превентивную аналитику.

А как вы считаете, как можно сформулировать основной продукт аналитика и его ценность для компании? Кого нужно нанимать и обучать на самом деле? Давайте обсудим в комментариях!
Please open Telegram to view this post
VIEW IN TELEGRAM
32💯8👍3🔥2😁2
РУБРИКА: ВОПРОС ОТ ПОДПИСЧИКА 🎉

Работаю аналитиком, в основном работаю с маркетинговыми данными - выгружаю, агрегирую, строю дашборды, провожу анализ маркетинговых кампаний и так далее. Руководство хочет, чтобы я генерировал идеи для маркетологов, а мне кажется, что это не моя работа. Как считаешь?


Думаю, это повод для обсуждений. Мое убеждение такое - аналитик должен генерировать конкретные гипотезы и идеи для продаж, маркетинга и продукта на основании проведенного анализа. Я этой позиции придерживался и на месте аналитика, и на месте предпринимателя.

То есть, условно, результатом RFM-анализа должен стать не гугл-док, а конкретные рекомендации: как сделать следующую рассылку. Результатом когортного анализа LTV должна стать не табличка, а конкретные предложения по увеличению рекуррентности продукта (кстати, рекомендую почитать пост про 3 простых шага увеличения retention). Ну и так далее.

Является ли это обязательным? Наверно нет. Есть компании, которые четко делят процесс аналитики на техническую часть и на принятие решений. На мой взгляд - эти процессы должны идти всегда вместе, это самый эффективный путь (подробно рассказывал про свое видение идеального аналитика в этом посте).

Если вам ближе первый подход - просто найдите такую компанию, таких масса (как правило, это крупные компании). Если же вы по натуре аналитик-генератор - то вам ближе второй подход и другие компании.

Это был мой понедельничный ответ на вопрос подписчика. Предлагаю сделать эту рубрику традиционной - если у вас есть вопрос, напишите его в комментариях под этим постом или мне в личку @andron233 💕
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5220💯5
Че по трендам? 🔫

Все написали такой пост на новогодних каникулах, а я пишу в режиме слоупока 😠 В конце 2023 года я пообщался примерно с 30+ фаундерами и senior-аналитиками разных компаний с хорошей data-культурой (OZON, Avito, WB, СБЕР, Yango, Elama и т.д.). И среди прочего, всем задавал один и тот же вопрос:

Как думаешь, что поменяется в аналитике в 2024 году?


Собрал самые частые ответы в подборку (+ лично присоединяюсь к каждому пункту).

✔️ Сложно → просто

Почти у каждого прослеживается одна и та же мысль: все устали от большого количества дашбордов, витрин, метрик и репортов. В некоторых компаниях это просто стало формальностью - никаких решений на основании этой аналитики давно уже не принимается. Виден общий тренд - компании пересобирают свою аналитику, выпиливают лишнее и концентрируются не на красивых дашбордах, а на бизнес-выводах, постепенно возвращая data-driven культуру.

Что делать, если вы аналитик: Подтягивать не только хард скиллы, но и продуктовые навыки + умение делать правильные выводы и генерировать гипотезы. А еще готовиться к разбору продуктового кейса на собесе - их тоже все чаще спрашивают.

Что делать, если вы фаундер/менеджер: Начинайте пересобирать аналитику у себя уже сейчас - выделите только самое главное, остальное уберите нафиг и добавляйте только по мере необходимости.


✔️ Аналитика маркетплейсов

Из интересных изменений - если раньше на маркетплейсах (Ozon, WB) продвигаться было довольно просто, то сейчас они все больше идут в сторону Amazon, становясь большой рекламной площадкой. Попасть в топ становится все сложней, а удержаться там - еще сложней. Из этого рождается интересная ниша - продуктовая аналитика продаж на маркетплейсах. И это не про выбор ниши, это про ежедневный контроль метрик, отслеживание - что влияет на ранжирование, и оперативное принятие решений.

Что делать, если вы аналитик: Покопайте в эту тему - многие селлеры сейчас судорожно пытаются отстроить аналитику и находчивые аналитики уже продают дашбордики в Power BI за 50к 😉

Что делать, если вы селлер: Начните отстраивать аналитику своих продаж уже сейчас. Через год уже может быть поздно.


✔️ Глубокая аналитика

С развитием технологий анализировать становится проще. Я уверен, что AI не заменит аналитиков примерно никогда, но новые возможности он точно открывает. Например, если раньше в перформанс-маркетинге мы анализировали только аудитории и тестировали новые объявления, то теперь можно легко раскладывать каждый баннер на отдельные атрибуты (цвета, объекты, контекст, заголовки, CTA и т.д.), выделять ключевые признаки и проводить более качественные эксперименты. Подробно писал про это здесь. Конкуренция на рынке все больше, а значит выигрывает самый сильный. А знание - сила)

Что делать, если вы аналитик: Подумайте, в каких процессах и как вы можете сделать аналитику более качественной? Пример с баннерной рекламой я уже привел - может есть еще что-то?

Что делать, если вы фаундер/менеджер: Очевидно, скорее внедряйте это к себе. Это зарождающийся тренд и сливки снимет тот, кто успеет первым.


✔️ Заключение

Ну как вам подборка? Напишите в комментариях - с какими тезисами вы согласны/не согласны и натолкнуло ли вас это на какие-то мысли 💃
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥48👍8💯3❤‍🔥11
Как и зачем правильно считать оборачиваемость 💃

Если вы работаете в проекте с товарными запасами и остатками, то одна из важнейших метрик для вас - коэффициент оборачиваемости. Есть несколько способов расчета оборачиваемости и, вообще говоря, они дают разный результат. Поэтому сегодня оставлю здесь небольшую шпаргалку по этому поводу - сохраняйте себе.

✔️ Способ 1: За сколько дней мы полностью прокручиваем товарный остаток

Формула расчета: Суммарное кол-во проданных штук за период / Среднедневной товарный остаток за период

Единица измерения: Без размера, это «коэффициент оборачиваемости»

Примеры выводов: Если значение маленькое, то ваш товарный остаток слишком большой и много товара просто лежит на складе. Идеальная картинка - у вас заказано ровно столько, сколько купят за 1 день (в предположении, что путь товара от заказа до полки - 1 день, а также, что не будет отказов). Если ваша ситуация хуже - нужно считать оборачиваемость по отдельным группам товаров или даже товаров и смотреть - либо их выводить, либо стимулировать их продажи, либо меньше заказывать.


✔️ Способ 2: За сколько дней к нам вернуться деньги, вложенные в закупку товара

Формула расчета: Суммарный товарный остаток за каждый день периода / Суммарное кол-во проданных штук за период

Единица измерения: Дни

Для чего нужно: Например, если вы планируете выход с новым товаром на маркетплейсы, то вы можете по оборачиваемости конкурентов оценить, через сколько дней к вам вернуться вложенные деньги. Также, если вы планируете увеличить товарный запас по какой-то группе товаров в своем магазине или расширить ассортимент, вы сможете рассчитать, когда отобьете вложенные деньги.


✔️ Заключение

Первый способ, коэффициент оборачиваемости, больше подходит для аналитических целей - на основании него можно делать выводы, работать над ним и отслеживать динамику. Второй способ - больше про управленческие показатели, его просто нужно иметь перед глазами.

Если вам зашло - давайте наберем на этот пост 70 реакций огонечков 🔥 и я расскажу про другие метрики из разных сфер бизнеса.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥95🐳1
Неочевидная, но веская причина перестать качать hard skills 😤

Начинающие аналитики, практикующие аналитики и даже C-level менеджеры в области аналитики, запомните:

КАРЬЕРА НЕ РАСТЕТ ПРОПОРЦИОНАЛЬНО HARD SKILLS - НЕ НАДО В ЭТО УПАРЫВАТЬСЯ

Серьезно - между двумя кандидатами бизнес выберет не того, кто знает на 2 функции больше в Python, а того, кто принесет больше денег компании. Это всегда так работает.

Компания растет, когда аналитик выдвигает правильные гипотезы и помогает принимать бизнесовые решения. Спокойствие собственника компании увеличивается пропорционально уровню контроля, который у него появляется за счет внедрения правильных дашбордов и оцифровки нужных метрик. Капитализация и стабильность компании увеличивается за счет последовательных и правильных решений, которые невозможно принимать без аналитики.

Например, вчера общался с Романом Кумаром, основателем Refocus (1,4 млн. дол. MRR в 2022), обсуждали стоимость внедрения аналитики в компанию. Он сказал верную мысль про дорогую аналитику (немного перефразирую):

Если она помогает тебе принимать бизнесовые решения, то оно того стоит.

Т.е. человек готов заплатить из собственного кармана сотни тысяч рублей за внедрение качественной аналитики - это показательно. И это не единственный случай - на прошлой неделе общались с 2 компаниями про внедрение к ним аналитики, обе компании спокойно отнеслись к чекам более 1 млн, т.к. понимают профит.

А еще:

70% вашей стоимости на рынке - ваш скилл выдвигать правильные и точные гипотезы.

Например, предприниматель - самая высокооплачиваемая профессия. Но это парадокс - большинство предпринимателей объективно не очень умные и точно обладают меньшим набором hard skills, чем начинающий аналитик. Все дело в точности решений.

Так получается, чтобы сделать квантовый скачок в карьере, нужно не новый оператор SQL учить и просить повышения зарплаты на 5%? А освоить скилл выдвигать точные гипотезы. Обратите внимание - именно так линейные аналитики становились Head of Analytics в крупных компаниях, это не моя придумка)

P.S. Конечно, hard skills - это важно. Базу знать нужно, быть экспертом - тоже нужно. Без этого в профессию не войдешь. Но не делайте это целью всей жизни - в долгосрочной перспективе вы упретесь в карьерный потолок.

Согласны? Напишите в комментариях)
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4711💯9🔥3
Ребят, а про что вам было бы интересно почитать? Какие вещи вас тревожат/заботят? В чем хочется прокачаться? Какие у вас цели и как я могу вам в этом помочь?

Напишите в комментариях, что-то типа:

Я фаундер стартапа, нихера не понимаю, откуда идут лиды, тревожусь и плачу - хочу исправить ситуацию.

Хочется делать контент, который будет заходить и не будет слишком однообразным) Поделитесь в комментариях - с меня кит 🐳на каждый ваш ответ)
Please open Telegram to view this post
VIEW IN TELEGRAM
10👍4🔥3🐳2
Спасибо за подробные ответы на вопросы на предыдущий пост ❤️

Пока что обрисовал такие категории:

* Карьера в аналитике: куда расти, тренды, ожидания со стороны бизнеса
* Принятие решений: как выдвигать гипотезы, как принимать правильные управленческие решения из аналитики, на какие графики/дашборды смотреть в той или иной ситуации, разборы кейсов
* Применение аналитики в реальной жизни: улучшение сайта с помощью A/B-тестов, применение предиктивной аналитики, улучшение рекламы с помощью анализа и т.д.
* Как работать с разными источниками данных
* Продакт-менеджмент: как находить потребности людей и внедрять под них решения


Если что-то забыл - обязательно напишите в комментариях!

А теперь второй вопрос, не менее важный - почему вам вообще интересна аналитика? Вы сейчас кем-то работаете и хотите перейти в аналитику? Почему? Или может вы уже в профессии, но вам чего-то не хватает? Почему не хватает? Или вы предприниматель/менеджер, но зачем-то вам нужна аналитика? Напишите тоже в комментариях - этот вопрос волнует меня не меньше!

Кстати, такая череда вопросов - кусочек классического кастдева и JTBD, как раз немного про то, как выявлять потребности людей и делать под это продукт (в данном случае - контент).

P.S. И снова - на каждый коммент поставлю по единорогу 🦄
Please open Telegram to view this post
VIEW IN TELEGRAM
25🦄8👍2🐳2
3 простых способа тестировать гипотезы без A/B-тестов 💃

Говоря про «тестирование гипотез», обычно подразумевают только A/B тестирование, сложную математику и так далее. Однако не всегда есть возможность провести A/B-тест (например, фичу уже раскатали и нужно как-то оценить эффект), а иногда объект тестирования просто не подлежит A/B-тестированию (например, очень сложно делать A/B тесты email-рассылок).

Поэтому сегодня я хочу рассказать про 3 альтернативных способа для тестирования гипотез, которые мы используем на практике.

✔️ Diff in diff

Рассмотрим основную идею. Например, у вас есть 50 офлайн-магазинов. В 25 магазинах вы внедрили акцию, а в 25 не внедрили. В итоге в первой группе продажи выросли, но также выросли и во второй. Ваша задача - понять, какой эффект дала именно внедренная акция.

Тогда вы можете оценить темп роста продаж во второй группе (где акцию не внедрили) и сравнить с темпом роста в первой группе (где внедрена акция). Разница и будет показывать величину эффекта.

✔️ Псевдо-контроль или casual impact

Можно рассмотреть аналогичную задачу, но немного иначе подойти к ее решению. Например, с помощью прогнозных моделей сделать предикшен по продажам в первой группе, а потом найти разницу с фактическими значениями. Разница и будет показывать величину эффекта.

Кстати, подробнее про diff-in-diff и casual impact вы можете почитать в этой классной статье.

✔️ MVT

MVT - способ одновременно проводить большое количество тестов. Отлично подходит для теста email-рассылок или рекламных баннеров - ранее я подробно писал об этом здесь.

Основная идея - одновременно запустить все возможные комбинации, а потом оценить, какие варианты дают самый классный результат.

✔️ Заключение

Какой из этих 3 методов лучше? А может вообще самый классный - A/B-тесты? Скажу так - мы в работе используем абсолютно все подходы, очень сильно зависит от ситуации. A/B-тест - самый грамотный способ, но иногда мы сильно ограничены во времени/бюджете, поэтому используем другие методы.

Если вам зашел этот пост - давайте наберем на него 70 реакций сердечек ❤️, и я расскажу конкретные примеры - как мы используем эти методы в своей работе.
Please open Telegram to view this post
VIEW IN TELEGRAM
107👍2
Почему компании кладут болт на аналитику или немного про ETL 🥳

В этом канале я много пишу про качественные выводы и гипотезы. Конечно, это важно. Однако есть этап, без которого это все бессмысленно - сбор и хранение данных. ETL-процессы, автоматизация и прочие хард-скиллы - как раз для построения адекватной аналитики это очень важно, иначе анализировать будет нечего))

Наш ключевой бизнес - онлайн-образование. С точки зрения аналитики и ETL-пайплайнов - это полный мрак: мы используем десятки разношерстных сервисов для лидогенерации, прогрева, приема платежей и обучения. Естественно, они никак друг с другом не связаны, у половины нет API, да и в целом я могу описать это только одним словом - полный п*здец.

Так или иначе каждый бизнес сталкивается с такой проблемой, но каждый решает ее по-разному. Я много общаюсь с разными аналитиками/предпринимателями и выделил 4 ключевых категории. Интересно, к какой из них относится ваша компания)

✔️ Легкий с точки зрения аналитики бизнес

Например, интернет-магазины или мобильные приложения - вся движуха происходит в одном месте. Такие компании просто нанимают аналитиков и кайфуют.

✔️ Кладут болт на аналитику

Часто вижу компании с такой риторикой: «В целом, работаем - не уверены на 100%, откуда идут лиды, но экономика сходится». Тоже вариант, в целом, но в современных реалиях, когда цена за клиента только растет, это сложновато.

✔️ Платят за экспертизу большие деньги

Есть компании, которые понимают важность аналитики, сами решить проблему не могут и обращаются к профессионалам. Компании из сферы онлайн-образования, кстати, часто такое практикуют - я знаю с десяток таких кейсов. Да даже к нам за последние пару недель обратились несколько компаний (от офлайн-торговли до edtech), чтобы мы построили им отдел аналитики.

✔️ Ключевой член команды шарит

Иногда бывает, что фаундер или ключевой сотрудник шарит в этой теме, что позволяет ему самому все настроить или нанять людей под свое руководство. Но это очень редкий кейс.

✔️ Заключение

А как это устроено у вас в компании? Напишите в комментариях - интересно, как вы решаете эти проблемы: в каком состоянии находится аналитика в вашей компании?
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥22💯3👾2