Интересное исследование от optimizely (платформа АБ тестов)
Они проанализировали 127000 экспериментов запущенных на их платформе.
Некоторые факты
- Только 12% экспериментов показывают значимое улучшение
- Только 3% компаний проводит более 500 экспов в год
- В среднем компания проводит 34 экспа в год
- Эксперименты с персонализацией приносят на 22% больше дохода, чем экспы без персонализации
Вот тут полное исследование https://www.optimizely.com/the-evolution-of-experimentation/
Они проанализировали 127000 экспериментов запущенных на их платформе.
Некоторые факты
- Только 12% экспериментов показывают значимое улучшение
- Только 3% компаний проводит более 500 экспов в год
- В среднем компания проводит 34 экспа в год
- Эксперименты с персонализацией приносят на 22% больше дохода, чем экспы без персонализации
Вот тут полное исследование https://www.optimizely.com/the-evolution-of-experimentation/
Optimizely
127k experiments later, here's what we learned
As practitioners, you should start with simple changes to deliver quick results. However, when scaling, the focus needs to shift from velocity to impact.
👍14
Я оказывается уже 11 лет на линкедыне зареган, капец я дед.
Давайте дружить там если что https://ru.linkedin.com/in/borzilo
Давайте дружить там если что https://ru.linkedin.com/in/borzilo
👍10
С 4 января 2024 года Google Chrome начнет тестировать отключение 3rd party cookies
В 2023 году я выпал из работы с классическими инструментами веб-аналитики ЯМ и GA, но в конце года вновь вернулся к плотной работе с ЯМ и увидел статью в которой говорилось, что хром в 2024 году начнет отключать 3rd party cookies.
Я подумал, что это должно испортить сбор данных в ЯМ, т.к. кука будет удаляться, а значит у пользователя каждый раз будет новый client_id и мы не будем видеть историю по пользователю.
Короче мои переживания оказались напрасны, если вы такой же слоупок как и я, то знайте, что ЯМ хранит uid (client_id) в first party cookies и грядущие изменения в хроме их не затронут.
В 2023 году я выпал из работы с классическими инструментами веб-аналитики ЯМ и GA, но в конце года вновь вернулся к плотной работе с ЯМ и увидел статью в которой говорилось, что хром в 2024 году начнет отключать 3rd party cookies.
Я подумал, что это должно испортить сбор данных в ЯМ, т.к. кука будет удаляться, а значит у пользователя каждый раз будет новый client_id и мы не будем видеть историю по пользователю.
Короче мои переживания оказались напрасны, если вы такой же слоупок как и я, то знайте, что ЯМ хранит uid (client_id) в first party cookies и грядущие изменения в хроме их не затронут.
🎉14🔥4❤1
Подведем итоги года в блоге 2️⃣ 0️⃣ 2️⃣ 3️⃣
🏆 Номинация "самый просматриваемый и сохраняемый пост" достается:
БОЛЬШАЯ ПОДБОРКА МАТЕРИАЛОВ ПО АБ ТЕСТАМ (6000 просмотров и 600 сохранений)
⬆️ Номинация "новые возможности" - Новая работа - новые возможности
🖼 Номинация "мемас года" - воть
🧰 Номинация "новый инструмент года" - retentioneering
Популярные посты за год
1. Качаем харды продуктового аналитика
2. Как стать веб-аналитиком?
3. Комплексные курсы по аналитике
4. Для тех кто ходит на собеседования
5. Скринкаст про модели атрибуции трафика
6. Какие python библиотеки я использую для анализа данных?
7. Моя библиотека аналитика
🏆 Номинация "самый просматриваемый и сохраняемый пост" достается:
БОЛЬШАЯ ПОДБОРКА МАТЕРИАЛОВ ПО АБ ТЕСТАМ (6000 просмотров и 600 сохранений)
🖼 Номинация "мемас года" - воть
🧰 Номинация "новый инструмент года" - retentioneering
Популярные посты за год
1. Качаем харды продуктового аналитика
2. Как стать веб-аналитиком?
3. Комплексные курсы по аналитике
4. Для тех кто ходит на собеседования
5. Скринкаст про модели атрибуции трафика
6. Какие python библиотеки я использую для анализа данных?
7. Моя библиотека аналитика
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10❤3👍3
Иерархия доказательств
Нашел интересный артефакт, пирамида - иерархия доказательств.
Внизу методы исследования, которые дают низкую надежность, например экспертные оценки, изучение кейсов и прочее
Сверху наиболее точные методы исследования, снижающие риск ошибочных выводов, например наши любимые АБ тесты.
В серединке средне надежные методы, например сравнение когорт.
Каждый инструмент доказательства хорош и может приносить пользу, важно понимать его область применимости.
Например для стартапов АБ тесты могут быть недоступны из-за малого числа клиентов, но можно использовать опросы или глубинные интервью.
Для компании с миллионами пользователей рисковано делать выводы только на основе экспертных оценок или нескольких интервью с клиентами. Тут важно проверять изменения через эксперименты, чтобы случайно не уронить важные метрики.
Нашел интересный артефакт, пирамида - иерархия доказательств.
Внизу методы исследования, которые дают низкую надежность, например экспертные оценки, изучение кейсов и прочее
Сверху наиболее точные методы исследования, снижающие риск ошибочных выводов, например наши любимые АБ тесты.
В серединке средне надежные методы, например сравнение когорт.
Каждый инструмент доказательства хорош и может приносить пользу, важно понимать его область применимости.
Например для стартапов АБ тесты могут быть недоступны из-за малого числа клиентов, но можно использовать опросы или глубинные интервью.
Для компании с миллионами пользователей рисковано делать выводы только на основе экспертных оценок или нескольких интервью с клиентами. Тут важно проверять изменения через эксперименты, чтобы случайно не уронить важные метрики.
👍15
Родители нашли вырезку из газеты 12 летней давности, тогда я только закончил универ и устроился маркетологом в автосервис на ЗП 15 т.р., но уже раздавал советы как заработать миллион 😂
Тони Роббинс отдыхает 😁
С наступающим всех, пусть у каждого будет миллион, а те у кого он уже есть, пусть будет еще😜
Тони Роббинс отдыхает 😁
С наступающим всех, пусть у каждого будет миллион, а те у кого он уже есть, пусть будет еще😜
😁53🔥12🤣4👍1🥰1
Кстати, как думаете, в каком универе я учился?
Final Results
7%
Медицинский
28%
Политехнический
25%
Аграрный
21%
Педагогический
18%
Финансовый
Борзило
Кстати, как думаете, в каком универе я учился?
Правильный ответ - "аграрный", я учился в Башкирском государственном аграрном университете по специальности экономика и управление🙂
👍8
Часть 1. Почему метрики посчитанные на основе сеансов плохо подходят для оценки АБ тестов?
Сегодня разберем первую причину - неверная оценка эффекта.
Рассмотрим условный пример. Допустим у нас есть лендинг для привлечения заявок на ипотеку, мы решили что если сделаем подробный, длинный лендинг, то конверсия вырастет, потому что пользователи смогут узнать подробные условия ипотеки - это закроет их возражения и больше пользователей будут оставлять заявки.
Мы его сделали и провели АБ тест. Результаты на скрине.
По результатам мы видим, что cr посчитанный по сессиям cr_sessions в контроле 8,33%, а в тесте 7,33%, т.е если смотреть только на этот показатель, то мы должны считать, что тестовая версия хуже, длинный лендинг ухудшил конверсию.
Посмотрим на показатель рассчитанный на основе пользователей cr_users, тут контрольная версия имеет cr - 10%, а тестовая 11%, т.е.результаты противоположные коэффициенту конверсии посчитанному по сессиям и мы видим что тестовый вариант лучше и длинный лендинг улучшил конверсию.
Почему так произошло и где правда?
Новая версия лендинга большая и подробная. Обратите внимание на показатель sessions_per_user (число сессий на пользователя) он увеличился с 1,2 до 1,5, потому что часть людей не успевает ознакомиться с большим лендингом за 1 раз и потом возвращаются и создается еще 1 сеанс.
Всего в контроле мы получили 1000 лидов, а в тесте 1100 лидов, при том что в обоих версиях по 10000 пользователей. Таким образом из-за увеличения числа сессий у нас упал коэффициент конверсии рассчитанный по сессиям, что не соответствует реальности, т.к. больше людей стало конвертироваться в лиды.
Таким образом если мы будем смотреть в АБ тесте на конверсию посчитанную по сессиям, то примем не верное решение о том, что новый лендинг работает хуже старого.
Если вам интересна тема показателей обманщиков, то много интересного про неверный расчет конверсии на основе сессий можно прочитать у Ильи Красинского. Вот например статья - 4 способа посчитать конверсию не верно
Сегодня разберем первую причину - неверная оценка эффекта.
Рассмотрим условный пример. Допустим у нас есть лендинг для привлечения заявок на ипотеку, мы решили что если сделаем подробный, длинный лендинг, то конверсия вырастет, потому что пользователи смогут узнать подробные условия ипотеки - это закроет их возражения и больше пользователей будут оставлять заявки.
Мы его сделали и провели АБ тест. Результаты на скрине.
По результатам мы видим, что cr посчитанный по сессиям cr_sessions в контроле 8,33%, а в тесте 7,33%, т.е если смотреть только на этот показатель, то мы должны считать, что тестовая версия хуже, длинный лендинг ухудшил конверсию.
Посмотрим на показатель рассчитанный на основе пользователей cr_users, тут контрольная версия имеет cr - 10%, а тестовая 11%, т.е.результаты противоположные коэффициенту конверсии посчитанному по сессиям и мы видим что тестовый вариант лучше и длинный лендинг улучшил конверсию.
Почему так произошло и где правда?
Новая версия лендинга большая и подробная. Обратите внимание на показатель sessions_per_user (число сессий на пользователя) он увеличился с 1,2 до 1,5, потому что часть людей не успевает ознакомиться с большим лендингом за 1 раз и потом возвращаются и создается еще 1 сеанс.
Всего в контроле мы получили 1000 лидов, а в тесте 1100 лидов, при том что в обоих версиях по 10000 пользователей. Таким образом из-за увеличения числа сессий у нас упал коэффициент конверсии рассчитанный по сессиям, что не соответствует реальности, т.к. больше людей стало конвертироваться в лиды.
Таким образом если мы будем смотреть в АБ тесте на конверсию посчитанную по сессиям, то примем не верное решение о том, что новый лендинг работает хуже старого.
Если вам интересна тема показателей обманщиков, то много интересного про неверный расчет конверсии на основе сессий можно прочитать у Ильи Красинского. Вот например статья - 4 способа посчитать конверсию не верно
👍31❤1👎1
Часть 2. Почему метрики посчитанные на основе сеансов плохо подходят для оценки АБ тестов?
вторая причина - лишняя сущность, увеличивающая когнитивную нагрузку
Как правило в экспериментах мы производим воздействие на пользователя, сессия это всего лишь некоторая искусственная сущность, производная от пользователя.
Нас интересует поведение пользователя в рамках периода эксперимента, а не какой-то одной сессии. Конечно могут быть эксперименты, в которых нам почему-то понадобятся отдельные сессии, но в большинстве онлайн экспериментов, которые я наблюдаю цель это воздействие на пользователя и кажется, что сессии это просто некий лишний слой абстракции, который только вносит неразбериху и увеличивает шанс запутаться.
Лучше поступать согласно принципу бритвы Оккама "Не следует множить сущее без необходимости".
вторая причина - лишняя сущность, увеличивающая когнитивную нагрузку
Как правило в экспериментах мы производим воздействие на пользователя, сессия это всего лишь некоторая искусственная сущность, производная от пользователя.
Нас интересует поведение пользователя в рамках периода эксперимента, а не какой-то одной сессии. Конечно могут быть эксперименты, в которых нам почему-то понадобятся отдельные сессии, но в большинстве онлайн экспериментов, которые я наблюдаю цель это воздействие на пользователя и кажется, что сессии это просто некий лишний слой абстракции, который только вносит неразбериху и увеличивает шанс запутаться.
Лучше поступать согласно принципу бритвы Оккама "Не следует множить сущее без необходимости".
👍6🔥1
Часть 3. Почему метрики посчитанные на основе сеансов плохо подходят для оценки АБ тестов?
третья причина - метрики посчитанные на основе сеансов могут давать высокий false positive rate.
Это наверное самая неочевидная причина, но при этом самая опасная.
Попробую объяснить на пальцах. Например мы запускаем 100 АА тестов, т.е. тестов когда никакой разницы в вариантах нет, при выбранном уровне альфа в 5%. Примерно в 5 экспериментах из 100 мы увидим стат значимые отличия в вариантах между которыми на самом деле различий нет, это просто будет случайность и это нормально, мы это принимаем и живем с этим.
Когда мы используем метрики посчитанные на основе сессий, такие метрики становятся так называемыми ratio метриками. Изначальное требование для применения классических стат тестов - это независимость наблюдений, в случае если мы применяем сессии, то мы нарушаем это требование, т.к. сессии зависимы между собой, т.к. принадлежат одному пользователю.
Если мы применим к таким данным классический t test или z test, то можем получить очень большую вероятность ложных срабатываний. Выше я приводил пример, что мы ошибаемся в 5 случаях из 100 когда разницы нет. А в случае с ratio метриками этот процент будет выше.
На этой неделе я исследовал данные ряда АА тестов и рассчитал долю ложно положительных срабатываний на основе метрики конверсии посчитанной по сессиям, доля ложноположительных результатов составила от 12 до 40%, что гораздо выше ожидаемых 5%, при этом показатель конверсии посчитанный по пользователям сохранял эту ошибку в районе 5% во всех АА тестах.
Если хотите подробнее разобраться в этой проблеме, то вот несколько материалов
А/Б тесты с метрикой отношения. Дельта-метод
АБ тесты с метриками отношений
третья причина - метрики посчитанные на основе сеансов могут давать высокий false positive rate.
Это наверное самая неочевидная причина, но при этом самая опасная.
Попробую объяснить на пальцах. Например мы запускаем 100 АА тестов, т.е. тестов когда никакой разницы в вариантах нет, при выбранном уровне альфа в 5%. Примерно в 5 экспериментах из 100 мы увидим стат значимые отличия в вариантах между которыми на самом деле различий нет, это просто будет случайность и это нормально, мы это принимаем и живем с этим.
Когда мы используем метрики посчитанные на основе сессий, такие метрики становятся так называемыми ratio метриками. Изначальное требование для применения классических стат тестов - это независимость наблюдений, в случае если мы применяем сессии, то мы нарушаем это требование, т.к. сессии зависимы между собой, т.к. принадлежат одному пользователю.
Если мы применим к таким данным классический t test или z test, то можем получить очень большую вероятность ложных срабатываний. Выше я приводил пример, что мы ошибаемся в 5 случаях из 100 когда разницы нет. А в случае с ratio метриками этот процент будет выше.
На этой неделе я исследовал данные ряда АА тестов и рассчитал долю ложно положительных срабатываний на основе метрики конверсии посчитанной по сессиям, доля ложноположительных результатов составила от 12 до 40%, что гораздо выше ожидаемых 5%, при этом показатель конверсии посчитанный по пользователям сохранял эту ошибку в районе 5% во всех АА тестах.
Если хотите подробнее разобраться в этой проблеме, то вот несколько материалов
А/Б тесты с метрикой отношения. Дельта-метод
АБ тесты с метриками отношений
👍12❤1🐳1
Разработка метрик для АБ тестов
Будем потихоньку выходить из январьской спячки. Собрал для вас небольшую подборку ссылок по теме выбор, разработка и валидация метрик для АБ тестов. Тема довольно узкая и специфичная, но важная, по ней довольно мало материалов в сети.
1. Измерение метрик microsoft
2. Как искать прокси-метрики в продуктах expf
3. Анализ чувствительности метрик microsoft
4. Свойства хороших метрик microsoft
5. Процесс построения новых метрик для АБ Яндекс
6. Валидация метрик microsoft
7. Защитные метрики в airbnb
8. Как разработать прокси метрику
9. Как выбрать правильный стат тест для разных метрик
10. Data-Driven Metric Development for Online Controlled Experiments: Seven Lessons Learned (Paper)
11. Metric validation for AB testing
12. Защитные метрики
13. Пошаговое руководство для понимания метрик АБ тестирования
14. Дизайн экспериментальных метрик презентация
Будем потихоньку выходить из январьской спячки. Собрал для вас небольшую подборку ссылок по теме выбор, разработка и валидация метрик для АБ тестов. Тема довольно узкая и специфичная, но важная, по ней довольно мало материалов в сети.
1. Измерение метрик microsoft
2. Как искать прокси-метрики в продуктах expf
3. Анализ чувствительности метрик microsoft
4. Свойства хороших метрик microsoft
5. Процесс построения новых метрик для АБ Яндекс
6. Валидация метрик microsoft
7. Защитные метрики в airbnb
8. Как разработать прокси метрику
9. Как выбрать правильный стат тест для разных метрик
10. Data-Driven Metric Development for Online Controlled Experiments: Seven Lessons Learned (Paper)
11. Metric validation for AB testing
12. Защитные метрики
13. Пошаговое руководство для понимания метрик АБ тестирования
14. Дизайн экспериментальных метрик презентация
👍31😁1🆒1
Айсберг АБ тестов
В конце прошлого года я выкладывал пост, где сервис АБ тестов optimizely, проанализировал 127 000 экспериментов проведенных на их платформе и только 12% экспериментов показали стат. значимое улучшение.
Т.е. 88% гипотез не срабатывают, либо работают в минус, либо эксперименты имеют малую мощность и не могут обнаружить эффект.
Давайте подумаем, что стоит за этими 88% процентами, это не просто цифра - это потери.
1. Потеря ресурсов
Как правило над запуском эксперимента работает целая команда: продакт, дизайнер, разработчик, аналитик. Подготовка каждого эксперимента отнимает время специалистов, а значит стоит денег.
Допустим команда потратил на создание эксперимента 20 человеко-часов. Возьмем стоимость часа 2000р, т.е. 40000р потрачено на эксперимент который не сработал.
2. Потеря времени
Одна из проблем в АБ тестах - это недостаток трафика. Как правило гипотез много, эффекты обнаруживать хочется маленькие, значит надо много трафика. Образуется очередь из АБ тестов. Т.е. получается, что мы тратим время и трафик с низким КПД, всего 12%, хотелось бы больше.
Тут конечно есть всякие техники ускорения АБ тестов за счет сокращения дисперсии CUPED, стратификация, удаление выбросов, но они только помогают немного сэкономить трафик, но не решают проблему того, что гипотезы не дают положительного результата.
Так от чего же зависит успех АБ тестов?
На мой взгляд наиболее критичной точкой роста для метрики win rate в АБ тестах является качество гипотез, которые вы подаете на входе.
Что такое хорошая гипотеза?
1. Она направлена на создание дополнительной ценности для пользователя или на решение какой-то задачи. Т.е. это не просто гипотеза из серии давайте перекрасим кнопку или подвинем картинку.
2. Она должна иметь сигналы о жизнеспособности основанные на других исследованиях. Про сигналы и презумпцию виновности идей можно почитать тут
3. Вы должны ожидать от неё хороший эффект, т.е. серьезное улучшение метрики. Большой эффект - главная точка для ускорения АБ тестов.
С точки зрения математики, для ускорения АБ теста есть 3 рычага:
- сокращение дисперсии
- увеличение уровня альфа и занижение мощности теста
- увеличение размера эффекта
Если мы будем проводить тесты с гипотезами, которые могут дать большой эффект, то на это потребуется гораздо меньше времени и мы сможем проводить больше тестов за один и тот же период.
Где брать хорошие гипотезы?
Как правило хорошие гипотезы редко рождаются сами по себе. В основе сильной гипотезы лежит какой-то инсайт, т.е. какая-то информация, которую вы ранее не знали, а теперь узнали. Вот тут пример про гипотезы
Где брать инсайты?
Инсайты не появляются сами по себе. Для того чтобы ваш мозг сгенерировал какой-то инсайт, его надо загрузить информацией. Основной источник инсайтов - это исследования, направленные на понимание вашей ЦА, вашего продукта, ваших конкурентов.
Например вы можете провести интервью с потенциальными клиентами и понять задачи которые они решают и критерии выбора продукта, на основе этого сделать новый сильный оффер и отправить его в АБ тест.
Подводя итог
Как правило исследования стоят дешевле разработки продукта и делаются быстрее, поэтому если вы хотите решить проблему с ускорением АБ тестов и увеличением win rate, то нужно сосредоточится на качестве гипотез и на исследованиях из которых эти гипотезы рождаются. Потому что АБ тесты - это только верхушка айсберга.
В конце прошлого года я выкладывал пост, где сервис АБ тестов optimizely, проанализировал 127 000 экспериментов проведенных на их платформе и только 12% экспериментов показали стат. значимое улучшение.
Т.е. 88% гипотез не срабатывают, либо работают в минус, либо эксперименты имеют малую мощность и не могут обнаружить эффект.
Давайте подумаем, что стоит за этими 88% процентами, это не просто цифра - это потери.
1. Потеря ресурсов
Как правило над запуском эксперимента работает целая команда: продакт, дизайнер, разработчик, аналитик. Подготовка каждого эксперимента отнимает время специалистов, а значит стоит денег.
Допустим команда потратил на создание эксперимента 20 человеко-часов. Возьмем стоимость часа 2000р, т.е. 40000р потрачено на эксперимент который не сработал.
2. Потеря времени
Одна из проблем в АБ тестах - это недостаток трафика. Как правило гипотез много, эффекты обнаруживать хочется маленькие, значит надо много трафика. Образуется очередь из АБ тестов. Т.е. получается, что мы тратим время и трафик с низким КПД, всего 12%, хотелось бы больше.
Тут конечно есть всякие техники ускорения АБ тестов за счет сокращения дисперсии CUPED, стратификация, удаление выбросов, но они только помогают немного сэкономить трафик, но не решают проблему того, что гипотезы не дают положительного результата.
Так от чего же зависит успех АБ тестов?
На мой взгляд наиболее критичной точкой роста для метрики win rate в АБ тестах является качество гипотез, которые вы подаете на входе.
Что такое хорошая гипотеза?
1. Она направлена на создание дополнительной ценности для пользователя или на решение какой-то задачи. Т.е. это не просто гипотеза из серии давайте перекрасим кнопку или подвинем картинку.
2. Она должна иметь сигналы о жизнеспособности основанные на других исследованиях. Про сигналы и презумпцию виновности идей можно почитать тут
3. Вы должны ожидать от неё хороший эффект, т.е. серьезное улучшение метрики. Большой эффект - главная точка для ускорения АБ тестов.
С точки зрения математики, для ускорения АБ теста есть 3 рычага:
- сокращение дисперсии
- увеличение уровня альфа и занижение мощности теста
- увеличение размера эффекта
Если мы будем проводить тесты с гипотезами, которые могут дать большой эффект, то на это потребуется гораздо меньше времени и мы сможем проводить больше тестов за один и тот же период.
Где брать хорошие гипотезы?
Как правило хорошие гипотезы редко рождаются сами по себе. В основе сильной гипотезы лежит какой-то инсайт, т.е. какая-то информация, которую вы ранее не знали, а теперь узнали. Вот тут пример про гипотезы
Где брать инсайты?
Инсайты не появляются сами по себе. Для того чтобы ваш мозг сгенерировал какой-то инсайт, его надо загрузить информацией. Основной источник инсайтов - это исследования, направленные на понимание вашей ЦА, вашего продукта, ваших конкурентов.
Например вы можете провести интервью с потенциальными клиентами и понять задачи которые они решают и критерии выбора продукта, на основе этого сделать новый сильный оффер и отправить его в АБ тест.
Подводя итог
Как правило исследования стоят дешевле разработки продукта и делаются быстрее, поэтому если вы хотите решить проблему с ускорением АБ тестов и увеличением win rate, то нужно сосредоточится на качестве гипотез и на исследованиях из которых эти гипотезы рождаются. Потому что АБ тесты - это только верхушка айсберга.
🔥19❤1👍1
Почему среднее значение не всегда имеет смысл?
Мы все привыкли усреднять, это очень удобный инструмент для обобщения, но не всегда среднее имеет смысл, а иногда усреднение и вовсе может вводить в заблуждение.
В статистике есть понятие меры центральной тенденции, обычно к ним относят среднее, медиану и моду.
Давайте подумаем над тем, что такое центральная тенденция - тенденция это некоторое направление, куда стремятся большинство наблюдений выборки.
Т.е. это такая мера, которая бы хорошо описывал большинство данных в выборке и позволяла бы нам обобщать на основе этой меры и делать какие-то общие выводы.
✅ Когда среднее не имеет смысла?
К примеру мы измерили средний рост животных. В выборку взяли 10 ежиков, 5 слонов, 3 крокодила, 1 медведь и получили какое-нибудь число, например 70 сантиметров.
Что характеризует это число? Бывают ли ежики ростом 70 см, кажется нет, бывают ли слоны высотой 70 см, даже новорожденные слоны около 1 м высотой, кажется что медведь может быть высотой 70 см, но он всего 1 в нашей выборке.
Т.е. получается, что вроде мы посчитали средний рост животных, но он не описывает никакую реальную тенденцию в данных, т.к. у нас почти нет животных с ростом близким к 70 см.
Если мы на основе этой цифры захотим сделать вывод о каком-то среднем росте животных, то это ничего не даст, в реальности таких животных будет мало. Т.е. в данном случае среднее скорее запутает, чем внесет какую-то ясность.
Чтобы среднее при изучении животных имело смысл нужно считать его в рамках каждого вида животных, а возможно даже бить виды еще на подклассы по возрасту и считать среднее для каждого вида животного в зависимости от возраста животного, т.к. взрослые особи выше, чем молодые.
✅ Бизнес пример
Перейдем от нашей программы "в мире животных" к бизнес примеру.
Например у нас есть оптовые покупатели и розничные, у оптовых средний чек 100 000 р, а у розничных 5000 р. К примеру если усреднить по всем клиентам, то получим средний чек 25000 р, это в 5 раз больше чем в рознице и в 4 раза меньше чем в опте.
Соответственно это число ничего не характеризует, усредненный общий показатель будет иметь большую дисперсию вызванную межгрупповыми отличиями.
Тут как и в примере с животными нужно смотреть на показатели в разрезе типа покупателя, потому что усредненный показатель имеет в себе мало смысла, т.к. не отражает реальность, а следовательно сложно сделать вывод о причинах его изменения и понять какие решения на его основе нужно принимать.
На первый взгляд работа с метриками кажется очень простой задачей, но даже такая простая и заезжанная метрика как среднее может иметь в себе разные подводные камни при её применении
Мы все привыкли усреднять, это очень удобный инструмент для обобщения, но не всегда среднее имеет смысл, а иногда усреднение и вовсе может вводить в заблуждение.
В статистике есть понятие меры центральной тенденции, обычно к ним относят среднее, медиану и моду.
Давайте подумаем над тем, что такое центральная тенденция - тенденция это некоторое направление, куда стремятся большинство наблюдений выборки.
Т.е. это такая мера, которая бы хорошо описывал большинство данных в выборке и позволяла бы нам обобщать на основе этой меры и делать какие-то общие выводы.
✅ Когда среднее не имеет смысла?
К примеру мы измерили средний рост животных. В выборку взяли 10 ежиков, 5 слонов, 3 крокодила, 1 медведь и получили какое-нибудь число, например 70 сантиметров.
Что характеризует это число? Бывают ли ежики ростом 70 см, кажется нет, бывают ли слоны высотой 70 см, даже новорожденные слоны около 1 м высотой, кажется что медведь может быть высотой 70 см, но он всего 1 в нашей выборке.
Т.е. получается, что вроде мы посчитали средний рост животных, но он не описывает никакую реальную тенденцию в данных, т.к. у нас почти нет животных с ростом близким к 70 см.
Если мы на основе этой цифры захотим сделать вывод о каком-то среднем росте животных, то это ничего не даст, в реальности таких животных будет мало. Т.е. в данном случае среднее скорее запутает, чем внесет какую-то ясность.
Чтобы среднее при изучении животных имело смысл нужно считать его в рамках каждого вида животных, а возможно даже бить виды еще на подклассы по возрасту и считать среднее для каждого вида животного в зависимости от возраста животного, т.к. взрослые особи выше, чем молодые.
✅ Бизнес пример
Перейдем от нашей программы "в мире животных" к бизнес примеру.
Например у нас есть оптовые покупатели и розничные, у оптовых средний чек 100 000 р, а у розничных 5000 р. К примеру если усреднить по всем клиентам, то получим средний чек 25000 р, это в 5 раз больше чем в рознице и в 4 раза меньше чем в опте.
Соответственно это число ничего не характеризует, усредненный общий показатель будет иметь большую дисперсию вызванную межгрупповыми отличиями.
Тут как и в примере с животными нужно смотреть на показатели в разрезе типа покупателя, потому что усредненный показатель имеет в себе мало смысла, т.к. не отражает реальность, а следовательно сложно сделать вывод о причинах его изменения и понять какие решения на его основе нужно принимать.
На первый взгляд работа с метриками кажется очень простой задачей, но даже такая простая и заезжанная метрика как среднее может иметь в себе разные подводные камни при её применении
👍17❤1
Придумал аналитическо-блогерский анекдот
Что думает обычный блогер когда только выложил новый материал и он имеет мало лайков и низкую конверсию из просмотра в лайк: "О нет, этот материал плохой"
Что думает блогер-аналитик: Этот материал просмотрело еще мало людей, оценка конверсии еще не стабильна и доверительные интервалы широкие.
По мере набора просмотров конверсия в лайки будет стремиться к истинному среднему согласно закону больших чисел. Можно расслабиться и подождать пока показатель станет стабильным
Что думает обычный блогер когда только выложил новый материал и он имеет мало лайков и низкую конверсию из просмотра в лайк: "О нет, этот материал плохой"
Что думает блогер-аналитик: Этот материал просмотрело еще мало людей, оценка конверсии еще не стабильна и доверительные интервалы широкие.
По мере набора просмотров конверсия в лайки будет стремиться к истинному среднему согласно закону больших чисел. Можно расслабиться и подождать пока показатель станет стабильным
👍20❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Опрос аналитиков
Тут NewHR запустили своё ежегодное исследование рынка продуктовых аналитиков, давайте поможем им собрать данных чтобы они могли проанализировать нас, а мы могли узнать ситуацию на рынке. Ниже оригинальный текст сообщения.
Что происходит на рынке продуктовых и дата-аналитиков?
Мы в NEWHR очень любим аналитиков и регулярно проводим полезные исследования: 2019г, 2020г, 2022г.
Профессии продуктового и дата-аналитика — среди самых востребованных на рынке. Мы хотим узнать, как они изменились за последнее время и в том числе — как поменялись зарплаты и за счёт чего. А ещё мы хотим выяснить, чего сейчас аналитики хотят от работодателей.
🕒 Анкета рассчитана на 20-25 минут. Ответив на простые вопросы, вы сможете рассказать про себя и позже узнать, как обстоят дела у других.
Специалисты выскажутся + работодатели узнают честное мнение = никто не пострадает!
Кстати, нам неважно, как называется ваша должность. Если вы считаете себя продуктовым или дата-аналитиком, мы ждём вас в нашем исследовании!
Пройдите опрос сами и скиньте коллегам 🙌 Будет суперактуально и тем, кто в найме, и тем, кто нанимает сам.
Всем, кто заполнит анкету до конца, мы сделаем скидку на карьерные консультации и курсы Hello New Job!
👉 Пройти опрос
Тут NewHR запустили своё ежегодное исследование рынка продуктовых аналитиков, давайте поможем им собрать данных чтобы они могли проанализировать нас, а мы могли узнать ситуацию на рынке. Ниже оригинальный текст сообщения.
Что происходит на рынке продуктовых и дата-аналитиков?
Мы в NEWHR очень любим аналитиков и регулярно проводим полезные исследования: 2019г, 2020г, 2022г.
Профессии продуктового и дата-аналитика — среди самых востребованных на рынке. Мы хотим узнать, как они изменились за последнее время и в том числе — как поменялись зарплаты и за счёт чего. А ещё мы хотим выяснить, чего сейчас аналитики хотят от работодателей.
🕒 Анкета рассчитана на 20-25 минут. Ответив на простые вопросы, вы сможете рассказать про себя и позже узнать, как обстоят дела у других.
Специалисты выскажутся + работодатели узнают честное мнение = никто не пострадает!
Кстати, нам неважно, как называется ваша должность. Если вы считаете себя продуктовым или дата-аналитиком, мы ждём вас в нашем исследовании!
Пройдите опрос сами и скиньте коллегам 🙌 Будет суперактуально и тем, кто в найме, и тем, кто нанимает сам.
Всем, кто заполнит анкету до конца, мы сделаем скидку на карьерные консультации и курсы Hello New Job!
👉 Пройти опрос
👍7
Целеполагание и годовое планирование
Смотрю, что многие сейчас пишут о том какие личные цели ставят на следующий год.
Наверное многие слышали идею, что правильные цели рождают правильные действия. Т.е. такие действия которые приведут к цели.
Но мало кто задумывается о том, а что рождает правильные цели?
?? → правильные цели → правильные действия
Одно время я увлекался практиками цигун и оттуда узнал следующую схему:
правильные состояния → правильные цели → правильные действия.
Практика цигун как раз направлена на работу с состояниями человека. Под "правильным" я имею в виду то, что важно для конкретного человека, у каждого правильное будет своё.
Идея в том что для того чтобы выбрать правильные цели вы должны сначала войти в правильное состояние сознания, убрав лишнее.
Согласны с такой мыслью или у вас другой взгляд?
Смотрю, что многие сейчас пишут о том какие личные цели ставят на следующий год.
Наверное многие слышали идею, что правильные цели рождают правильные действия. Т.е. такие действия которые приведут к цели.
Но мало кто задумывается о том, а что рождает правильные цели?
?? → правильные цели → правильные действия
Одно время я увлекался практиками цигун и оттуда узнал следующую схему:
правильные состояния → правильные цели → правильные действия.
Практика цигун как раз направлена на работу с состояниями человека. Под "правильным" я имею в виду то, что важно для конкретного человека, у каждого правильное будет своё.
Идея в том что для того чтобы выбрать правильные цели вы должны сначала войти в правильное состояние сознания, убрав лишнее.
Согласны с такой мыслью или у вас другой взгляд?
👍17🤔6🥰1🎉1