Чем плох анализ эффекта до/после релиза фичи?
Продолжаю делиться серией постов для самых "маленьких", которые мы выпускаем в банке. Предыдущий пост
Анализ разницы показателей до и после может быть ошибочным, так как на результаты могут влиять другие события, а не само нововведение.
А вот А/Б-тесты решают эту проблему. Подробнее в карточках
Продолжаю делиться серией постов для самых "маленьких", которые мы выпускаем в банке. Предыдущий пост
Анализ разницы показателей до и после может быть ошибочным, так как на результаты могут влиять другие события, а не само нововведение.
А вот А/Б-тесты решают эту проблему. Подробнее в карточках
👍17❤2
This media is not supported in your browser
VIEW IN TELEGRAM
Вырвался на концерт. Уже забыл когда был на концертах😎
🔥19👍4👏2
Как вкачать статистику и АБ тесты?
В канале много тех кто грызет эти темы. Давайте включим наше коллективное сознательное и поделимся советами, статьями, рекомендациями книг, курсов.
Отдельно было бы интересно послушать, а как именно учить статистику, чтобы было понятно и практически полезно? Какие ошибки и грабли вы набили пока учили?
В канале много тех кто грызет эти темы. Давайте включим наше коллективное сознательное и поделимся советами, статьями, рекомендациями книг, курсов.
Отдельно было бы интересно послушать, а как именно учить статистику, чтобы было понятно и практически полезно? Какие ошибки и грабли вы набили пока учили?
👍15🔥4❤2
Как сойти за своего если ты попал в компанию АБ тестеров?
1. Говори всем, что Манн Уитни не проверяет гипотезу о равенстве средних.
2. Жалуйся на менеджеров, что они "подглядывают" за твоими драгоценными АБ тестами.
3. Закатывай глаза и вздыхай, когда тебя просят проанализировать АБ тест для которого не делали дизайн.
4. Говори что эту неведомую херню можно посчитать бутстрапом
5. Всегда поправляй собеседника, если он говорит, что АБ тест это точный метод. Напомни ему про ошибки первого и второго рода.
P.S. Пишите ваши варианты в комменты😁
1. Говори всем, что Манн Уитни не проверяет гипотезу о равенстве средних.
2. Жалуйся на менеджеров, что они "подглядывают" за твоими драгоценными АБ тестами.
3. Закатывай глаза и вздыхай, когда тебя просят проанализировать АБ тест для которого не делали дизайн.
4. Говори что эту неведомую херню можно посчитать бутстрапом
5. Всегда поправляй собеседника, если он говорит, что АБ тест это точный метод. Напомни ему про ошибки первого и второго рода.
P.S. Пишите ваши варианты в комменты😁
😁32🔥14👍2
Порешаем кейсы
Вы обнаружили, что в АБ тесте при делении пользователей на группы возник дисбаланс ,aka SRM.
Чем может быть вызван дисбаланс? Напишите ваши варианты. Чем больше, тем лучше.
Только чур не гуглить и ГПТ не спрашивать😏
Вы обнаружили, что в АБ тесте при делении пользователей на группы возник дисбаланс ,aka SRM.
Чем может быть вызван дисбаланс? Напишите ваши варианты. Чем больше, тем лучше.
Только чур не гуглить и ГПТ не спрашивать😏
❤🔥3
Кейс - задизайнь АБ тест для ипотечного калькулятора
Придумал вам новый кейс.
Допустим у нас есть отдельная страница-калькулятор подбора ипотеки и в ходе юзабилити тестов выяснили, что он не удобен пользователям, а значит и на бизнес показатели влияет плохо. Сделали новый калькулятор, вас попросили задизайнить АБ тест. Ответьте на вопросы ниже и дайте аргументацию.
1. Что возьмете в качестве единицы сплитования и почему? (пользователь/сессия/просмотр страницы)
2. Какие сегменты будете выделять под отдельные АБ тесты и надо ли?
3. Что возьмете в качестве целевых метрик? Как эти метрики должны считаться?
4. Нужны ли защитные метрики и если нужны, то какие?
5. Что важно учесть, т.к. мы работаем с ипотекой?
6. Если в результате АБ тесты не будет значимых отличий будете катить новую версию?
Ставь
🔥 - если кейс понравился
🎃 - если кейс не понравился
Пишите ваши решения в комменты⤵️
Придумал вам новый кейс.
Допустим у нас есть отдельная страница-калькулятор подбора ипотеки и в ходе юзабилити тестов выяснили, что он не удобен пользователям, а значит и на бизнес показатели влияет плохо. Сделали новый калькулятор, вас попросили задизайнить АБ тест. Ответьте на вопросы ниже и дайте аргументацию.
1. Что возьмете в качестве единицы сплитования и почему? (пользователь/сессия/просмотр страницы)
2. Какие сегменты будете выделять под отдельные АБ тесты и надо ли?
3. Что возьмете в качестве целевых метрик? Как эти метрики должны считаться?
4. Нужны ли защитные метрики и если нужны, то какие?
5. Что важно учесть, т.к. мы работаем с ипотекой?
6. Если в результате АБ тесты не будет значимых отличий будете катить новую версию?
Ставь
Пишите ваши решения в комменты
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥32👍2👏1🐳1🎃1
АБ марафон
Придумал движняк, для тех кто никогда не делал АБ тесты или делал, но мало и хочет потренироваться.
Хочу провести марафон, на котором мы пройдемся по пайплайну АБ теста. Каждый день я буду выкладывать небольшой урок и задание, а участники будут выполнять.
Кейс, который будет обыгрываться - вы пришли на стажировку в роли продуктового аналитика и у вас есть наставник в роли меня, с которым вы должны найти точку роста, спланировать АБ и подвести его итоги.
План заданий
1. Ищем точки роста, анализируем данные.
2. Формируем гипотезы и приоритезируем их
3. Делаем дизайн АБ теста
4. Работа над ошибками
5. Анализируем результат
Формат
Разбираем один кейс по шагам от поиска точек роста до финального решения по АБ тесту. Формат ориентирован на практику, попробовать сделать самому руками. Рассказывать про ЦПТ, работу стат критериев под капотом и прочие прелести статистики не буду.
В марафоне будем работать с метрикой конверсия, т.к. она самая простая для старта, но при этом и самая практичная, т.к. во множестве случаев АБ тесты делаются на конверсию.
Для участия будет создан закрытый телеграм канал, где каждый день в течении недели будет выкладываться урок и задание, в комментарии вы должны будете скидывать свои решения, а я буду давать обратную связь по ним.
Для кого?
Для тех у кого нет практического опыта в АБ тестах, но хочется попробовать порешать подробный кейс по АБ тесту. Продакты, маркетологи, начинающие аналитики.
Нужны ли знания SQL, python и прочего?
Нет, будем использовать google sheets и всякие онлайн калькуляторы. Я хочу чтобы любой кто хочет "потрогать" АБ тесты смог это сделать, поэтому берем простые решения и простые кейсы.
Что по итогу?
Будете знать как спланировать и проанализировать простой эксперимент на конверсию.
Условия
Сроки проведения: 18-24 ноября
Количество мест: 15
Цена: 4900 р
Подробности
1. Программа
2. Артефакты, которые вы заберете
Если интересно, то для оплаты пиши в личку @borzilo_y или ставь + в комменты и я напишу сам
Please open Telegram to view this post
VIEW IN TELEGRAM
❤13👍8👎1
30% стат значимых АБ ложноположительные, но у меня же альфа 5%?
Сегодня в чате подняли интересную тему. А вы задумывались какая доля ваших успешных АБ тестов действительно успешные, а не ложноположительные? Мы никогда не знаем какие АБ тесты на самом деле дали истинный результат, а какие ложный, т.к. у нас всегда есть вероятность ошибок 1 и 2 рода. Поэтому смоделируем ситуацию, что у нас есть всевидящее око и мы точно знаем сколько у нас реально успешных АБ, а сколько не имеют разницы.
Пусть мы провели 1000 экспериментов и 100 из них реально имею отличия. При мощности 80%, мы из 100 АБ тестов с эффектом задетектим 80 АБ как значимые, 100 х 0,8 = 80.
Еще у нас есть 900 АБ тестов в которых на самом деле нет эффекта и есть альфа 5%. Значит 900 * 0,05 = 45 АБ тестов дадут ложноположительный результат и мы их тоже задетектим как статзначимые.
Итого мы будем иметь 80 + 45 = 125 АБ тестов которые показывают значимые отличия. Т.е. 12,5% стат значимых результатов АБ тестов. А теперь следите за руками. 45 ложноположительных АБ делим на 125 стат значимых АБ тестов 45/125 = 0,36. Получаем, что из 125 стат значимых результатов АБ тестов 36% ложноположительные.
Обратите внимание, что когда мы говорим, что альфа 5% контролирует долю ложноположительных результатов АБ тестов, то это доля от числа АБ тестов в которых истинно нет разницы, а не 5% от числа АБ тестов, которые показали стат значимые отличия.
Сегодня в чате подняли интересную тему. А вы задумывались какая доля ваших успешных АБ тестов действительно успешные, а не ложноположительные? Мы никогда не знаем какие АБ тесты на самом деле дали истинный результат, а какие ложный, т.к. у нас всегда есть вероятность ошибок 1 и 2 рода. Поэтому смоделируем ситуацию, что у нас есть всевидящее око и мы точно знаем сколько у нас реально успешных АБ, а сколько не имеют разницы.
Пусть мы провели 1000 экспериментов и 100 из них реально имею отличия. При мощности 80%, мы из 100 АБ тестов с эффектом задетектим 80 АБ как значимые, 100 х 0,8 = 80.
Еще у нас есть 900 АБ тестов в которых на самом деле нет эффекта и есть альфа 5%. Значит 900 * 0,05 = 45 АБ тестов дадут ложноположительный результат и мы их тоже задетектим как статзначимые.
Итого мы будем иметь 80 + 45 = 125 АБ тестов которые показывают значимые отличия. Т.е. 12,5% стат значимых результатов АБ тестов. А теперь следите за руками. 45 ложноположительных АБ делим на 125 стат значимых АБ тестов 45/125 = 0,36. Получаем, что из 125 стат значимых результатов АБ тестов 36% ложноположительные.
Обратите внимание, что когда мы говорим, что альфа 5% контролирует долю ложноположительных результатов АБ тестов, то это доля от числа АБ тестов в которых истинно нет разницы, а не 5% от числа АБ тестов, которые показали стат значимые отличия.
🔥26👍7
Борзило
30% стат значимых АБ ложноположительные, но у меня же альфа 5%? Сегодня в чате подняли интересную тему. А вы задумывались какая доля ваших успешных АБ тестов действительно успешные, а не ложноположительные? Мы никогда не знаем какие АБ тесты на самом деле…
Лайфхак, берите альфу 1%. И тогда доля ложно положительных среди статзначимых результатов уменьшится.
900 * 0.01 = 9 ложно положительных
9+80 = 89 статзначимых АБ
9/89 = 0.1 доля ложно положительных от стат значимых
При альфе 1%, в нашем кейсе, доля ложно положительных результатов среди статзначимых АБ снизится с 36% до 10%.
900 * 0.01 = 9 ложно положительных
9+80 = 89 статзначимых АБ
9/89 = 0.1 доля ложно положительных от стат значимых
При альфе 1%, в нашем кейсе, доля ложно положительных результатов среди статзначимых АБ снизится с 36% до 10%.
Что будет на марафоне АБ тестов? 🏃
Вчера анонсировал, что 18 ноября стартует марафон АБ тестирования. Где мы с участниками будем решать кейс по проведению АБ теста в интернет магазине.
Марафон будет идти 7 дней. Каждый день будет небольшой кусочек теории, видео или статья, а также задание, которое каждый участник должен сделать.
Ниже подробная программа, что будет происходить в каждый из дней.
🔸 День 1
Теория: Поиск точки роста. Экономика изменения, воронки, пример расчета.
Практика: Посчитайте кейс, найдите возможные точки роста.
🔸День 2
Теория: Что такое хорошая и плохая гипотеза? Как приоритезировать гипотезы?
Практика: Сформулируйте 3 гипотезы по шаблону и приоритезируйте их.
🔸День 3
Теория: Что такое дизайн АБ теста, как его заполнить? Как пользоваться калькулятором выборки?
Практика: Заполните шаблон дизайна АБ теста. Подберите стат параметры для АБ теста.
Рассчитайте объем выборки и длительность теста.
🔸День 4
Теория: Трекинг для отслеживания АБ тестов. Что нужно отслеживать?
Практика: Подготовьте ТЗ на внедрение событий на сайт ИМ.
🔸День 5
Теория: Работа над ошибками. Какие ошибки могут испортить ваш АБ тест?
Практика: Проверяем валидность результата АБ теста. Решаем что делать с выявленными проблемами.
🔸День 6
Теория: Анализ результата АБ теста. Как пользоваться калькулятором для оценки результата АБ?
Практика: Посчитайте метрики и результат вашего АБ теста. Примите решение катим изменение или нет.
🔸День 7
Стрим. Юра еще раз проходится по всему процессу нашего АБ теста + ответы на ваши вопросы.
4 места из 15 уже заняты, если хотите запрыгнуть, то пишите мне @borzilo_y
Цена: 4900 р, сроки проведения 18 - 24 ноября. Анонс с подробностями тут
Вчера анонсировал, что 18 ноября стартует марафон АБ тестирования. Где мы с участниками будем решать кейс по проведению АБ теста в интернет магазине.
Марафон будет идти 7 дней. Каждый день будет небольшой кусочек теории, видео или статья, а также задание, которое каждый участник должен сделать.
Ниже подробная программа, что будет происходить в каждый из дней.
🔸 День 1
Теория: Поиск точки роста. Экономика изменения, воронки, пример расчета.
Практика: Посчитайте кейс, найдите возможные точки роста.
🔸День 2
Теория: Что такое хорошая и плохая гипотеза? Как приоритезировать гипотезы?
Практика: Сформулируйте 3 гипотезы по шаблону и приоритезируйте их.
🔸День 3
Теория: Что такое дизайн АБ теста, как его заполнить? Как пользоваться калькулятором выборки?
Практика: Заполните шаблон дизайна АБ теста. Подберите стат параметры для АБ теста.
Рассчитайте объем выборки и длительность теста.
🔸День 4
Теория: Трекинг для отслеживания АБ тестов. Что нужно отслеживать?
Практика: Подготовьте ТЗ на внедрение событий на сайт ИМ.
🔸День 5
Теория: Работа над ошибками. Какие ошибки могут испортить ваш АБ тест?
Практика: Проверяем валидность результата АБ теста. Решаем что делать с выявленными проблемами.
🔸День 6
Теория: Анализ результата АБ теста. Как пользоваться калькулятором для оценки результата АБ?
Практика: Посчитайте метрики и результат вашего АБ теста. Примите решение катим изменение или нет.
🔸День 7
Стрим. Юра еще раз проходится по всему процессу нашего АБ теста + ответы на ваши вопросы.
4 места из 15 уже заняты, если хотите запрыгнуть, то пишите мне @borzilo_y
Цена: 4900 р, сроки проведения 18 - 24 ноября. Анонс с подробностями тут
🔥7❤1
🏆 Какие артефакты вы заберете с собой после марафона АБ тестов?
Позавчера я анонсировал марафон АБ тестов
Вчера рассказал о подробной программе по дням
Сегодня хочу подсветить какие полезные вещи вы заберете с собой после марафона
✅ 1. Шаблон для формулирования гипотез и их оценки
Хорошая гипотеза это не просто предположение. Для того чтобы оценить гипотезу важно правильно сформулировать по 6 параметрам.
✅ 2. Шаблон для дизайна АБ теста
АБ тест это не просто "давайте запустим, а потом сравним" он требует тщательного планирования, подбора стат параметров, метрик, предварительных расчетов. Чтобы все это учитывать вы получите специальный шаблон.
✅ 3. Чек-лист для проверки валидности АБ теста и оценки результата
Когда АБ проведен наступает этап проверки. Нужно выяснить, а правильно ли прошел АБ тест, нет ли проблем в данных, после подсчитать метрики, стат критерий и провести интерпретацию. Чтобы не забыть что-то важное вы получите чек-лист.
✅ 4. Ссылки на калькуляторы для расчета выборки, подведения итогов, оценки SRM
Калькуляторы помогут посчитать выборки, оценить результат АБ теста и проверить дисбаланс.
✅ 5. Подборка полезных материалов по разным темам АБ тестирования для начинающих
У меня есть много разных материалов про АБ тестирование из ru и en интернета. Подготовлю полезную подборку, которая поможет глубже погрузиться в АБ тесты
Как принять участие?⤵️
Сроки проведения 18-24 ноября, цена 4900р. Подробности в анонсе
7 мест из 15 в марафоне уже занято. Если тоже хочешь участвовать, то пиши @borzilo_y
Позавчера я анонсировал марафон АБ тестов
Вчера рассказал о подробной программе по дням
Сегодня хочу подсветить какие полезные вещи вы заберете с собой после марафона
✅ 1. Шаблон для формулирования гипотез и их оценки
Хорошая гипотеза это не просто предположение. Для того чтобы оценить гипотезу важно правильно сформулировать по 6 параметрам.
✅ 2. Шаблон для дизайна АБ теста
АБ тест это не просто "давайте запустим, а потом сравним" он требует тщательного планирования, подбора стат параметров, метрик, предварительных расчетов. Чтобы все это учитывать вы получите специальный шаблон.
✅ 3. Чек-лист для проверки валидности АБ теста и оценки результата
Когда АБ проведен наступает этап проверки. Нужно выяснить, а правильно ли прошел АБ тест, нет ли проблем в данных, после подсчитать метрики, стат критерий и провести интерпретацию. Чтобы не забыть что-то важное вы получите чек-лист.
✅ 4. Ссылки на калькуляторы для расчета выборки, подведения итогов, оценки SRM
Калькуляторы помогут посчитать выборки, оценить результат АБ теста и проверить дисбаланс.
✅ 5. Подборка полезных материалов по разным темам АБ тестирования для начинающих
У меня есть много разных материалов про АБ тестирование из ru и en интернета. Подготовлю полезную подборку, которая поможет глубже погрузиться в АБ тесты
Как принять участие?
Сроки проведения 18-24 ноября, цена 4900р. Подробности в анонсе
7 мест из 15 в марафоне уже занято. Если тоже хочешь участвовать, то пиши @borzilo_y
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6
Тут в соседнем канале "Детектив данных" проводят розыгрыш прикольных книг по аналитике.
Автор канала - Виталий, вкатился в аналитику после 30.
Я кстати тоже стал настоящимсварщиком аналитиком только в 30 лет.
Книга на картинке по середине классная. Ее написал один мой знакомый, Василий Сабиров, опытный Head of Analytics из игровой индустрии)) Стоит прочесть если метите в продуктовые аналитики)
Так что советую попытать счастье в розыгрыше
Автор канала - Виталий, вкатился в аналитику после 30.
Я кстати тоже стал настоящим
Книга на картинке по середине классная. Ее написал один мой знакомый, Василий Сабиров, опытный Head of Analytics из игровой индустрии)) Стоит прочесть если метите в продуктовые аналитики)
Так что советую попытать счастье в розыгрыше
👍14❤3
Почему стоит пройти марафон по АБ тестам? 🏌️
Когда-то я сидел и думал вот надо разобраться в АБ тестах, а то на собесах только и разговоров что про эти АБ тесты.
Время шло, я периодически открывал книгу по статистике и закрывал, т.к. она большая и непонятная.
Дело сдвинулось с мертвой точки когда я столкнулся с реальной задачей, надо было провести АБ тест. Мозг перешел в боевой режим и начал выхватывать только важную и практичную информацию, нужную для решения задачи. В голове начали формироваться нейронные связи заточенные на решение нового типа задач.
Марафон АБ тестов не сделает из вас гуру АБ тестов и не закроет все вопросы... Но он точно даст первый буст и вы получите базовый алгоритм решения задачи "нам нужно провести АБ тест".
Больше половины мест уже заняты, 4 человек в процессе принятия решения, так что мест остаётся совсем мало.
1. Здесь анонс про марафон с установочной информацией
2. Подробная программа по дням
3. Артефакты, которые вы заберете после марафона
Сроки проведения 18-24 ноября. Цена 4900р.
Если вы ждали какого то знака чтобы начать изучение АБ тестов, то вот он)) Пишите @borzilo_y
Когда-то я сидел и думал вот надо разобраться в АБ тестах, а то на собесах только и разговоров что про эти АБ тесты.
Время шло, я периодически открывал книгу по статистике и закрывал, т.к. она большая и непонятная.
Дело сдвинулось с мертвой точки когда я столкнулся с реальной задачей, надо было провести АБ тест. Мозг перешел в боевой режим и начал выхватывать только важную и практичную информацию, нужную для решения задачи. В голове начали формироваться нейронные связи заточенные на решение нового типа задач.
Марафон АБ тестов не сделает из вас гуру АБ тестов и не закроет все вопросы... Но он точно даст первый буст и вы получите базовый алгоритм решения задачи "нам нужно провести АБ тест".
Больше половины мест уже заняты, 4 человек в процессе принятия решения, так что мест остаётся совсем мало.
1. Здесь анонс про марафон с установочной информацией
2. Подробная программа по дням
3. Артефакты, которые вы заберете после марафона
Сроки проведения 18-24 ноября. Цена 4900р.
Если вы ждали какого то знака чтобы начать изучение АБ тестов, то вот он)) Пишите @borzilo_y
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8😐1
Кастомные воронки в яндекс метрике 🆕
В яндекс метрике появился новый типа отчета "Воронки". Опытные пользователи могут сказать: "Юра, но там же уже давно есть воронки на основе составных целей". А я отвечу что они нифига не удобные. Т.к. их нельзя применить к ранее собранным данным, а только к новым, которые собраны после создания цели.
Кроме этого все шаги должны быть пройдены в рамках одного визита, чтобы это нормально работало. А также нельзя в качестве шагов задать события отправленные через параметры визитов.
Новые воронки можно строить по ранее собранным данным, в качестве шагов можно брать просмотры страниц, события, цели. Теперь прохождение воронки не привязывается к одному визиту, а срок в течении которого учитываются шаги для пользователя можно задать самому.
Лично мне не хватило возможности более глубокой сегментации, а точнее возможности выбирать отдельные когорты, т.е. выбирать отдельно группу пользователей, которые впервые пришли на сайт за выбранный промежуток времени.
В яндекс метрике появился новый типа отчета "Воронки". Опытные пользователи могут сказать: "Юра, но там же уже давно есть воронки на основе составных целей". А я отвечу что они нифига не удобные. Т.к. их нельзя применить к ранее собранным данным, а только к новым, которые собраны после создания цели.
Кроме этого все шаги должны быть пройдены в рамках одного визита, чтобы это нормально работало. А также нельзя в качестве шагов задать события отправленные через параметры визитов.
Новые воронки можно строить по ранее собранным данным, в качестве шагов можно брать просмотры страниц, события, цели. Теперь прохождение воронки не привязывается к одному визиту, а срок в течении которого учитываются шаги для пользователя можно задать самому.
Лично мне не хватило возможности более глубокой сегментации, а точнее возможности выбирать отдельные когорты, т.е. выбирать отдельно группу пользователей, которые впервые пришли на сайт за выбранный промежуток времени.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🔥1