🤖 Вкалывают роботы, а не человек. Как chat GPT мне АБ тест посчитал?
В chat gpt есть модуль data analyst, ты ему данные скармливаешь и пишешь задачу, а он тебе анализ делает.
Я скормил ему датасет с данными АБ теста и попросил сделать 3 штуки
1. Посчитать p value с помощью z test для поля conversion, уровень альфа 5%
2. Оценить пересечение выборок
3. Оценить SRM
Он справился с этим буквально за 1 минуту! Еще и посчитал все правильно и выводы написал🤯
Прикрепил скрины нашей с ним переписки
В chat gpt есть модуль data analyst, ты ему данные скармливаешь и пишешь задачу, а он тебе анализ делает.
Я скормил ему датасет с данными АБ теста и попросил сделать 3 штуки
1. Посчитать p value с помощью z test для поля conversion, уровень альфа 5%
2. Оценить пересечение выборок
3. Оценить SRM
Он справился с этим буквально за 1 минуту! Еще и посчитал все правильно и выводы написал
Прикрепил скрины нашей с ним переписки
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👏17👍2🥰1😱1
Как вам картиночки от чата гпт? Нужны или только статьи от автора канала читаете?
Final Results
80%
Картиночки пушка - оставляем
20%
Давай без картинок
🔥6
А давно в метрику завезли недельные когорты?
Я вчера полез в срезы яндекс метрики и обнаружил там такие параметры как: неделя первого визита, месяц первого визита.
С помощью этих параметров можно настроить отчет где каждая строка будет отдельная когорта, т.е. группа людей, которые впервые пришли в продукт(на сайт) в определенную неделю.
Можно добавить дополнительный параметр первый источник трафика и вот вам разбивка когорты по источникам привлечения.
P.S. Я правда еще не проверял насколько это все корректно строится и сходятся ли цифры интерфейса с сырыми данными.
P.P.S Пользуетесь когортами в яндекс метрике?
Я вчера полез в срезы яндекс метрики и обнаружил там такие параметры как: неделя первого визита, месяц первого визита.
С помощью этих параметров можно настроить отчет где каждая строка будет отдельная когорта, т.е. группа людей, которые впервые пришли в продукт(на сайт) в определенную неделю.
Можно добавить дополнительный параметр первый источник трафика и вот вам разбивка когорты по источникам привлечения.
P.S. Я правда еще не проверял насколько это все корректно строится и сходятся ли цифры интерфейса с сырыми данными.
P.P.S Пользуетесь когортами в яндекс метрике?
🔥11👍2💩1
Еще в метрике нашел деление на новых/вернувшихся пользователей. Ранее такого не было. Но кажется они его сделали по логике GA 3.
На скрине когорта за неделю, т.е. когорта это новые пользователи, они не могут быть вернувшимися, т.к. впервые пришли в продукт в неделю формирования когорты.
Но мы видим, что в когорте есть вернувшиеся пользователи. Т.к. метрика смотрит на визиты, если у пользователя есть >1 визита, то он становится одновременно новым и одновременно вернувшимся. Такой посетитель шредингера получается.
Соответственно и общая сумма посетителей не бьется. Всего в когорте 5826 пользователей. А сумма новые + вернувшиеся, 2027 + 5706 = 7733, потому что один и тот же пользователь пишется и в новые и в вернувшиеся.
Не знаю почему метрика пошла по такому пути подсчета, т.к. уже не раз обсуждали, что это не совсем корректный алгоритм подсчета. Думаю что это связано с заложенной сессионной архитектурой метрики.
UPD. В комментах написали, что этот функционал есть давно в метрике
На скрине когорта за неделю, т.е. когорта это новые пользователи, они не могут быть вернувшимися, т.к. впервые пришли в продукт в неделю формирования когорты.
Но мы видим, что в когорте есть вернувшиеся пользователи. Т.к. метрика смотрит на визиты, если у пользователя есть >1 визита, то он становится одновременно новым и одновременно вернувшимся. Такой посетитель шредингера получается.
Соответственно и общая сумма посетителей не бьется. Всего в когорте 5826 пользователей. А сумма новые + вернувшиеся, 2027 + 5706 = 7733, потому что один и тот же пользователь пишется и в новые и в вернувшиеся.
Не знаю почему метрика пошла по такому пути подсчета, т.к. уже не раз обсуждали, что это не совсем корректный алгоритм подсчета. Думаю что это связано с заложенной сессионной архитектурой метрики.
UPD. В комментах написали, что этот функционал есть давно в метрике
🤨7
Please open Telegram to view this post
VIEW IN TELEGRAM
👍23🔥13🤮2
А расскажите, какой пост в канале для вас был самый запоминающийся или самый полезный и почему?🧐
❤3👍1🔥1
Хотите узнать про мои лучшие вложения 530 р в этом месяце и про aha момент?
Final Results
94%
Aha - давай
6%
Неееее
🥰3👏1
☯️ Две крайности АБ тестирования
1️⃣ Давайте ничего не будем АБ тестировать.
Мы эксперты, мы знаем как надо, а оценить значимость изменений мы сможем на глаз, без вашей статистики.
Экспертное мнение это хорошо - зачастую оно позволяет отсечь заведомо нерабочие варианты и сконцентрироваться на том что может дать результат. Т.е. с помощью мнения эксперта мы можем снизить неопределенность и повысить точность наших гипотез.
Но каждая гипотеза может иметь множество разных вариантов реализации, которые будут иметь разную эффективность, какая-то реализация может работать в плюс, какая-то в минус. Кроме этого есть внешние факторы, которые эксперт не всегда может заметить и учесть.
Оценить значимость изменений действительно можно без статистики и даже без АБ тестов, просто сравнив "до" и "после", но это работает только для больших эффектов, которые дают кратный рост.
Когда вы хотите детектировать маленькие эффекты, которые сложно отличить от шума метрики и сезонных колебаний, то тут даже с использованием стат. методов могут возникнуть проблемы, а уж без них это просто игра в монетку.
2️⃣ Давайте АБ тестировать вообще все
Т.к. мы заранее ничего не знаем и ни в чем не уверены.
АБ тесты как замена исследований
Иногда АБ тестами пытаются заменить исследования. Но надо помнить, что АБ тесты зачастую стоят дорого и требуют много времени, в то время как исследования могут быть дешевле и быстрее.
Рассмотрим гипертрофированный пример. У вас интернет магазин. Вы предполагаете, что если введете бесплатную доставку в СПб, то увеличите конверсию.
Вы хотите проверить эту гипотезу АБ тестом. Но вы не проводили исследование, а по данным аналитики мы видим, что все пользователи из Мск.
Если бы вы провели исследование, то поняли, что эту гипотезу вообще не надо проверять.
АБ тесты когда и так все понятно
Еще один пример. У вас на части продуктовых страниц сайта не было форм для заявок. Вы решаете, что это может повысить конверсию, но все ж надо АБ тестировать и запускаете АБ тест. Можно ли в этом случае обойтись без АБ теста?
Я считаю что можно, т.к. кажется крайне нелогичной ситуация, что мы добавили на часть страниц формы, где их не было и конверсия упала.
Конечно может быть ситуация, что добавили формы и поломали общий скрипт, который управляет всеми формами сайта и конверсия упала, но эта проблема не должна решаться через АБ тест. Это задача QA и тестировщиков.
Резюме
АБ тест - это просто инструмент, для решения определенного класса задач.
Сам по себе он не хороший и не плохой, у него есть ряд ограничений, которые надо учитывать при применении.
Если вы будете забивать гвоздь микроскопом и считать его плохим молотком, то проблема в микроскопе или в том кто решил забивать гвоздь микроскопом?
Мы эксперты, мы знаем как надо, а оценить значимость изменений мы сможем на глаз, без вашей статистики.
Экспертное мнение это хорошо - зачастую оно позволяет отсечь заведомо нерабочие варианты и сконцентрироваться на том что может дать результат. Т.е. с помощью мнения эксперта мы можем снизить неопределенность и повысить точность наших гипотез.
Но каждая гипотеза может иметь множество разных вариантов реализации, которые будут иметь разную эффективность, какая-то реализация может работать в плюс, какая-то в минус. Кроме этого есть внешние факторы, которые эксперт не всегда может заметить и учесть.
Оценить значимость изменений действительно можно без статистики и даже без АБ тестов, просто сравнив "до" и "после", но это работает только для больших эффектов, которые дают кратный рост.
Когда вы хотите детектировать маленькие эффекты, которые сложно отличить от шума метрики и сезонных колебаний, то тут даже с использованием стат. методов могут возникнуть проблемы, а уж без них это просто игра в монетку.
Т.к. мы заранее ничего не знаем и ни в чем не уверены.
АБ тесты как замена исследований
Иногда АБ тестами пытаются заменить исследования. Но надо помнить, что АБ тесты зачастую стоят дорого и требуют много времени, в то время как исследования могут быть дешевле и быстрее.
Рассмотрим гипертрофированный пример. У вас интернет магазин. Вы предполагаете, что если введете бесплатную доставку в СПб, то увеличите конверсию.
Вы хотите проверить эту гипотезу АБ тестом. Но вы не проводили исследование, а по данным аналитики мы видим, что все пользователи из Мск.
Если бы вы провели исследование, то поняли, что эту гипотезу вообще не надо проверять.
АБ тесты когда и так все понятно
Еще один пример. У вас на части продуктовых страниц сайта не было форм для заявок. Вы решаете, что это может повысить конверсию, но все ж надо АБ тестировать и запускаете АБ тест. Можно ли в этом случае обойтись без АБ теста?
Я считаю что можно, т.к. кажется крайне нелогичной ситуация, что мы добавили на часть страниц формы, где их не было и конверсия упала.
Конечно может быть ситуация, что добавили формы и поломали общий скрипт, который управляет всеми формами сайта и конверсия упала, но эта проблема не должна решаться через АБ тест. Это задача QA и тестировщиков.
Резюме
АБ тест - это просто инструмент, для решения определенного класса задач.
Сам по себе он не хороший и не плохой, у него есть ряд ограничений, которые надо учитывать при применении.
Если вы будете забивать гвоздь микроскопом и считать его плохим молотком, то проблема в микроскопе или в том кто решил забивать гвоздь микроскопом?
Please open Telegram to view this post
VIEW IN TELEGRAM
👍24
Нашел интересную статью про подсчет размера выборок.
В частности подробно разбирается проблема расчета выборок для ratio показателей (конверсия по сессиям например).
Т.е. про то почему если мы считаем конверсию по сессиям, а не по пользователям, то не сможем просто так воспользоваться любимыми калькуляторами типа калькулятора Эвана Миллра и к каким ошибкам может привести такой наивный подход https://arxiv.org/pdf/2305.16459.pdf
В частности подробно разбирается проблема расчета выборок для ratio показателей (конверсия по сессиям например).
Т.е. про то почему если мы считаем конверсию по сессиям, а не по пользователям, то не сможем просто так воспользоваться любимыми калькуляторами типа калькулятора Эвана Миллра и к каким ошибкам может привести такой наивный подход https://arxiv.org/pdf/2305.16459.pdf
👍8
Борзило
Хотите узнать про мои лучшие вложения 530 р в этом месяце и про aha момент?
Мои лучшие вложения 530 р в этом месяце и aha момент
Давайте начнем с того что разберемся с тем что такое aha момент в продуктовом подходе.
Aha момент - это такой момент до использования или во время использования продукта, когда пользователь осознает ценность продукта.
Aha моментов может быть несколько в продукте. Для разных групп пользователей могут быть разные aha моменты, т.к. один и тот же продукт может решать разные задачи для разных групп пользователей.
Но даже если взять одного пользователя, то у него тоже может быть несколько aha моментов и в каждый из них он будет видеть все больше ценности в продукте.
Почему aha момент важен?
Как правило первое осознание ценности продукта должно прийти к пользователю еще до того как он им воспользовался, т.е. это момент когда пользователь в принципе понимает, что ага(aha) кажется продукт решит мою задачу.
Следующий момент когда пользователь уже попробовал продукт и говорит: ага! этот продукт так классно решил мою задачу.
От достижения пользователем aha момента зависит долгосрочный ретеншен и повторные покупки. Если пользователь не смог решить свою задачу с помощью продукта, то и покупать он его повторно не будет.
Мои лучшие вложения 530 р в этом месяце
Теперь на конкретном примере я покажу как работает aha момент.
Начнем с проблемы. Последнее время я начал немного прихрамывать и ощущать, что мой шаг изменился, но я не мог понять в чем дело. Поход к ортопеду ясности не дал.
В интернете я нашел инструктора, который при помощи упражнений помогает людям восстановить функциональность при разных заболеваниях коксартроз, протрузии, грыжи и др.
У него есть продукт - закрытая группа где он каждый день проводит онлайн занятия(специальную гимнастику) и объясняет биомеханику движений и мышц.
Собственно я хотел разобраться в биомеханике, чтобы определить свои проблемы.
После того как я купил подписку в группу, я жаждал знаний. Но в первую очередь после того как я рассказал о своей проблеме инструктор попросил меня сделать несколько упражнений.
После выполнения этих упражнений я сразу почувствовал, что моя функциональность походки сильно улучшилась. Это был aha момент, я почувствовал ценность продукта.
Т.е. инструктор сначала дал мне почувствовать результат(aha момент), а только потом начал погружать в продукт через ежедневные объяснения и практики работы с перекосами и спазмами в теле.
Я осознал, что продукт действительно работает и я готов продлевать подписку.
Также и в любом продукте важен aha момент. Человек не приходит в продукт, чтобы вы его чему-то научили (привет бессмысленные онбординги).
Продукт должен быть сконструирован так, чтобы максимально быстро мог дать пользователю ценность и решить его задачи.
После этого вы уже можете начинать объяснять клиенту как именно работает продукт и как правильно им пользоваться.
Давайте начнем с того что разберемся с тем что такое aha момент в продуктовом подходе.
Aha момент - это такой момент до использования или во время использования продукта, когда пользователь осознает ценность продукта.
Aha моментов может быть несколько в продукте. Для разных групп пользователей могут быть разные aha моменты, т.к. один и тот же продукт может решать разные задачи для разных групп пользователей.
Но даже если взять одного пользователя, то у него тоже может быть несколько aha моментов и в каждый из них он будет видеть все больше ценности в продукте.
Почему aha момент важен?
Как правило первое осознание ценности продукта должно прийти к пользователю еще до того как он им воспользовался, т.е. это момент когда пользователь в принципе понимает, что ага(aha) кажется продукт решит мою задачу.
Следующий момент когда пользователь уже попробовал продукт и говорит: ага! этот продукт так классно решил мою задачу.
От достижения пользователем aha момента зависит долгосрочный ретеншен и повторные покупки. Если пользователь не смог решить свою задачу с помощью продукта, то и покупать он его повторно не будет.
Мои лучшие вложения 530 р в этом месяце
Теперь на конкретном примере я покажу как работает aha момент.
Начнем с проблемы. Последнее время я начал немного прихрамывать и ощущать, что мой шаг изменился, но я не мог понять в чем дело. Поход к ортопеду ясности не дал.
В интернете я нашел инструктора, который при помощи упражнений помогает людям восстановить функциональность при разных заболеваниях коксартроз, протрузии, грыжи и др.
У него есть продукт - закрытая группа где он каждый день проводит онлайн занятия(специальную гимнастику) и объясняет биомеханику движений и мышц.
Собственно я хотел разобраться в биомеханике, чтобы определить свои проблемы.
После того как я купил подписку в группу, я жаждал знаний. Но в первую очередь после того как я рассказал о своей проблеме инструктор попросил меня сделать несколько упражнений.
После выполнения этих упражнений я сразу почувствовал, что моя функциональность походки сильно улучшилась. Это был aha момент, я почувствовал ценность продукта.
Т.е. инструктор сначала дал мне почувствовать результат(aha момент), а только потом начал погружать в продукт через ежедневные объяснения и практики работы с перекосами и спазмами в теле.
Я осознал, что продукт действительно работает и я готов продлевать подписку.
Также и в любом продукте важен aha момент. Человек не приходит в продукт, чтобы вы его чему-то научили (привет бессмысленные онбординги).
Продукт должен быть сконструирован так, чтобы максимально быстро мог дать пользователю ценность и решить его задачи.
После этого вы уже можете начинать объяснять клиенту как именно работает продукт и как правильно им пользоваться.
👏28👍10❤1
Синтетический контроль
Интересное видео от DS "Ленты" про то как использовать синтетический контроль для моделирования АБ теста в оффланй ритейле.
Обычно в оффлайне гораздо сложнее и дороже проводить АБ тесты, поэтому используют разные техники, одна из них синтетический контроль.
Например на группе магазинов тестируют какую-нибудь акцию, но сравнить эффект от акции не с чем, тогда делают прогноз для этих же магазинов по историческим данным и оценивают, а какая бы была доходность без учета акции.
После реальные данные с учетом акции сравнивают с прогнозом и оценивают насколько значимо реальные данные отклоняются от прогноза.
Т.е. реальные данные - это тестовая группа, а прогноз - синтетический контроль, с которым сравниваются реальные данные.
https://youtu.be/b7HlCPoAI2k
Интересное видео от DS "Ленты" про то как использовать синтетический контроль для моделирования АБ теста в оффланй ритейле.
Обычно в оффлайне гораздо сложнее и дороже проводить АБ тесты, поэтому используют разные техники, одна из них синтетический контроль.
Например на группе магазинов тестируют какую-нибудь акцию, но сравнить эффект от акции не с чем, тогда делают прогноз для этих же магазинов по историческим данным и оценивают, а какая бы была доходность без учета акции.
После реальные данные с учетом акции сравнивают с прогнозом и оценивают насколько значимо реальные данные отклоняются от прогноза.
Т.е. реальные данные - это тестовая группа, а прогноз - синтетический контроль, с которым сравниваются реальные данные.
https://youtu.be/b7HlCPoAI2k
YouTube
Васькин Дмитрий | Synthetic Control для AБ тестов на малых размерах выборок
ODS Reliable ML AB Testing & Causal Inference Meetup 17 декабря 2022 г.
Тг-канал Reliable ML: https://xn--r1a.website/reliable_ml
Скачать презентацию: https://drive.google.com/file/d/1v7rJ4UDr6trJ_54tXDKdiFY1Yw8DzLuE/view?usp=sharing
Дима рассказывает о том, что такое…
Тг-канал Reliable ML: https://xn--r1a.website/reliable_ml
Скачать презентацию: https://drive.google.com/file/d/1v7rJ4UDr6trJ_54tXDKdiFY1Yw8DzLuE/view?usp=sharing
Дима рассказывает о том, что такое…
👍7
А посоветуйте классное кресло для работы, чтобы там регулировки, поддержки всякие. если у вас есть советы по выбору кресла, то тоже кидайте 🪑
👍3
🆘 Проверка валидности результатов АБ тестирования
Важный этап, который часто упускают из виду. АБ тест закончился, все радостные хотят скорее посчитать p value и оценить стат. значимость изменения метрики.
Но прежде чем что-то посчитать нужно удостовериться что АБ тест был проведен верно. Особенно это касается команд, которые "на коленке" запускают АБ тесты.
1. Собрано нужное число наблюдений в соответствии с дизайном
Смотрим дизайн АБ теста и число фактически попавших в АБ тест юзеров
2. Баланс раскатки в соответствии с дизайном
Смотрим какая доля юзеров должна была попасть в эксп и какая попала на самом деле.
3. Баланс распределения аудитории по вариантам, SRM
Смотрим баланс групп в дизайне АБ теста и фактическое распределение пользователей по группам. Проверяем дисбаланс SRM
4. Отсутствие пересечения выборок
Проверяем, что один и тот же пользователь не попал сразу в несколько групп.
5. Сопоставимость выборок по параметрам (однородность)
Берем важные для нас признаки, например гео или тип устройства или бизнес признак и оцениваем баланс выборок по этим параметрам
6. Отсутствие дублей
Проверяем, что данные не задублировались по каким-то причинам. Например дублирование юзеров или их действий внутри одной группы.
7. Отсутствие не естественных аномалий
Например, если вы оцениваете деньги, то посмотреть распределение чеков. Если у вас ср. чек 1000 р, то появление чека на 1 000 000 выглядит как аномалия, он может сильно влиять на результат теста и нужно разобраться в его происхождении.
8.Равенство инвариантных показателей
Инвариантные показатели - это такие показатели, которые должны оставаться одинаковыми между вариантами эксперимента. Например для сайтов: число js ошибок, скорость загрузки страницы. Т.е. если в одном из вариантов сильно увеличилась длительность загрузки страницы, то скорее всего мы где-то накосячили и результаты АБ теста не будут объективными по этой причине.
В идеале все эти проверки зашить и автоматизировать в отчетности, чтобы каждый раз не делать руками
Важный этап, который часто упускают из виду. АБ тест закончился, все радостные хотят скорее посчитать p value и оценить стат. значимость изменения метрики.
Но прежде чем что-то посчитать нужно удостовериться что АБ тест был проведен верно. Особенно это касается команд, которые "на коленке" запускают АБ тесты.
1. Собрано нужное число наблюдений в соответствии с дизайном
Смотрим дизайн АБ теста и число фактически попавших в АБ тест юзеров
2. Баланс раскатки в соответствии с дизайном
Смотрим какая доля юзеров должна была попасть в эксп и какая попала на самом деле.
3. Баланс распределения аудитории по вариантам, SRM
Смотрим баланс групп в дизайне АБ теста и фактическое распределение пользователей по группам. Проверяем дисбаланс SRM
4. Отсутствие пересечения выборок
Проверяем, что один и тот же пользователь не попал сразу в несколько групп.
5. Сопоставимость выборок по параметрам (однородность)
Берем важные для нас признаки, например гео или тип устройства или бизнес признак и оцениваем баланс выборок по этим параметрам
6. Отсутствие дублей
Проверяем, что данные не задублировались по каким-то причинам. Например дублирование юзеров или их действий внутри одной группы.
7. Отсутствие не естественных аномалий
Например, если вы оцениваете деньги, то посмотреть распределение чеков. Если у вас ср. чек 1000 р, то появление чека на 1 000 000 выглядит как аномалия, он может сильно влиять на результат теста и нужно разобраться в его происхождении.
8.Равенство инвариантных показателей
Инвариантные показатели - это такие показатели, которые должны оставаться одинаковыми между вариантами эксперимента. Например для сайтов: число js ошибок, скорость загрузки страницы. Т.е. если в одном из вариантов сильно увеличилась длительность загрузки страницы, то скорее всего мы где-то накосячили и результаты АБ теста не будут объективными по этой причине.
В идеале все эти проверки зашить и автоматизировать в отчетности, чтобы каждый раз не делать руками
👏14👍5❤2🔥1😱1