Что было бы если в медицине и науке эксперименты проводили бы также как и в бизнесе.

1. Ой у меня всего 1000 мышей я не смогу провести эксперимент

2. Я не знаю почему это новое лекарство должно сработать. Мы не проводили никаких предварительных исследований. Давайте просто одной группе дадим старое лекарство, а другой новое.

3. Давайте подождем еще может кто-то выздоровеет и будет стат значимо.

4. P-value 0.06, ну и норм. Отправляем новое лекарство в больницы

Чекап метрик для ваших АБ тестов 💉

Проверь свои метрики на адекватность

1. Метрика действительно может оценить эффект от изменения?
Обычно эта проблема возникает когда вместо метрик связанных с бизнес-целями хотят смотреть на прокси-метрики,у которых нет особой связи с бизнес-целями.

Оцениваем увеличился ли CTR от внедрения нового баннера, но можем ли на основе CTR понять принесет ли это ценность бизнесу и клиентам?

2. Как выбросы влияют на метрику?
На мой взгляд главная проблема выбросов, что они раздувают дисперсию и следовательно стандартную ошибку, что требует больших выборок для фиксации стат значимых отличий. Подумайте, что делать с выбросами или возможность перейти на какую-то другую метрику

3. Проверьте правильно ли вы работаете с ratio метриками
Частая проблема когда к ratio метрикам пытаются применить t-test, что обычно приводит к завышенной доле ошибок 1 рода. Проведите симуляции АА тестов на исторических данных с вашими метриками и стат критерием, чтобы проверить что вы контролируете ошибку 1 рода на уровне альфы.

4. Каннибализация метрик
Может вы подняли конверсию на одной странице сайта, но каннибализировали конверсии на других страницах. Другой пример, одна команда растит метрику "конверсия в кредиты наличными", а другая "конверсия в кредитные карты", оба продукта могут перетягивать друг у друга часть конверсий.

5. Единый стандарт расчета метрик
Действительно ли все в компании одинаково считаю метрику. Может быть, что каждый человек по своему считает метрику. Например кто-то удаляет выбросы, а кто-то нет. Кто-то считает конверсию по пользователям, а кто-то по сессиям. Разный расчет метрик ведет к разным результатам АБ тестов.

Пишите в комменты, чем бы вы дополнили этот список

В чате подняли интересную тему, про 2-ю работу для аналитика

коллеги на опыте, подскажите как у нас в отрасли со второй парт тайм работой, нужно кому из бизнесов такое?

У меня было 2 эпизода, когда помимо основной работы я брал проектные задачи

1.Маркетинговые агентства. Обычно у них возникают проекты по настройке GA, ЯМ, создание дашбордов, но у них нет нагрузки для найма отдельного человека под это. Можешь предложить аутсорсить. Я так по проектно работал с агентством в 2020.

2. Работал некоторый период с ребятами у которых было целое агентство по аналитике, большую часть заказов как раз получали с фриланс биржи upwork. В основном настройка GA, дашборды, CRO.

А какой у вас опыт?

В конце августа завершил 2 поток курса и пустился во все тяжкие, отправился отдыхать.

Рыбачил, гулял по лесу, лазил по горам, катался на велосипеде, жарил шашлык, грелся в Турции.

Кажется это было одно из самых насыщенных лет за последние годы

Вы как? Успели отдохнуть?

Смотреть со звуком)

Через 20 минут стартуем стрим про "Экспериментальную культуру в компаниях РФ" с Виталием Черемисиновым.

Залетайте в зум по ссылке Ссылка на zoom

Запись стрима про экспериментальную культуру с Виталием Черемисиновым

Список вопросов, которые обсудили на стриме
1. Как вообще пришел к тому чтобы заниматься АБ тестами?
2. Как повлияла работа в Aic на твое проф. развитие?
3. Почему с Искандером решили делать Expf?
4. Что интересного успели сделать за период Expf?
5. Какая она "экспериментальная культура" в компаниях РФ?
6. Какие наиболее частые проблемы(запросы) у компаний, которые решили стартануть эксперименты?
7. Как бы ты рекомендовал выстраивать работу с экспериментами в компании с нуля?
8. Расскажи про опыт разработки собственной АБ-шницы как коммерческого продукта?
9. Почему решили объединиться с Авито?
10. Что теперь будете делать в новой компании? Какие цели /планы?
11. Какие роли у вас с Искандером теперь в Авито?
12. Есть ли планы выхода на международные рынки?

Смотреть на youtube

АБ тесты и экстремально маленькие выборки

Сегодня утром прочитал у Лены пост где она сравнивала АБ тесты в бизнесе и эксперименты в науке.

Там она пишет, что в бизнесе и АБ тестах обычно достаточно много наблюдений (пользователей), что позволяет не сильно париться над выбором стат критерия и во многих базовых случаях использовать t-test.

Я подумал, что многие аналитики в принципе никогда не сталкиваются с малыми выборками и с теми особенностями и ограничениями, которые несут за собой малые выборки.

Поэтому решил поразмышлять о том какие начнут всплывать нюансы, если мы переместимся в мир малых выборок. Например, представьте если бы у вас были выборки в АБ тесте в размере 5-30 пользователей.

1. Размер эффекта и малая мощность
Скорее всего большинство тех гипотез, которые мы обычно проверяем в АБ тестах было бы бессмысленно проверять, т.к. из-за малого размера выборок мы бы могли стат значимо зафиксировать только очень большие эффекты.

Такие эффекты возможны при изменении ключевых параметров бизнес-модели, а перекраска кнопок и косметический тюнинг интерфейсов не дали бы нам нужного прироста.

В большинстве АБ тестов мы бы просто не находили эффекты, т.е. допускали ошибки 2 рода.

2. Заниженная оценка дисперсии
Иногда аналитики могут забить и посчитать оценку дисперсии по выборке как дисперсию ГС, не применяя поправку Бесселя.

В целом если у вас тысячи наблюдений, то оба способа расчета дадут примерно одинаковые значения.

Но если у вас малые выборки, например по 5 наблюдений, то тогда уже значения будут сильно отличаться и тут критически важно делить не просто на n, а на n-1.

Строго говоря поправка нужна всегда когда мы считаем оценку дисперсии по выборке.

3. Завышенная доля ошибок 1 рода
Если использовать расчет дисперсии без поправки Бесселя, то из-за недооценки дисперсии мы в среднем гораздо чаще будем находить стат значимые отличия там где их нет. Т.е. не сможем контролировать ошибку 1 рода в пределах альфы.

4. Критическое отличие z-test и t-test
Конечно z-test предполагает использование известной дисперсии ГС, но опустим этот факт и будем применять для него оценочные данные по выборке, что очень часто происходит на практике.

Если мы возьмем z-test и t-test и большие выборки(тысячи наблюдений) и подставим в них значения наших выборок, а после посчитаем p-value, то p-value в обоих случаях скорее всего будут очень-очень близки. Отличие будет в каком-нибудь 4-5 знаке после запятой.

Если же у нас экстремально малые выборки, то z-test будет выдавать завышенное число ошибок первого рода. T-test будет более консервативен, т.к. работает с t-распределением, которое позволяет контролировать ошибку первого рода в рамках альфы на малых выборках

5. Повышенная чувствительность к выбросам
Чем меньше у нас наблюдений, тем сильнее каждое отдельное экстремальное значение будет влиять на среднее, а также раздувать дисперсию.

6. Оценка эффекта будет иметь большую неопределенность
Т.к. наблюдений мало, то доверительный интервал будет более широкий. Это может быть проблемой, особенно когда для нас важна практическая значимость эффекта. Чем точнее мы можем оценить истинный размер эффекта тем лучше, но малые выборки будут давать широкий доверительный интервал из-за большой стандартной ошибки.

7. Ошибка знака
Ошибка знака это про то что мы нашли стат значимое изменение, но ошиблись в знаке этого изменения. Например, по результатам АБ теста метрика улучшилась, а на самом деле в ГС она ухудшилась. Такое бывает редко, но может быть.


Я сам никогда не работал с экстремально малыми выборками в рамках АБ. Самые маленькие выборки у меня имели сотни наблюдений. Если у вас есть что добавить, то поделитесь своими мыслями о малых выборках и особенностях работы с ними.

Давно не делился с вами историями и отзывами о моем курсе по АБ тестированию.

Кристина участвовала в первом потоке курса по АБ тестированию. Она хотела перейти на позицию продуктового аналитика, но вопросы по АБ тестам на собеседованиях часто ставили в тупик.

На курс она шла с задачей построить крепкий базис по статистике и АБ тестам, а также взглянуть на реальные кейсы АБ тестирования, чтобы быть готовой самой проводить АБ тесты по шагам, от работы с гипотезами до валидации данных и подведения итогов.

Конечно курс не волшебная таблетка и на нем нужно работать чтобы получить знания и навыки, но я рад когда мне удается помочь людям достичь их целей.

Уже скоро стартует 3 поток курса по АБ тестированию. Если вы хотите попасть в предзапись, то напишите мне @borzilo_y

А не херню ли я делаю?🧐

У многих кто только начинает заниматься АБ тестами возникают сомнения из разряда "а правильно ли я рассчитал размер выборки", а "можно ли применить стат. критерий к моей метрике" и много других навязчивых мыслей 😁

Сегодня хочу порассуждать о том как именно можно действовать, чтобы проверить себя.

1️⃣ Обратный расчет (математический кросс-чек)
Например ты посчитал по формуле нужный размер выборки для определенного MDE и у тебя закрались сомнения, а не допустил ли ты ошибку.

Для того чтобы проверить себя можно произвести обратный расчет. Выразить из формулы MDE и подставить в эту формулу рассчитанный размер выборки и проверить, что MDE получится точно такой же как и раньше.

Это помогает понять, что ты не ошибся в логике формулы или в порядке подстановки параметров.

2️⃣ Логические противоречия (проверка здравого смысла)
Всегда нужно понимать логику системы с которой работаешь. Например если тебе каким-то образом удалось получить p-value больше 1, то значит где-то в расчетах допущена ошибка, т.к. p-value не может быть больше 1

3️⃣ Проверка предпосылок (сопоставь теорию и свои данные)
К примеру ты не понимаешь можно ли применить t-test к твоей метрике. Тут можно обратиться к книгам изучить теоретические требования и оценить насколько в твоем кейсе эти требования выполняются.

К примеру t-test требует независимость наблюдений, а если у тебя метрика посчитанная по сессиям пользователей, то скорее всего теоретическое требование не будет выполняться

4️⃣ Симуляция (эмпирическая проверка)
Наверное это один из лучших способов себя проверить. Сомневаешься что посчитал размер выборки правильно, возьми и проведи 1000 искусственных экспериментов с этим размером выборки, чтобы оценить обеспечивает ли он на самом деле нужную мощность.

Не уверен в том сочетается ли твоя метрика и выбранный стат. критерий. Проведи 1000 искусственных АА тестов и оцени выдерживается уровень ошибок 1 рода в соответствии с альфой.

5️⃣ Кросс-чек инструментов (альтернативные расчёты)
Есть много python библиотек с готовыми статистическими функциями, есть excel, в котором можно найти t-test. Если есть сомнения в результатах расчетов, то можно провести кросс-чек и посчитать интересующую тебя штуку через какое-то специализированное ПО, чтобы сравнить твою цифру с цифрами других систем.


Всегда думайте о том как можете перепроверить себя, т.к. ошибиться в АБ тестах очень легко, а вот заметить что где-то ошиблись не всегда просто))

Что там с осенним наймом?
Периодически общаюсь с бывшими коллегами и выпускниками курса. Говорят, что сейчас на собеседования не попасть.

Откликаешься на hh и тишина в ответ. На линкедыне тоже постоянный плач о том, что найм сломан. С другой стороны за октябрь мне написали около 7 рекрутеров из бигтехов с предложением пообщаться.

Делитесь своим мнением и опытом, что происходит на аналитическом рынке?

Когда решил устроиться на работу в 2025 году

Вчера в чате разгоняли тему про поиск работы аналитиком в 2025 году.

Окончательно разобраться в ситуации не удалось. Кажется тут нужно полномасштабное исследование.

NEWHR снова проводят ежегодное исследование рынка аналитиков и их зарплат, а я помогаю собрать данные.

Поэтому приглашаю вас принять участие в опросе. По результатам которого мы все сможем получить детальную аналитику о ситуации на рынке с наймом аналитиков.

✅ Вот ссылочка на опрос

Посмотреть исследование за 2024 год можно здесь