Через 20 минут стартуем стрим про "Экспериментальную культуру в компаниях РФ" с Виталием Черемисиновым.

Залетайте в зум по ссылке Ссылка на zoom

Запись стрима про экспериментальную культуру с Виталием Черемисиновым

Список вопросов, которые обсудили на стриме
1. Как вообще пришел к тому чтобы заниматься АБ тестами?
2. Как повлияла работа в Aic на твое проф. развитие?
3. Почему с Искандером решили делать Expf?
4. Что интересного успели сделать за период Expf?
5. Какая она "экспериментальная культура" в компаниях РФ?
6. Какие наиболее частые проблемы(запросы) у компаний, которые решили стартануть эксперименты?
7. Как бы ты рекомендовал выстраивать работу с экспериментами в компании с нуля?
8. Расскажи про опыт разработки собственной АБ-шницы как коммерческого продукта?
9. Почему решили объединиться с Авито?
10. Что теперь будете делать в новой компании? Какие цели /планы?
11. Какие роли у вас с Искандером теперь в Авито?
12. Есть ли планы выхода на международные рынки?

Смотреть на youtube

АБ тесты и экстремально маленькие выборки

Сегодня утром прочитал у Лены пост где она сравнивала АБ тесты в бизнесе и эксперименты в науке.

Там она пишет, что в бизнесе и АБ тестах обычно достаточно много наблюдений (пользователей), что позволяет не сильно париться над выбором стат критерия и во многих базовых случаях использовать t-test.

Я подумал, что многие аналитики в принципе никогда не сталкиваются с малыми выборками и с теми особенностями и ограничениями, которые несут за собой малые выборки.

Поэтому решил поразмышлять о том какие начнут всплывать нюансы, если мы переместимся в мир малых выборок. Например, представьте если бы у вас были выборки в АБ тесте в размере 5-30 пользователей.

1. Размер эффекта и малая мощность
Скорее всего большинство тех гипотез, которые мы обычно проверяем в АБ тестах было бы бессмысленно проверять, т.к. из-за малого размера выборок мы бы могли стат значимо зафиксировать только очень большие эффекты.

Такие эффекты возможны при изменении ключевых параметров бизнес-модели, а перекраска кнопок и косметический тюнинг интерфейсов не дали бы нам нужного прироста.

В большинстве АБ тестов мы бы просто не находили эффекты, т.е. допускали ошибки 2 рода.

2. Заниженная оценка дисперсии
Иногда аналитики могут забить и посчитать оценку дисперсии по выборке как дисперсию ГС, не применяя поправку Бесселя.

В целом если у вас тысячи наблюдений, то оба способа расчета дадут примерно одинаковые значения.

Но если у вас малые выборки, например по 5 наблюдений, то тогда уже значения будут сильно отличаться и тут критически важно делить не просто на n, а на n-1.

Строго говоря поправка нужна всегда когда мы считаем оценку дисперсии по выборке.

3. Завышенная доля ошибок 1 рода
Если использовать расчет дисперсии без поправки Бесселя, то из-за недооценки дисперсии мы в среднем гораздо чаще будем находить стат значимые отличия там где их нет. Т.е. не сможем контролировать ошибку 1 рода в пределах альфы.

4. Критическое отличие z-test и t-test
Конечно z-test предполагает использование известной дисперсии ГС, но опустим этот факт и будем применять для него оценочные данные по выборке, что очень часто происходит на практике.

Если мы возьмем z-test и t-test и большие выборки(тысячи наблюдений) и подставим в них значения наших выборок, а после посчитаем p-value, то p-value в обоих случаях скорее всего будут очень-очень близки. Отличие будет в каком-нибудь 4-5 знаке после запятой.

Если же у нас экстремально малые выборки, то z-test будет выдавать завышенное число ошибок первого рода. T-test будет более консервативен, т.к. работает с t-распределением, которое позволяет контролировать ошибку первого рода в рамках альфы на малых выборках

5. Повышенная чувствительность к выбросам
Чем меньше у нас наблюдений, тем сильнее каждое отдельное экстремальное значение будет влиять на среднее, а также раздувать дисперсию.

6. Оценка эффекта будет иметь большую неопределенность
Т.к. наблюдений мало, то доверительный интервал будет более широкий. Это может быть проблемой, особенно когда для нас важна практическая значимость эффекта. Чем точнее мы можем оценить истинный размер эффекта тем лучше, но малые выборки будут давать широкий доверительный интервал из-за большой стандартной ошибки.

7. Ошибка знака
Ошибка знака это про то что мы нашли стат значимое изменение, но ошиблись в знаке этого изменения. Например, по результатам АБ теста метрика улучшилась, а на самом деле в ГС она ухудшилась. Такое бывает редко, но может быть.


Я сам никогда не работал с экстремально малыми выборками в рамках АБ. Самые маленькие выборки у меня имели сотни наблюдений. Если у вас есть что добавить, то поделитесь своими мыслями о малых выборках и особенностях работы с ними.

Давно не делился с вами историями и отзывами о моем курсе по АБ тестированию.

Кристина участвовала в первом потоке курса по АБ тестированию. Она хотела перейти на позицию продуктового аналитика, но вопросы по АБ тестам на собеседованиях часто ставили в тупик.

На курс она шла с задачей построить крепкий базис по статистике и АБ тестам, а также взглянуть на реальные кейсы АБ тестирования, чтобы быть готовой самой проводить АБ тесты по шагам, от работы с гипотезами до валидации данных и подведения итогов.

Конечно курс не волшебная таблетка и на нем нужно работать чтобы получить знания и навыки, но я рад когда мне удается помочь людям достичь их целей.

Уже скоро стартует 3 поток курса по АБ тестированию. Если вы хотите попасть в предзапись, то напишите мне @borzilo_y

А не херню ли я делаю?🧐

У многих кто только начинает заниматься АБ тестами возникают сомнения из разряда "а правильно ли я рассчитал размер выборки", а "можно ли применить стат. критерий к моей метрике" и много других навязчивых мыслей 😁

Сегодня хочу порассуждать о том как именно можно действовать, чтобы проверить себя.

1️⃣ Обратный расчет (математический кросс-чек)
Например ты посчитал по формуле нужный размер выборки для определенного MDE и у тебя закрались сомнения, а не допустил ли ты ошибку.

Для того чтобы проверить себя можно произвести обратный расчет. Выразить из формулы MDE и подставить в эту формулу рассчитанный размер выборки и проверить, что MDE получится точно такой же как и раньше.

Это помогает понять, что ты не ошибся в логике формулы или в порядке подстановки параметров.

2️⃣ Логические противоречия (проверка здравого смысла)
Всегда нужно понимать логику системы с которой работаешь. Например если тебе каким-то образом удалось получить p-value больше 1, то значит где-то в расчетах допущена ошибка, т.к. p-value не может быть больше 1

3️⃣ Проверка предпосылок (сопоставь теорию и свои данные)
К примеру ты не понимаешь можно ли применить t-test к твоей метрике. Тут можно обратиться к книгам изучить теоретические требования и оценить насколько в твоем кейсе эти требования выполняются.

К примеру t-test требует независимость наблюдений, а если у тебя метрика посчитанная по сессиям пользователей, то скорее всего теоретическое требование не будет выполняться

4️⃣ Симуляция (эмпирическая проверка)
Наверное это один из лучших способов себя проверить. Сомневаешься что посчитал размер выборки правильно, возьми и проведи 1000 искусственных экспериментов с этим размером выборки, чтобы оценить обеспечивает ли он на самом деле нужную мощность.

Не уверен в том сочетается ли твоя метрика и выбранный стат. критерий. Проведи 1000 искусственных АА тестов и оцени выдерживается уровень ошибок 1 рода в соответствии с альфой.

5️⃣ Кросс-чек инструментов (альтернативные расчёты)
Есть много python библиотек с готовыми статистическими функциями, есть excel, в котором можно найти t-test. Если есть сомнения в результатах расчетов, то можно провести кросс-чек и посчитать интересующую тебя штуку через какое-то специализированное ПО, чтобы сравнить твою цифру с цифрами других систем.


Всегда думайте о том как можете перепроверить себя, т.к. ошибиться в АБ тестах очень легко, а вот заметить что где-то ошиблись не всегда просто))

Что там с осенним наймом?
Периодически общаюсь с бывшими коллегами и выпускниками курса. Говорят, что сейчас на собеседования не попасть.

Откликаешься на hh и тишина в ответ. На линкедыне тоже постоянный плач о том, что найм сломан. С другой стороны за октябрь мне написали около 7 рекрутеров из бигтехов с предложением пообщаться.

Делитесь своим мнением и опытом, что происходит на аналитическом рынке?

Когда решил устроиться на работу в 2025 году

Вчера в чате разгоняли тему про поиск работы аналитиком в 2025 году.

Окончательно разобраться в ситуации не удалось. Кажется тут нужно полномасштабное исследование.

NEWHR снова проводят ежегодное исследование рынка аналитиков и их зарплат, а я помогаю собрать данные.

Поэтому приглашаю вас принять участие в опросе. По результатам которого мы все сможем получить детальную аналитику о ситуации на рынке с наймом аналитиков.

✅ Вот ссылочка на опрос

Посмотреть исследование за 2024 год можно здесь

Эксперименты когда принцип SUTVA нарушен

В предыдущем посте мы говорили о том, что если в АБ тесте нарушается принцип SUTVA, то классические АБ тесты по пользователям могут работать не корректно.

Сегодня поговорим о том какие можно использовать способы проведения экспериментов для решения проблемы нарушения SUTVA.


1. Изменить единицу рандомизации
В примере с бухгалтерским сервисом мы делили людей на группы из-за чего сотрудники одной компании могли попасть в разные группы.

Это нарушило независимость групп, поэтому логично перейти на уровень компаний и раскидывать компании по группам, тогда всем сотрудникам одной и той же компании будут назначены одинаковые версии продукта.

2. Switchback сплитование
Идея этого метода заключается в том что мы не делим пользователей приложения на группы в явном виде, а действуем иначе. Вспомним наш пример с такси.

В городе есть разные районы и мы можем сказать нашем алгоритму рандомизации, что все кто в районе 1 будут попадать в контрольную группу, а все кто в районе 2 в тестовую и так же поделить оставшиеся районы по группам.

Но есть дополнительное условие, мы не закрепляем отдельный район за определенной группой навсегда, а например каждый час проводим рандомизацию повторно и переопределяем группу эксперимента для района.

Т.к. часто таксисты работают в рамках определенного района, то у для них все заказчики будут в равных условиях, т.к. на район действует один и тот же механизм назначения цены закрепленный за районом в данный час.

3. Синтетический контроль
В примере про кэшбек в банке мы говорили о том, что люди попавшие в контрольную и тестовую группы могут общаться между собой и рассказывать про кэшбек и это повлияет на результат эксперимента.

Можно взять и выкатить кэшбек сразу на всех клиентов банка и представить, что это тестовая группа, но встает вопрос, а где взять контрольную группу, ведь все клиенты получили экспериментальной воздействие.

Можно создать так называемую синтетическую контрольную группу. Для этого берут данные о клиентах до того момента как мы ввели кэшбек и на основе этих данных строят модель, которая бы прогнозировала бы поведение людей и нужную нам метрику без введения кэшбека.

Таким образом у нас появляется синтетическая контрольная группа, которую можно сравнить с тестовой группой.

Конечно все перечисленные методы не идеальны и у них могут быть подводные камни, поэтому перед тем как их внедрять важно происследовать ваши данные и убедиться, что вы не выстрелите себе в ногу.

Объясните мне, что все носятся с этим ИИ!?

Возможно, я отстал от жизни, но в чем там сложность и весь хайп?

Промпт-инжиниринг.
В чем сложность описать детальное ТЗ и контекст, провести несколько итераций?

Почему это называется инжиниринг?

Ну это же просто общение с чатом, это же не высшая математика и не программирование.

Зачем там какие-то курсы о том как писать промпты?

Курс помог выстроить картину по процессу АБ тестирования с практической стороны 🏗

Максим, пришел на курс уже работая аналитиком. Его запрос был следующим

Хочу внедрить АБ тесты в своей команде

В ходе курса он получил набор инструментов, который помог организовать процесс АБ тестирования.

Студенты на курсе получают toolkit в виде технологического процесса для внедрения АБ тестов + кучу разных чек-листов и шаблонов.

Так же на курсе мы решаем различные кейсы по дизайну и анализу результатов АБ тестов, т.к. статистическая теория это хорошо, но как это все перенести на бизнес практику - отдельный вопрос.

Кроме этого Максим сказал

Особенно хочется отметить показ на симуляциях и готовые блокноты в коллабе. Когда сам руками крутил - пазл складывался моментально.

На мой взгляд симуляции - это такой рубикон, который как раз и позволяет развить интуитивный навык понимания статистики и АБ тестов.

Т.к. можно буквально на кончиках пальцев ощутить, как работают все эти вероятности и процессы. Если у тебя никак не складывается понимание какой-то статистической концепции, то это must have.

Еще Максим отметил

Также полезным блоком для меня оказался разбор популярных ошибок в тестировании

Помимо практики и закрытия пробелов в теории Максим принял правильное решение учиться на чужих ошибках, а не на своих)) На курсе мы разбираем 9 главных ошибок АБ тестирования + я делюсь списком из 40 дополнительных.

Через некоторое время после курса Максим написал

Кстати да, это же самое главное) Вот сейчас в команде подходим к анализу результатов первого теста. Очень помогло именно цельное понимание структуры построения самого процесса тестирования