Я давно не испытывала такого кайфа от обучения!🔥

Так сказала Наталья о моем курсе по АБ тестированию, которая училась во втором потоке.

Она хотела попасть в продуктовую аналитику, но не хватало знаний и навыков для прохождения собесов и работы, поэтому пришла на курс.

Ниже я выделил, несколько фактов о курсе, которые отметила Наталья и дал свои пояснения.

- Все очень грамотно, последовательно и просто

Вам знакомо чувство, когда приходишь на курс и понимаешь, что для того чтобы его изучить тебе нужно предварительно пройти еще какой-то курс?

Меня всегда раздражала такая ситуация, поэтому в своем курсе я постарался подать материал так чтобы все было понятно без предварительной подготовки.

Каждая тема плавно вытекает из предыдущей. Я фокусирую учеников на смысле происходящего, а не на зазубривании фактов.

- Обилие примеров и кейсов

Вы видели книги по статистике где много формул, а задачи из разряда вот у нас есть такое мат ожидание, такая дисперсия, посчитайте что-то.

Это все круто, но мне всегда не хватало переноса этого всего на реальные бизнес кейсы. Поэтому в курсе мы все рассматриваем на разных бизнес-кейсах. Кофейня, онлайн-игра, интернет магазин и прочее.

- Проработано множество вопросов

В курсе я постарался собрать основные кейсы и проблемы, с которыми человек может столкнуться в процессе АБ тестирования и дать понятные пошаговые алгоритмы для работы.

Курс не покрывает всех нюансов статистики и АБ тестирования, но дает toolkit с которым вы сможете решить большинство базовых задач.

Главное - сразу ясно, как применять на практике💻

Игорь, как и многие участники курса по АБ тестированию уже работал аналитиком, но АБ тестов в работе не было.

Он уже читал книги по статистике и статьи про АБ тесты, но хотелось понять как все это применять на практике.

На курсе ученики буквально по шагам несколько раз проходят по полному циклу работы с АБ тестом на примере кейсов интернет магазина и онлайн игры.

нет перегрузки от супер глубокого погружения в статистику

Статистическая теория в курсе также есть, но я постарался подать ее просто и понятно.

Главное понять смыслы и логические взаимосвязи, а не выучить кучу формул и зазубрить определение p-value.

Большое количество практических кейсов

Ученики ищут точки роста, сами делают дизайн АБ тестов, валидируют данные, считают стат критерии и принимают решение катить ли фичу.

18 ноября стартует 4 поток курса по АБ тестам

Рассчитан на 12 занятий по 1,5 часа. Занятия будут проходить 2 раза в неделю по вечерам. Онлайн формат в зуме. Сроки проведения курса 18 ноября - 26 дек.

Теория в зуме, домашки для отработки, созвоны для закрепления.

✅ На кого рассчитан курс?
Новички в статистике и АБ тестах. Возможно что-то учили или даже делали пару АБ тестов, но так и не разобрались в базовой статистике для АБ тестов и в том как правильно задизайнить, провести и оценить АБ тест.

✅ Программа
5 занятий по базовой статистике. Начиная от среднего, медианы, моды и заканчивая стат критериями. Пытаемся разобраться в том как работает вся эта система, а не просто зубрим понятия. Акцент на понимании логики статистики и связи её с бизнес-задачами.

7 занятий по АБ тестам. Будем искать точки роста, формировать гипотезы, дизайнить АБ тесты, валидировать данные, принимать решение по результату АБ, посмотрим на реальную АБ платформу.

Рассмотрим узкие кейсы, типа метрики для АБ теста ML моделей, канибализация метрик и прочее. Погрузимся в типовые ошибки АБ тестов: SRM, подглядывания, не репрезентативные выборки и прочее.

✅ Кто уже учился на моих курсах по АБ?
90% - это аналитики, которые уже несколько лет в анализе данных, но с АБ тестами не сталкивались. Но также были: продакты, дизайнеры, маркетологи, системные аналитики.

✅ Надо ли знать SQL и python для прохождения курса?
Нет, практику проводим в гугл таблицах. Python я использую для демонстрации симуляций, но знать его не обязательно. Если хочется применить python, то вы можете проделать задачи в google colab и сдать на проверку мне))

✅ Артефакты, которые получишь после прохождения курса

1. Шаблон дизайна АБ теста
2. Чек-лист валидации АБ платформы
3. Шаблон формирования и приоритезации гипотез
4. Чек-лист валидации данных АБ теста
5. Алгоритм оценки результата АБ теста
6. Jupyter ноутбук с базовым алгоритмом расчета АБ теста
7. Шаблон для внедрения процесса АБ тестирования в компании
8. Jupyter ноутбук с симуляциям демонстрирующими статистические концепции

Какие результаты получают студенты после курса?

- Кто-то удачно проходит собеседования и получает офферы
- Кто-то строит новые процессы АБ тестирования в своих компаниях
- Кто-то закрывает пробелы в знаниях и практике по АБ тестам
- Еще больше о результатах можно почитать в отзывах тех кто прошел курс

Еще о некоторых деталях курса

- Как я подаю статистику на курсе
- Немного "внутрянки" курса


🔜 За подробностями пиши в личку - @borzilo_y

Потерял деталь или потерялся в деталях 🧩

Примерно так я могу охарактеризовать людей, которые приходят на мой курс по АБ тестам.

Перед тем как взять человека на курс я провожу его диагностику, чтобы выявить проблемные места.

1️⃣ Потерял деталь

Начинаю опрашивать человека. Мода, медиана, дисперсия, стандартное отклонение. Тут обычно проблем нет, но вот многие почему-то упускают такое понятие как стандартная ошибка среднего и дальше понимание человека ломается.

В статистике есть много таких важных, но не всегда заметных деталей, но если их упустить, то очень сложно будет построить логичную систему у себя в голове.

2️⃣ Потерялся в деталях

Человек уже читал несколько книг, знает и про поправки на множественное сравнение и про дизайн АБ теста и про стат критерии, даже видел как коллеги тыкали в настоящую АБ платформу и разговаривали про CUPED.

Но если его попросить провести АБ тест самостоятельно, то он впадет в ступор, т.к. не видит общей картины - потерялся в деталях. Вроде все знаю, вроде все важно, а что делать в итоге непонятно.

❓ Как не потерять детали и не потеряться самому?

В курсе я стараюсь лавировать между 2 этими крайностями. При прохождении блока по статистике, я особенно акцентирую внимание студентов на концепциях, которые закладывают фундамент для интуитивного понимания статистики.

Чтобы не потерять важные детали мы из урока в урок возвращаемся к ним в разделе повторения и через взаимосвязь с другими концепциями.

При этом мы постоянно восстанавливаем верхнеуровневую картину, чтобы человек видел не только одно дерево, но и весь лес. Для этого есть 2 занятия, где мы верхнеуровнево повторяем все изученное в нескольких предыдущих занятиях, что бы выстроить это в единую систему.

Кроме этого я выдаю студентам "карту процесса АБ тестирования" которая раскладывает весь процесс на 5 понятных этапов. Такой подход позволяет держать фокус на важных деталях, но при этом и видеть всю картину АБ тестирования целиком.

Уже совсем скоро, 18 ноября стартует следующий поток курса по АБ тестированию, еще можно успеть попасть на него

🔜 В этом посте можно прочитать подробности о курсе, либо задай мне вопросы лично - @borzilo_y

📣 Проверь себя. Вопросы с собеседований по секции АБ тестов

Как часто вы проваливались на собесах из-за вопросов по АБ тестам? В начале карьеры для меня это была самая сложная секция. Проверьте себя и подготовьтесь к собеседованиям. Попробуйте ответить на вопросы ниже))


1. Нужно ли чтобы данные выборки были распределены нормально для применения T-test?

Нормального распределения данных самой выборки не требуется, важно чтобы распределение выборочных средних было нормальным, а это тоже почти всегда работает благодаря ЦПТ. Так что даже если ваша выборка имеет ненормальное распределение, то t-test скорее всего можно будет использовать.


2. Как провести АБ тест в онлайн продукте по шагам?
Поиск точки роста → Селекция гипотез → Дизайн АБ теста → Настройка АБ теста → Проведение АБ теста → Анализ результата АБ теста → Выкатка и уборка

3. Как возникает ошибка первого рода?
Представим, что тестируемое изменение никак не влияет на ГС и соответственно на наши метрики в АБ тесте. Но, мы все равно можем получить большую разницу между средними значениями выборок А и Б т.к. выборки формируются случайно.

Если такая разница будет очень большой относительно случайных колебаний метрики, то мы скажем, что такая разница статистически значимая и совершим ошибку первого рода.

4. Зачем в АБ тестах хотят снизить дисперсию метрик?
Чем больше дисперсия, тем больше больше будет стандартная ошибка среднего, а значит нам потребуется больший эффект между группами АБ теста, чтобы признать такой эффект статистически значимым. Т.е. мы не сможем обнаружить малые эффекты.

Либо мы должны будем увеличивать размеры выборок, чтобы наши средние стали точнее, а стандартная ошибка среднего уменьшилась. Большая дисперсия мешает нам отлавливать малые эффекты и требует большего объема выборок для проведения АБ теста.

5. Можем ли мы применить t-test к метрике средний доход на сессию?
Если мы предполагаем, что один человек может совершить более чем 1 сессию, то тогда скорее всего нельзя применить t-test, т.к. одно из требований t-test независимость наблюдений. В нашем случае поведение в одной сессии может зависеть от поведения пользователя в другой сессии.

6. Что такое SRM в АБ тестах?
Sample ratio mismatch - не соответствие выборок заданному делению. Например, планировали поделить выборки 50/50, а после проведения эксперимента обнаружили, что выборки поделились 60/40.

Это может быть сигналом, о том что у вас происходит некорректное деление и выборки могут быть не однородны и вы получите смещенные метрики в ваших АБ тестах.

Если возникли сложности с этими вопросами?
Я подготовил подборку из 70 моих постов где разбираю типовые вопросы АБ тестирования. Сохрани себе и подпишись на канал.

Курс по АБ тестам
Скоро стартует новый поток моего курса по АБ тестам. Там мы разбираем эти и еще много других вопросов, чтобы АБ тесты из блэкбокса в вашей голове превратились в стройную, логичную систему. Пиши, если хочешь успеть на последний поток в этом году @borzilo_y