Когда хочется все бросить и уехать на Матемаркетинг

Кажется, что до нового года еще далеко, а нервы уже не выдерживают, тогда тебе пора на Матемаркетинг. Там ты сможешь обсудить всю эту аналитическую тщетность бытия data-driven с такими же аналитиками как ты, такая своеобразная перезагрузка в friendly analytics среде.

Что такое Матемаркетинг?
Крупнейшая в РФ конференция посвященная маркетинговой и продуктовой аналитике. Там собираются аналитики и рассказывают как прокачали data-driven в своих компаниях.

Ключевые темы докладов конференции
- Конечно же АБ тесты
- AI аналитика (куда же без AI)
- Data-платформы и инфра
- BI и визуализация

Тут подробная программа

Когда и где?
- 20-21 ноября оффлайн, в Москве, Кластер «Ломоносов», Раменский бульвар, 1
- 11 ноября онлайн день)

🔜 Ссылка на сайт с подробностями

Мини-гайд, как ходить на Матемаркетинг с пользой
1. Доклады можно будет посмотреть потом в записи, так что не торопись занимать места в зале.

2. Познакомься с коллегами из разных компаний.

3. Пройдись по стендам разных компаний, поиграй в квизы и собери их мерч и оставь свое резюме.

4. В холле можно найти столы с едой. Возьми кофе и пирожок для восполнения энергии.

5. Сходи на стену где оставляют объявления с вакансиями. В том году видел ваку на 8000$.

6. Когда конфа закончится и ты будешь дома заходи на lms.matemarketing.ru и смотри записи всех докладов.

Специальные условия
У тебя еще есть время попросить своего работодателя оплатить конфу, а если работодателя нет, то остается рассчитывать только на себя.

По промокоду BORZILO10 получишь скидку 10%.
🔜 Ссылка на сайт

👨🏻‍💻Консалтинг для компаний по АБ тестированию

Иногда приходили с запросами на консалтинг по АБ тестированию, но времени на это особо не было в связи с fulltime работой с запуском курса.

Сейчас время появилось и официально приглашаю к сотрудничеству компании, которым нужны компетенции в области АБ тестирования.

✍️ С какими задачами могу помочь?

1️⃣ Запустить и выстроить процесс АБ тестирования с нуля
Проработать методологию, регламенты, чек-листы, помочь нанять и обучить людей.

2️⃣Провести аудит текущего процесса
Проверю методики планирования и оценки экспериментов, работу с гипотезами, уровень компетенций, пайплайны расчетов, ускорение и оптимизация экспериментов.

3️⃣АБ платформы
Помогу определиться со списком требований к платформе и с выбором готовых решений. Провалидирую работу вашей текущей платформы. Автоматизация и расчет результатов АБ тестов.

4️⃣Обучение
Проведу корпоративный тренинг для сотрудников по АБ тестированию в формате лекций и воркшопов.

🗂 Коротко обо мне
- Выстроил процесс АБ тестирования для 20 команд сайта Альфа-Банк
- Провел аудит 3 АБ платформ, через которые проходят миллионы пользователей
- Автор курсов по АБ тестированию, которые прошли более 100 человек

Заходите в личку @borzilo_y

«Зачем мне эта математика?»
Примерно так я думал на всех уроках алгебры и геометрии в школе. Я даже почти закончил школу с 3 по алгебре, но сдал ЕГЭ на 4 и в итоге получил 4, но так и не понял зачем мне нужна математика))

Зато сейчас нашел целый канал, в котором на этот вопрос отвечают ежедневно — «Зачем мне эта математика?» от Яндекс Образования 🧩

Команда публикует много актуальных инфоповодов, открытий, но есть и темы для тех, кто уже в профессии. Вот например простое объяснение сути AB тестирования на примере реального кейса.

Ну и какая же математика без задач? Редакция предлагает задачки разных уровней: попроще, и посложнее. Главное — всегда с подробным решением.

Читайте! Особенно советую тем, кто до сих пор не понимает, где в жизни может пригодиться математика.

SUTVA
(Stable Unit Treatment Value Assumption). Стабильность воздействия на экспериментальный объект. Один из важных принципов честного АБ тестирования.

Этот принцип предполагает, что поведение одного участника эксперимента не зависит от поведения других участников эксперимента. Чтобы понять лучше давайте посмотрим примеры

🗂 Сервис для заполнения бухгалтерской отчетности
Вы развиваете такой сервис и решили провести АБ тест. Половине пользователей показываете старую версию интерфейса, а половине новую. Вроде все нормально, но могут быть проблемы.

Представьте, компании в которых несколько бухгалтеров - пользователей сервиса и все они сидят в одном кабинете.

Кто-то из них получил старый интерфейс, а кто-то новый. И вот уже Галя кричит: Тамара Ивановна посмотри, куда у меня делись все кнопки (она получила тестовую версию), Тамара Ивановна смотрит на новый интерфейс Галины и говорит, а у меня все по старому (она в контрольной группе).

Через 5 минут они уже звонят в тех поддержку, чтобы выяснить что за фигня. Короче эксперимент сломался, пользователи повлияли друг на друга и увидели оба варианта.

🚕 Сервис вызова такси
Предположим у нас мобильное приложение по заказу такси и мы хотим протестировать новый алгоритм назначения цены поездок.

В среднем стоимость поездки будет выше в тестовой версии, чем в контрольной версии. Как обычно делим пользователей на 2 группы тест и контроль, но могут быть проблемы.

У нас ведь есть водители, которым интересно брать наиболее прибыльные заказы, а так как у пользователей тестовой группы цены в среднем выше, то и больше водителей будет откликаться на эти заказы.

Может сложиться ситуация, что свободных водителей готовых браться за заказы от контрольной группы останется совсем мало и пользователи контрольной группы не смогут вызвать такси из-за этого. Т.е. воздействие на тестовую группу опосредовано через водителей повлияло и на контрольную группу.


💰 Кэшбек в банке
Предположим вы банк и вы вводите супер клевый кэшбек 5% на все. Решаете протестировать и делаете классический АБ тест. Одной группе не даете новый кэшбек, другой даете.

Согласитесь, что кэшбек 5% - классно и вы скорее всего расскажите о нем своим родственникам и друзьям, которые также могут быть клиентами банка, но если они попадут в контрольную группу, то такого классного кэшбека у них не будет и они расстроятся. Т.е. экспериментальное воздействие неявно повлияло на поведение контрольной группы.

Что делать в таких ситуациях? Если знаете - пишите в комменты. Если хотите узнать, то поставьте 👍 и я расскажу в следующих постах о подходах для работы с экспериментами в подобных ситуациях.

Я давно не испытывала такого кайфа от обучения!🔥

Так сказала Наталья о моем курсе по АБ тестированию, которая училась во втором потоке.

Она хотела попасть в продуктовую аналитику, но не хватало знаний и навыков для прохождения собесов и работы, поэтому пришла на курс.

Ниже я выделил, несколько фактов о курсе, которые отметила Наталья и дал свои пояснения.

- Все очень грамотно, последовательно и просто

Вам знакомо чувство, когда приходишь на курс и понимаешь, что для того чтобы его изучить тебе нужно предварительно пройти еще какой-то курс?

Меня всегда раздражала такая ситуация, поэтому в своем курсе я постарался подать материал так чтобы все было понятно без предварительной подготовки.

Каждая тема плавно вытекает из предыдущей. Я фокусирую учеников на смысле происходящего, а не на зазубривании фактов.

- Обилие примеров и кейсов

Вы видели книги по статистике где много формул, а задачи из разряда вот у нас есть такое мат ожидание, такая дисперсия, посчитайте что-то.

Это все круто, но мне всегда не хватало переноса этого всего на реальные бизнес кейсы. Поэтому в курсе мы все рассматриваем на разных бизнес-кейсах. Кофейня, онлайн-игра, интернет магазин и прочее.

- Проработано множество вопросов

В курсе я постарался собрать основные кейсы и проблемы, с которыми человек может столкнуться в процессе АБ тестирования и дать понятные пошаговые алгоритмы для работы.

Курс не покрывает всех нюансов статистики и АБ тестирования, но дает toolkit с которым вы сможете решить большинство базовых задач.

Главное - сразу ясно, как применять на практике💻

Игорь, как и многие участники курса по АБ тестированию уже работал аналитиком, но АБ тестов в работе не было.

Он уже читал книги по статистике и статьи про АБ тесты, но хотелось понять как все это применять на практике.

На курсе ученики буквально по шагам несколько раз проходят по полному циклу работы с АБ тестом на примере кейсов интернет магазина и онлайн игры.

нет перегрузки от супер глубокого погружения в статистику

Статистическая теория в курсе также есть, но я постарался подать ее просто и понятно.

Главное понять смыслы и логические взаимосвязи, а не выучить кучу формул и зазубрить определение p-value.

Большое количество практических кейсов

Ученики ищут точки роста, сами делают дизайн АБ тестов, валидируют данные, считают стат критерии и принимают решение катить ли фичу.

18 ноября стартует 4 поток курса по АБ тестам

Рассчитан на 12 занятий по 1,5 часа. Занятия будут проходить 2 раза в неделю по вечерам. Онлайн формат в зуме. Сроки проведения курса 18 ноября - 26 дек.

Теория в зуме, домашки для отработки, созвоны для закрепления.

✅ На кого рассчитан курс?
Новички в статистике и АБ тестах. Возможно что-то учили или даже делали пару АБ тестов, но так и не разобрались в базовой статистике для АБ тестов и в том как правильно задизайнить, провести и оценить АБ тест.

✅ Программа
5 занятий по базовой статистике. Начиная от среднего, медианы, моды и заканчивая стат критериями. Пытаемся разобраться в том как работает вся эта система, а не просто зубрим понятия. Акцент на понимании логики статистики и связи её с бизнес-задачами.

7 занятий по АБ тестам. Будем искать точки роста, формировать гипотезы, дизайнить АБ тесты, валидировать данные, принимать решение по результату АБ, посмотрим на реальную АБ платформу.

Рассмотрим узкие кейсы, типа метрики для АБ теста ML моделей, канибализация метрик и прочее. Погрузимся в типовые ошибки АБ тестов: SRM, подглядывания, не репрезентативные выборки и прочее.

✅ Кто уже учился на моих курсах по АБ?
90% - это аналитики, которые уже несколько лет в анализе данных, но с АБ тестами не сталкивались. Но также были: продакты, дизайнеры, маркетологи, системные аналитики.

✅ Надо ли знать SQL и python для прохождения курса?
Нет, практику проводим в гугл таблицах. Python я использую для демонстрации симуляций, но знать его не обязательно. Если хочется применить python, то вы можете проделать задачи в google colab и сдать на проверку мне))

✅ Артефакты, которые получишь после прохождения курса

1. Шаблон дизайна АБ теста
2. Чек-лист валидации АБ платформы
3. Шаблон формирования и приоритезации гипотез
4. Чек-лист валидации данных АБ теста
5. Алгоритм оценки результата АБ теста
6. Jupyter ноутбук с базовым алгоритмом расчета АБ теста
7. Шаблон для внедрения процесса АБ тестирования в компании
8. Jupyter ноутбук с симуляциям демонстрирующими статистические концепции

Какие результаты получают студенты после курса?

- Кто-то удачно проходит собеседования и получает офферы
- Кто-то строит новые процессы АБ тестирования в своих компаниях
- Кто-то закрывает пробелы в знаниях и практике по АБ тестам
- Еще больше о результатах можно почитать в отзывах тех кто прошел курс

Еще о некоторых деталях курса

- Как я подаю статистику на курсе
- Немного "внутрянки" курса


🔜 За подробностями пиши в личку - @borzilo_y

Потерял деталь или потерялся в деталях 🧩

Примерно так я могу охарактеризовать людей, которые приходят на мой курс по АБ тестам.

Перед тем как взять человека на курс я провожу его диагностику, чтобы выявить проблемные места.

1️⃣ Потерял деталь

Начинаю опрашивать человека. Мода, медиана, дисперсия, стандартное отклонение. Тут обычно проблем нет, но вот многие почему-то упускают такое понятие как стандартная ошибка среднего и дальше понимание человека ломается.

В статистике есть много таких важных, но не всегда заметных деталей, но если их упустить, то очень сложно будет построить логичную систему у себя в голове.

2️⃣ Потерялся в деталях

Человек уже читал несколько книг, знает и про поправки на множественное сравнение и про дизайн АБ теста и про стат критерии, даже видел как коллеги тыкали в настоящую АБ платформу и разговаривали про CUPED.

Но если его попросить провести АБ тест самостоятельно, то он впадет в ступор, т.к. не видит общей картины - потерялся в деталях. Вроде все знаю, вроде все важно, а что делать в итоге непонятно.

❓ Как не потерять детали и не потеряться самому?

В курсе я стараюсь лавировать между 2 этими крайностями. При прохождении блока по статистике, я особенно акцентирую внимание студентов на концепциях, которые закладывают фундамент для интуитивного понимания статистики.

Чтобы не потерять важные детали мы из урока в урок возвращаемся к ним в разделе повторения и через взаимосвязь с другими концепциями.

При этом мы постоянно восстанавливаем верхнеуровневую картину, чтобы человек видел не только одно дерево, но и весь лес. Для этого есть 2 занятия, где мы верхнеуровнево повторяем все изученное в нескольких предыдущих занятиях, что бы выстроить это в единую систему.

Кроме этого я выдаю студентам "карту процесса АБ тестирования" которая раскладывает весь процесс на 5 понятных этапов. Такой подход позволяет держать фокус на важных деталях, но при этом и видеть всю картину АБ тестирования целиком.

Уже совсем скоро, 18 ноября стартует следующий поток курса по АБ тестированию, еще можно успеть попасть на него

🔜 В этом посте можно прочитать подробности о курсе, либо задай мне вопросы лично - @borzilo_y

📣 Проверь себя. Вопросы с собеседований по секции АБ тестов

Как часто вы проваливались на собесах из-за вопросов по АБ тестам? В начале карьеры для меня это была самая сложная секция. Проверьте себя и подготовьтесь к собеседованиям. Попробуйте ответить на вопросы ниже))


1. Нужно ли чтобы данные выборки были распределены нормально для применения T-test?

Нормального распределения данных самой выборки не требуется, важно чтобы распределение выборочных средних было нормальным, а это тоже почти всегда работает благодаря ЦПТ. Так что даже если ваша выборка имеет ненормальное распределение, то t-test скорее всего можно будет использовать.


2. Как провести АБ тест в онлайн продукте по шагам?
Поиск точки роста → Селекция гипотез → Дизайн АБ теста → Настройка АБ теста → Проведение АБ теста → Анализ результата АБ теста → Выкатка и уборка

3. Как возникает ошибка первого рода?
Представим, что тестируемое изменение никак не влияет на ГС и соответственно на наши метрики в АБ тесте. Но, мы все равно можем получить большую разницу между средними значениями выборок А и Б т.к. выборки формируются случайно.

Если такая разница будет очень большой относительно случайных колебаний метрики, то мы скажем, что такая разница статистически значимая и совершим ошибку первого рода.

4. Зачем в АБ тестах хотят снизить дисперсию метрик?
Чем больше дисперсия, тем больше больше будет стандартная ошибка среднего, а значит нам потребуется больший эффект между группами АБ теста, чтобы признать такой эффект статистически значимым. Т.е. мы не сможем обнаружить малые эффекты.

Либо мы должны будем увеличивать размеры выборок, чтобы наши средние стали точнее, а стандартная ошибка среднего уменьшилась. Большая дисперсия мешает нам отлавливать малые эффекты и требует большего объема выборок для проведения АБ теста.

5. Можем ли мы применить t-test к метрике средний доход на сессию?
Если мы предполагаем, что один человек может совершить более чем 1 сессию, то тогда скорее всего нельзя применить t-test, т.к. одно из требований t-test независимость наблюдений. В нашем случае поведение в одной сессии может зависеть от поведения пользователя в другой сессии.

6. Что такое SRM в АБ тестах?
Sample ratio mismatch - не соответствие выборок заданному делению. Например, планировали поделить выборки 50/50, а после проведения эксперимента обнаружили, что выборки поделились 60/40.

Это может быть сигналом, о том что у вас происходит некорректное деление и выборки могут быть не однородны и вы получите смещенные метрики в ваших АБ тестах.

Если возникли сложности с этими вопросами?
Я подготовил подборку из 70 моих постов где разбираю типовые вопросы АБ тестирования. Сохрани себе и подпишись на канал.

Курс по АБ тестам
Скоро стартует новый поток моего курса по АБ тестам. Там мы разбираем эти и еще много других вопросов, чтобы АБ тесты из блэкбокса в вашей голове превратились в стройную, логичную систему. Пиши, если хочешь успеть на последний поток в этом году @borzilo_y