Мне кажется я понял красоту математики

В школе я не любил математику, она мне казалась абстракцией лишенной смысла.

Я не из тех кому по приколу просто решать уравнения и кайфовать от того что вывел какую-то формулу и все сошлось.

У меня нет какого-то специального математического образования, но последние месяцы решил немного покопаться в математике.

Появилось ощущение, что я начал видеть некоторую красоту и философскую глубину в математике.

1. Вот например площадь круга pr квадрат. Даже во времена краманьенцев было так, только они еще не знали.

2. Зная 2 стороны треугольника и угол между ними мы можем вычислить длину 3 стороны.

3. Производная просто существует, знаешь ты о ней или нет.

Короче это прикольно, что есть какие-то вещи, которые существуют сами по себе и проявляются во многих реальных вещах и процессах, а мы их просто как бы открываем, но не изобретаем.

Раньше я смотрел на математику как на некую абстракцию, а сейчас как на некоторые законы, которые люди просто открывают для себя. Это как-то немного меняет точку сборки😀

Что происходило в блоге за этот год?

1. Написано 222 поста
2. Провел 2 потока марафона АБ тестов и 4 потока курса по АБ тестированию (более 100 учащихся)
3. Проведено 5 стримов с гостями: Илья, Антон, Лена, Матвей, Вит
4. Сам поучаствовал в 2 стримах: с Владом, с Антоном и 2 онлайн конференциях (зовите меня на стримы если проводите)
5. Сгонял на Аху и Матемаркетинг
6. Самый залайканый мем года (и он не про АБ тесты)
7. Событие года и самый залайканный пост (173 реакции)
8. Самый сохраняемый пост (1144 раза)

Спасибо, что читаете 🚀

Помните, в конце сентября у меня был стрим с Виталием Черемисиновым. Он сейчас входит в команду платформы АБ тестирования Trisigma от Авито.

🔜 Он недавно завел канал где делится интересным, в том числе про АБ тестирование.

Кстати, если хотите можем взглянуть на платформу Trisigma. Провести стрим, с Витом, c демонстрацией платформы Trisigma?

Как оценить свой уровень владения АБ тестами?

Периодически в чате возникают вопросы про то, а какие градации могут быть у аналитиков в плане АБ тестов.
И периодически люди говорят:

Джун. Считает t-test и работает с user-level метриками.

Мидл. Считает bootstrap, cuped, работает с ratio-метриками, через дельта-метод и линеаризацию

Сениор. Применяет sequential testing, causal методы, сетевые эффекты и прочее.

С одной стороны в этом есть часть правды, с другой далеко не вся правда.

Градация системности
Одно дело запомнить методы и формулы и просто понимать дерево решений, когда и что применить.
Другое дело понимать как работает вся система. Т.е. главным фактором для оценки уровня человека в АБ тестах я бы ставил системность.

Джун. Может применить t-test. Знает что-такое p-value и что его нужно сравнить с альфой. Считает, что ARPU и ARPPU примерно одно и то же и можно юзать любой вариант.

Мидл. Понимает почему t-test вообще работает. Как это связано с ЦПТ. Что будет со стандартной ошибкой если увеличится дисперсия. Как систематическая часть дисперсии объясняет поведение пользователя. Понимает, что мощность и альфа это не просто дефолтные 5% и 80%, а что эти параметры реально на что-то влияют.

Сениор. Понимает проблемы Ratio метрик, почему зависимость наблюдений ломает оценку t-test, при наивном подсчете. Видит за формулой дельта метода не просто набор цифр, а логику линейной аппроксимации. Понимает граничные случаи типа проблемы z-test на малых выборках. Понимает связь разных метрик с бизнесом и их ограничения.

Деление выше опять таки условно. Им я хотел показать расширение системности понимания предметной области на разных грейдах. Но это далеко не то же самое, что уметь применить отдельный метод или знать какую-то формулу.

В моем понимании рост грейда в Аб тестах - это расширение понимания системности статистики + умение увязать все это с бизнес задачами и учесть все ограничения, как бизнеса так и статистики, а не про то сколько формул ты запомнил.

Хотел улучшить интуитивное понимание статистики и ему это удалось!

Элмаддин закончил 3 поток курса по АБ тестам. Он уже работает аналитиком. Как и многие он читал "статистику и котики", проходил бесплатные и платные курсы по статистике и АБ тестам, но пазл не складывался.

На курс он пришел с желанием понять, как именно под капотом работает статистический аппарат АБ тестов и получить понятный роадмап проведения АБ тестов.

Вот, что он сказал после прохождения курса

После прохождения курса, чувствую себя очень комфортно на собеседованиях по АБ тестам

Курс сконструирован так чтобы у человека в голове после прохождения курса образовалась система, а не набор разрозненных понятий. Без системного знания невозможно понять статистику интуитивно.

Курс легко совместить с работой, новые знания можно применить сразу, без 3000 запросов в гугл

Также Элмаддин отметил, что курс легко совмещать с работой, т.к. весь материал подан комплексно и не нужно тратить время на "гуглеж" и восполнение дыр в логике.

Правило 3П или как устроен курс?
Хочу немного рассказать о правилах по которым я строю курс, на мой взгляд именно они позволяют сделать курс результативным для студентов. Правило 3П включает в себя 3 понятия: понятность, практичность, полнота.

Понятность
На мой взгляд сложность многих курсов и книг по статистике, в том что они сконцентрированы, на математике и формулах.

Но формула это всего лишь формализованная запись некоторых идей и если ты не знаешь этих идей, то формула всегда будет казаться тебе чем-то странным и абстрактным.

Поэтому я строю свой курс вокруг идей, а только потом естественным образом возникают формулы, как логическое сжатие изученных концепций.

Практичность
Я хочу чтобы человек закончивший курс не просто понимал теорию, но и был готов взять и провести реальный АБ тест. Поэтому на курсе студенты самостоятельно дизайнят АБ тесты, считают результаты АБ тестов.

Полнота
Я стараюсь делать раскрытие каждой концепции логически полным, чтобы человеку меньше требовалось обращаться к сторонним источникам информации.

Ведь люди приходят на курс чтобы получить знания и навыки, а не гуглить 3000 раз, то о чем умолчал преподаватель.

В интернете информации про АБ тесты много, но систему выстроить в голове сложно

Так Николай высказался о своей ситуации с АБ тестами. У него в целом было сомнительное отношение к платным курсам, но попав на обучение он понял преимущества прохождения курса с учителем.

Николай сказал:

Хорошо когда человек глубоко разбирается в теме, ты у него можешь спросить и он тебе простым языком объяснит

Все занятия на курсе проходят в формате живых онлайн лекций. В конце каждой лекции я провожу сессию разбора вопросов на 10-20 минут. Там каждый желающий может задать свои вопросы.

Кроме этого по ходу курса есть 2 отдельных занятия забронированные на сессии вопросов-ответов. Где я готовлю развернутые ответы по вопросам учеников.

Также есть чат где можно задать свои вопросы мне в любой момент прохождения курса и получить персональную обратную связь.

отдельно Николаю понравилось:

Мне очень понравились симуляции в колабе, что можно их покрутить, поменять параметры

Я всегда говорю, что симуляции это один из важных ключей к пониманию статистических концепций и случайных процессов. Поэтому на курсе почти каждый урок мы работаем с разными симуляциями.

Уже совсем скоро, 3 февраля стартует 5 поток курса по АБ тестам, он будет обновленным. Подробнее писал про это здесь

Линейная регрессия, причинно-следственный вывод и АБ тесты

Сегодня хочу поговорить о том в каких кейсах и для чего можно использовать линейную регрессию в контексте АБ и причинных исследований.

1. Прямое измерение эффекта тритмента
Строим регрессию где целевая переменная наша метрика в АБ тесте. В качестве независимой переменной берем факт наличия тритмента. Получаем оценку p-value для различий в целевой метрике между группы и прочие прелести.

2. Контроль переменных для снижения дисперсии
Добавляем в регрессию переменные, которые объясняют часть дисперсии целевой метрики, например сегменты пользователей или историю поведения. Уменьшается стандартная ошибка оценки и как следствие повышается чувствительность теста.

3. Корректировка оценки эффекта из-за нарушения сбалансированности
Если случайная рандомизация не идеально сбалансировала группы по сегментам или важным признакам, можно использовать регрессию для контроля за этими различиями и получить более точную оценку эффекта.

4. Исключение влияния переменных при анализе наблюдательных данных
Если данные не экспериментальные, регрессия помогает выделить чистый эффект интересующего фактора, контролируя влияние «посторонних» переменных.

5. Сравнение различий между группами (Diff-in-Diff)
Линейная регрессия с дамми-переменными позволяет оценить эффект до/после между группами, одновременно учитывая наличие исходной разницы между ними, так что эта разница не искажает оценку эффекта.

6. Оценка взаимодействий между экспериментами
Линейная регрессия с interaction-термами позволяет проверить, одинаково ли варианты одного эксперимента влияют на пользователей в разных контекстах, в частности — при наличии другого эксперимента у этих же пользователей.

Какие еще кейсы вы знаете где можно использовать линейную регрессию?

P.S. На следующей неделе стартует мой курс по АБ тестированию, еще можно успеть https://xn--r1a.website/y_borzilo/1155

Сетевые эффекты в АБ тестах

Представим, что мы играем за аналитика сервиса по продаже недвижимости.

Особенности сервиса в том, что есть 2 стороны риэлторы и собственники жилья - продавцы и покупатели, те кто приходит на сайт присмотреть себе квартиру.

Представим, что у нас появились задачи на проведение АБ тестов, но все осложняют они - сетевые эффекты.

Сетевой эффект - это ситуация, когда поведение или результат одного участника эксперимента зависит от того, что происходит с другими участниками, а не только от того, в какую группу он сам попал.

Особенно часто такая история может происходить когда у нас модель двухстороннего маркетплейса, есть продавцы и покупатели, также сетевые эффекты могут часто быть при попытках тестирования разных аукционов и алгоритмов ранжирования.

Перетекание людей между группами
Например, риэлтор может работать сразу на несколько агентств. Если мы рандомизируем агентства, но даём разные интерфейсы, то он может начать пользоваться тем аккаунтом, где интерфейс удобнее. В итоге контроль загрязняется, и мы нарушаем SUTVA.

Общая лента для покупателей
Мы можем тестировать изменения на стороне риэлторов, дать кому-то "премиум карточки", которые выделяются, но метрику считать на покупателях - например, ctr просмотры карточек.

Проблема в том, что покупатель одновременно видит объекты из теста и контроля. В таком дизайне мы не можем корректно атрибутировать эффект конкретной группе риэлторов, т.к. на клиента влияли сразу карточки 2 групп риэлторов.

Сетевые эффекты через общий ресурс
Например, тестируем 2 рекламных алгоритма продвижения объявлений на сайте, реклама для продавцов платная. Сделали 2 группы покупателей, одним будут показывать объявления нового алгоритма, другой старого.

Даже если алгоритмы работают на разных группах покупателей, бюджет у риэлтора или агентства общий. Контрольный алгоритм может выесть большую часть бюджета в одно время суток, и тестовый окажется в условиях дефицита ресурса. Тогда мы измеряем не качество алгоритма, а последствия конкуренции за бюджет.

В таких ситуациях мы не можем просто запустить классический АБ тест, т.к. нарушается важно предположение о независимости, поэтому требуются другие планы экспериментов, которые бы позволили изолировать тестовое влияние от контроля.

P.S Сегодня стартует мой курс по АБ тестам, еще есть время успеть, пишите @borzilo_y