Как оценить свой уровень владения АБ тестами?

Периодически в чате возникают вопросы про то, а какие градации могут быть у аналитиков в плане АБ тестов.
И периодически люди говорят:

Джун. Считает t-test и работает с user-level метриками.

Мидл. Считает bootstrap, cuped, работает с ratio-метриками, через дельта-метод и линеаризацию

Сениор. Применяет sequential testing, causal методы, сетевые эффекты и прочее.

С одной стороны в этом есть часть правды, с другой далеко не вся правда.

Градация системности
Одно дело запомнить методы и формулы и просто понимать дерево решений, когда и что применить.
Другое дело понимать как работает вся система. Т.е. главным фактором для оценки уровня человека в АБ тестах я бы ставил системность.

Джун. Может применить t-test. Знает что-такое p-value и что его нужно сравнить с альфой. Считает, что ARPU и ARPPU примерно одно и то же и можно юзать любой вариант.

Мидл. Понимает почему t-test вообще работает. Как это связано с ЦПТ. Что будет со стандартной ошибкой если увеличится дисперсия. Как систематическая часть дисперсии объясняет поведение пользователя. Понимает, что мощность и альфа это не просто дефолтные 5% и 80%, а что эти параметры реально на что-то влияют.

Сениор. Понимает проблемы Ratio метрик, почему зависимость наблюдений ломает оценку t-test, при наивном подсчете. Видит за формулой дельта метода не просто набор цифр, а логику линейной аппроксимации. Понимает граничные случаи типа проблемы z-test на малых выборках. Понимает связь разных метрик с бизнесом и их ограничения.

Деление выше опять таки условно. Им я хотел показать расширение системности понимания предметной области на разных грейдах. Но это далеко не то же самое, что уметь применить отдельный метод или знать какую-то формулу.

В моем понимании рост грейда в Аб тестах - это расширение понимания системности статистики + умение увязать все это с бизнес задачами и учесть все ограничения, как бизнеса так и статистики, а не про то сколько формул ты запомнил.

Хотел улучшить интуитивное понимание статистики и ему это удалось!

Элмаддин закончил 3 поток курса по АБ тестам. Он уже работает аналитиком. Как и многие он читал "статистику и котики", проходил бесплатные и платные курсы по статистике и АБ тестам, но пазл не складывался.

На курс он пришел с желанием понять, как именно под капотом работает статистический аппарат АБ тестов и получить понятный роадмап проведения АБ тестов.

Вот, что он сказал после прохождения курса

После прохождения курса, чувствую себя очень комфортно на собеседованиях по АБ тестам

Курс сконструирован так чтобы у человека в голове после прохождения курса образовалась система, а не набор разрозненных понятий. Без системного знания невозможно понять статистику интуитивно.

Курс легко совместить с работой, новые знания можно применить сразу, без 3000 запросов в гугл

Также Элмаддин отметил, что курс легко совмещать с работой, т.к. весь материал подан комплексно и не нужно тратить время на "гуглеж" и восполнение дыр в логике.

Правило 3П или как устроен курс?
Хочу немного рассказать о правилах по которым я строю курс, на мой взгляд именно они позволяют сделать курс результативным для студентов. Правило 3П включает в себя 3 понятия: понятность, практичность, полнота.

Понятность
На мой взгляд сложность многих курсов и книг по статистике, в том что они сконцентрированы, на математике и формулах.

Но формула это всего лишь формализованная запись некоторых идей и если ты не знаешь этих идей, то формула всегда будет казаться тебе чем-то странным и абстрактным.

Поэтому я строю свой курс вокруг идей, а только потом естественным образом возникают формулы, как логическое сжатие изученных концепций.

Практичность
Я хочу чтобы человек закончивший курс не просто понимал теорию, но и был готов взять и провести реальный АБ тест. Поэтому на курсе студенты самостоятельно дизайнят АБ тесты, считают результаты АБ тестов.

Полнота
Я стараюсь делать раскрытие каждой концепции логически полным, чтобы человеку меньше требовалось обращаться к сторонним источникам информации.

Ведь люди приходят на курс чтобы получить знания и навыки, а не гуглить 3000 раз, то о чем умолчал преподаватель.

В интернете информации про АБ тесты много, но систему выстроить в голове сложно

Так Николай высказался о своей ситуации с АБ тестами. У него в целом было сомнительное отношение к платным курсам, но попав на обучение он понял преимущества прохождения курса с учителем.

Николай сказал:

Хорошо когда человек глубоко разбирается в теме, ты у него можешь спросить и он тебе простым языком объяснит

Все занятия на курсе проходят в формате живых онлайн лекций. В конце каждой лекции я провожу сессию разбора вопросов на 10-20 минут. Там каждый желающий может задать свои вопросы.

Кроме этого по ходу курса есть 2 отдельных занятия забронированные на сессии вопросов-ответов. Где я готовлю развернутые ответы по вопросам учеников.

Также есть чат где можно задать свои вопросы мне в любой момент прохождения курса и получить персональную обратную связь.

отдельно Николаю понравилось:

Мне очень понравились симуляции в колабе, что можно их покрутить, поменять параметры

Я всегда говорю, что симуляции это один из важных ключей к пониманию статистических концепций и случайных процессов. Поэтому на курсе почти каждый урок мы работаем с разными симуляциями.

Уже совсем скоро, 3 февраля стартует 5 поток курса по АБ тестам, он будет обновленным. Подробнее писал про это здесь

Линейная регрессия, причинно-следственный вывод и АБ тесты

Сегодня хочу поговорить о том в каких кейсах и для чего можно использовать линейную регрессию в контексте АБ и причинных исследований.

1. Прямое измерение эффекта тритмента
Строим регрессию где целевая переменная наша метрика в АБ тесте. В качестве независимой переменной берем факт наличия тритмента. Получаем оценку p-value для различий в целевой метрике между группы и прочие прелести.

2. Контроль переменных для снижения дисперсии
Добавляем в регрессию переменные, которые объясняют часть дисперсии целевой метрики, например сегменты пользователей или историю поведения. Уменьшается стандартная ошибка оценки и как следствие повышается чувствительность теста.

3. Корректировка оценки эффекта из-за нарушения сбалансированности
Если случайная рандомизация не идеально сбалансировала группы по сегментам или важным признакам, можно использовать регрессию для контроля за этими различиями и получить более точную оценку эффекта.

4. Исключение влияния переменных при анализе наблюдательных данных
Если данные не экспериментальные, регрессия помогает выделить чистый эффект интересующего фактора, контролируя влияние «посторонних» переменных.

5. Сравнение различий между группами (Diff-in-Diff)
Линейная регрессия с дамми-переменными позволяет оценить эффект до/после между группами, одновременно учитывая наличие исходной разницы между ними, так что эта разница не искажает оценку эффекта.

6. Оценка взаимодействий между экспериментами
Линейная регрессия с interaction-термами позволяет проверить, одинаково ли варианты одного эксперимента влияют на пользователей в разных контекстах, в частности — при наличии другого эксперимента у этих же пользователей.

Какие еще кейсы вы знаете где можно использовать линейную регрессию?

P.S. На следующей неделе стартует мой курс по АБ тестированию, еще можно успеть https://xn--r1a.website/y_borzilo/1155

Сетевые эффекты в АБ тестах

Представим, что мы играем за аналитика сервиса по продаже недвижимости.

Особенности сервиса в том, что есть 2 стороны риэлторы и собственники жилья - продавцы и покупатели, те кто приходит на сайт присмотреть себе квартиру.

Представим, что у нас появились задачи на проведение АБ тестов, но все осложняют они - сетевые эффекты.

Сетевой эффект - это ситуация, когда поведение или результат одного участника эксперимента зависит от того, что происходит с другими участниками, а не только от того, в какую группу он сам попал.

Особенно часто такая история может происходить когда у нас модель двухстороннего маркетплейса, есть продавцы и покупатели, также сетевые эффекты могут часто быть при попытках тестирования разных аукционов и алгоритмов ранжирования.

Перетекание людей между группами
Например, риэлтор может работать сразу на несколько агентств. Если мы рандомизируем агентства, но даём разные интерфейсы, то он может начать пользоваться тем аккаунтом, где интерфейс удобнее. В итоге контроль загрязняется, и мы нарушаем SUTVA.

Общая лента для покупателей
Мы можем тестировать изменения на стороне риэлторов, дать кому-то "премиум карточки", которые выделяются, но метрику считать на покупателях - например, ctr просмотры карточек.

Проблема в том, что покупатель одновременно видит объекты из теста и контроля. В таком дизайне мы не можем корректно атрибутировать эффект конкретной группе риэлторов, т.к. на клиента влияли сразу карточки 2 групп риэлторов.

Сетевые эффекты через общий ресурс
Например, тестируем 2 рекламных алгоритма продвижения объявлений на сайте, реклама для продавцов платная. Сделали 2 группы покупателей, одним будут показывать объявления нового алгоритма, другой старого.

Даже если алгоритмы работают на разных группах покупателей, бюджет у риэлтора или агентства общий. Контрольный алгоритм может выесть большую часть бюджета в одно время суток, и тестовый окажется в условиях дефицита ресурса. Тогда мы измеряем не качество алгоритма, а последствия конкуренции за бюджет.

В таких ситуациях мы не можем просто запустить классический АБ тест, т.к. нарушается важно предположение о независимости, поэтому требуются другие планы экспериментов, которые бы позволили изолировать тестовое влияние от контроля.

P.S Сегодня стартует мой курс по АБ тестам, еще есть время успеть, пишите @borzilo_y

Оффлайн митап про АБ тесты в Москве

Завидую я Москвичам, у них всякие митапы проходят, я бы сходил, но я не в Москве.

Теперь к сути поста. 19 февраля будет митап, где будут обсуждать AI и его применение к экспериментам)

Организуют митап ребята из Epic Growth и Trisigma. Будет несколько спикеров.

Один из них Виталий Черемисинов, в прошлом году я проводил с ним стрим. Еще будут ребята из "Бургер Кинг", "Гид Дата", "НаПоправку".

Сама встреча бесплатная, но нужна предварительная регистрация, через ботика

Кто пойдет?

Куда катятся аналитические профессии?

Итак давайте поговорим про то куда катится мир аналитических профессий в связи с развитием ИИ. Хочу поделиться некоторым своим виденьем, про то какие навыки будут востребованы и какие разделения могут быть в профессии аналитика.

Навыки, которые обесценятся быстрее всего
Это все, что может быть так или иначе автоматизировано. Большинство кода, который пишут аналитики - это довольно простой код, который не требует проработки архитектуры. Многие LLM уже сейчас довольно хорошо по словесному промпту могут написать рабочий SQL запрос или python код.

Если вы работаете на позиции где сложный код, многоуровневая программная архитектура, много какого-то контекста распределенного между разными людьми и системами и все это как-то надо постоянно доуточнять и согласовывать, то тут конечно сложно будет это все передать на управление LLM. Но это больше похоже на архитектурно-разработческую роль, а не типовую работу аналитика.

Какие роли на мой взгляд будут у аналитиков?

Data-разнорабочий с упряжкой LLM
Человек, который на потоке закрывает большую часть типовых аналитических задач при помощи ИИ. Сделать дашборд, написать запрос, автоматизировать сбор данных, посчитать простой АБ тест. На мой взгляд это будет типичная, самая массовая роль.

Аналитический - спецназ
Это чуваки с компетенциями на стыке понимания бизнес-задач и большого набора прикладных методик анализа данных. Их основная задача - понять как из знаний хранящихся в данных сделать больше денег.

Вроде звучит классно, но на самом деле явного спроса на таких людей сейчас особо нет, да и в целом самих специалистов такого класса очень мало. Но на мой взгляд - это самое интересное направление.

Data - архитектор
Это роль на стыке понимания того как построить data-инфраструктуру в компании. Тут важны будут компетенции менеджера и глубокое понимание технологий, чтобы собрать качественную инфраструктуру и поддерживать ее.

Если подытожить, то кажется, что больше всего будут цениться роли где ты можешь показать реальный импакт в деньгах от своей работы, либо те роли где много постоянно меняющего контекста и много проактивной работы (внедрить, договориться, проконтролировать), которые сложно отдать LLM.

А вы что думаете и куда планируете развиваться?

Ищу работу|Даю работу 👨🏻‍💻

Пока у меня нет новых постов для канала, давайте поможем тем кто ищет работу и тем кто ищет сотрудников.

Те кто ищет работу - кидайте ваше резюме, желаемую должность и краткий рассказ о себе
Те кто нанимает или может зареферить - кидайте описание вакансии и пишите, что готовы зареферить человека или нанять

Аналитический снобизм

1. Мы планировали собрать в выборки по 10000 пользователей, а собрали только по 9990. Это нарушение дизайна АБ теста - мы не можем принять результат.

2. О ужас ты посчитал дисперсию без поправки Бесселя - это не валидный расчет для наших выборок размером 10000

3. Ты оцениваешь 2 метрики в АБ тесте, нужно срочно использовать поправки на множественно сравнение иначе все пропало

4. Ты использовал квантиль 1.96 для расчета ДИ, а вообще то надо было взять квантиль из t-распределения мы же все таки по выборкам считаем

5. О нет, ты применил t-test к конверсионной метрике, надо было использовать z-test proportion.

6. Ты что опять смотрел на АБ тест? - Я же велел не подглядывать😁

Встречались ли вы с аналитическим снобизмом?🤠

Другая сторона барикад от аналитического снобизма

1. Какая разница какую метрику брать для АБ теста. Вот проведем - посмотрим все метрики и будет понятно как принимать решение

2. Какой еще дельта метод? Считай давай конверсию. Какая разница, что сессии, что пользователи, почти одно и то же.

3. Ну вот же, АБ тест провели - стат. значимых отличий нет, давай выкатим новый вариант. Что значит эксперимент мог не обнаружить малые эффекты? А сразу нормальный тест сделать не мог?

4. Ну получилась одна выборка чуть больше другой, у нас так всегда, ничего работаем. А ты мне про какой-то SRM трешь

5. Я дашборд смотрел - там уже два дня стат значимо - останавливай АБ тест

6. Какую выборку надо на АБ тест? - Это ж полгода собирать. А если мощность 20% сделать?🤨

А давайте поговорим про аналитический вайб кодинг?

Расскажите, что уже навайбкодили? Может кто-то свою АБ платформу или трекер событий или BI систему или еще какой-то космолет? Или может вы только за человеческий код?

С Сергеем мы познакомились давно, во времена когда основная аналитическая онлайн тусовка была в facebook, а не в телеграме.

Сергей специализируется на внедрении сквозной аналитики для бизнеса и возглавляет агентство "Dopamine analytics". Недавно среди их продуктов появилась аналитическая система "Динамика" и я хочу выяснить, что это за система и в чем ее особенности, поэтому провожу стрим)

Вопросы, которые планируем обсудить:
1. Что такое система аналитики динамика?
2. Зачем рынку еще одна система аналитики?
3. Из каких компонентов состоит?
4. Почему нужно пользоваться вашей системой, а не просто постхогом?
5. На какие компании ориентирована система?
6. Как работает кросс-девайсный трекинг?
7. Что умеет в плане АБ тестов?

Если у вас есть вопросы, то пишите в комменты. Стрим будет сегодня, 4 марта, в 13.00 мск, в толке, вот ссылочка https://dpmn.ktalk.ru/c193w15nkfh6

Мы начинаем) Заходите)

Пересобрал свой реестр с ошибками в АБ тестировании, добавил новых ошибок и описание того "как исправить ошибку". Теперь в реестре 55 ошибок АБ тестирования. Вот ссылочка можете прочекать свои АБ тесты на предмет ошибок или если если вы знаете еще какие-то ошибки, то можете написать мне. Если не согласны с ошибкой, то тоже пишите))

Всем привет! Давно не общались. У нас на курсе сегодня 15 занятие, будем говорить про методы снижения дисперсии, 7 апреля заканчиваю вести 5 поток курса. Потом планирую устроить себе отпуск. Начал снова худеть, а то за зиму наел +10 кг. У вас что нового?🙂

Что там на рынке аналитиков?

Недавно у NEWHR вышло мое любимое "исследование рынка аналитиков". Они его проводят каждый год и делятся с нами, за что всей команде отдельный респект! Ниже некоторые наблюдения по исследованию

Чего хотят аналитики от работы?
Интересных задач и много денег. Впрочем ничего нового, думаю любой нормальный человек хочет этого от работы. Как говорил один мой начальник, отдел аналитики - это такой отдел, которому надо платить много денег и не трогать. Хорошее высказывание😁

Сколько времени занимает поиск работы у аналитиков?
Судя по исследованию почти 77% аналитиков находят работу в срок до 3 месяцев. Судя по плачу на линкедыне я думал сейчас это происходит гораздо дольше, а оказывается за 3 месяца находят, а 33% вообще укладываются в 1 месяц

Что такое аналитическая культура для аналитика?
Влияние аналитики на бизнес, современный аналитический стек, доступность и качество данных. Соглашусь со всеми этими пунктами

Что по зарплатам?
Продуктовые аналитики зарабатываю: мидлы 250-300к, сеньоры около 300-400к, принципалы 400-500к. В целом выглядит не плохо, но на фоне темпов роста цен в стране конечно хотелось бы больше. По субъективным ощущения за последние 4 года стоимость жизни выросла в 2-2.5 раза, а рост средних ЗП составил 1.5-1.8 раз

Полное исследование доступно по ссылке

А вы уже читали исследование? Довольны своим местом работы и текущим доходом?

Странно, на почту пришло письмо с благодарностью за отклик в Plata на позицию аналитика. Хотя я никуда нигде не откликался) Как такое может быть?