Через час, в 19.00 мск, начинаем эфир с Антоном. Стримить будем по ссылке https://xn--r1a.website/y_borzilo/959 Приходите)

Мы стартанули https://xn--r1a.website/y_borzilo/959

Вот сюда идемте https://telemost.yandex.ru/j/27862974077450

Наш вчерашний стрим с Антоном. Сорри за технические накладки, к сожалению не всем удалось попасть на стрим

Марафон АБ тестов - 3 поток. Запись открыта ✅

В марте будет 3 поток марафона АБ тестов, 10-23 марта. В марафоне подробно разберем весь флоу АБ теста от поиска точки роста до принятия решения по результатам АБ.

1. Решим кейс по оценке юнит-экономики интернет магазина
2. Проведем сегментацию и построим воронки
3. Найдем точку роста
4. Проанализируем метрики и сформулируем гипотезы
5. Задизайним, провалидируем и оценим АБ тест с конверсией

Половина мест на 3 поток уже занята ребятами из предзаписи. На второй поток я даже не успел открыть запись, т.к. он набрался вместе с первым. Программа рассчитана на людей с нулевым и начальным уровнем в АБ тестах.

Программа на 14 дней, интенсивная, заниматься нужно каждый день, но сделана так чтобы человек мог совмещать с работой, в день потребуется около 15-90 минут. Будет 7 небольших теоретических занятий по 15-40 мин в записи, без воды и 5 ДЗ, которые буду проверять лично я.

➡️ Подробная программа и цены здесь

Залетай пока места остались. Пиши мне @borzilo_y

Чувствуете чем пахнет?🧐

Это весенний найм готовится ворваться вместе с мартом. Компании расчехляют позиции, а соискатели обновляют резюме.

У меня на марафоне АБ тестов большая часть студентов - это действующие аналитики, у которых не было практики в АБ, но они хотят в продукт.

Также есть продакты, маркетологи, которые пришли прокачать базу по АБ тестированию, даже есть продуктовые дизайнеры, т.к. их теперь тоже спрашивают за АБ тесты.

Один из частых вопросов на собеседовании это "расскажи по этапам как проводится АБ тест". Зачастую уже на этом вопросе многие кандидаты сыпятся, т.к. у них не было опыта в АБ.

В марафоне АБ тестов мы на конкретном примере пройдем весь путь работы с АБ тестом. Марафон не сделает из вас гуру АБ тестов или экспертом по статистике, но вы получите понимание стандартного процесса АБ тестирования. Потом на эту базу вы сможете легко добрать разные нюансы.

Марафон будет проходить 10-23 марта, можно успеть получить знания и уже в апреле выдавать уверенную базу по АБ тестам на собесах.

➡️ Подробная программа и цены здесь

Залетай пока места остались. Пиши мне @borzilo_y🧐

Жахнуть стат критерий - это не АБ тест 🤌

Пока я не занимался АБ тестами, я думал, что главное понять "как посчитать стат значимость результата АБ".

Когда я начал делать АБ, то оказалось, что применение стат теста это самая примитивная часть, которая составляет максимум 3% трудозатрат на АБ тест.

Работа над АБ тестом начинается задолго до АБ теста. Сначала нужно понять, а куда нам вообще копать.

Ведь мы можем весь продукт обвешать АБ тестами, потратить время, но никакого результата не получить.

Сначала нужно понять цели бизнеса, понять какие метрики нам нужно бустить для их достижения, найти бутылочное горлышко, которое сдерживает рост. Продиагностировать причины узкого места, сформировать гипотезы и только потом переходить к планированию АБ теста и его проведению.

В марафоне я постарался воплотить этот процесс, чтобы каждый посмотрел на АБ тесты не просто как на "статистический инструмент", а как на инструмент в рамках более глобального процесса развития бизнеса.

Поэтому весь марафон это единый кейс. В нем мы работаем в рамках модели интернет магазина и пытаемся найти способы поднять его доход, а АБ тест это лишь инструмент проверки гипотез, который мы также учимся правильно применять.

Мест с каждым днем становится меньше. Если вы хотите поработать над продуктовым кейсом и укрепить знания в АБ тестировании, то welcome в личку @borzilo_y

У нас в чате зашел спор. Кто должен генерировать гипотезы продакт или аналитик? Как вы считаете? Пишите в комменты

Надеюсь ничьи чувства картинка не оскорбляет, просто смешная😊

Страх ошибок и немного внутрянки марафона АБ

Один из основных страхов тех кто не запускал АБ тесты - "а вдруг я неправильно оценю результаты АБ теста или еще где-то накосячу". И этот страх имеет под собой основания, я знаю около 50 ошибок, которые можно допустим в процессе АБ.

Один из уроков марафона АБ тестов, как раз посвящен разбору типичных проблем, которые могут испортить вам результат АБ.

В марафоне АБ у нас есть заранее подготовленный датасет сырых данных, на основе которого мы учимся валидировать результат АБ теста.

Проверяем пропуски в данных, дубли, вычищаем офисные ip адреса, оцениваем дисбаланс выборок и прочее.

Марафон дает понять, что как и везде в работе с данными у вас скорее всего возникнут проблемы и нужно научиться видеть эти проблемы и работать с ними, а не просто лупить стат критерием по данным.

На 3 поток марафона АБ тестов осталось 5 свободных мест, с 3 марта будет повышение цены.

4 поток проводить в ближайшее время не планирую, т.к. уйду на проработку нового курса. Так что кто хотел успевайте, пишите в личку @borzilo_y

АБ марафон поток 2 - финал ⚔️

Буквально только что провел финальный стрим для ребят со 2 потока марафона АБ тестов.

Каждый запуск для меня - это как маленькая жизнь. Новые люди, ежедневный контакт, ответы на вопросы, проверка домашек.

Хочется чтобы каждый смог забрать с марафона как можно больше знаний и навыков.

Хочется чтобы АБ тест из непонятного набора шагов в голове слушателя превратился в стройную систему логичных действий после прохождения программы.

На своей программе я стараюсь все упрощать и сделать интерактивным, чтобы каждый мог буквально пощупать АБ тест, понять процесс и взять алгоритм в реальную практику.

Через 7 дней, 10 марта стартует 3 поток марафона АБ тестов, на него осталось буквально несколько мест. Если хочешь успеть, то пиши мне @borzilo_y

P.S. Сегодня последний день ранней цены, завтра цена вырастет на 5000р

5 реальных причин SRM с которыми я сталкивался на практике

Если не знаете что такое SRM,то читайте эти статьи

https://xn--r1a.website/y_borzilo/398
https://xn--r1a.website/y_borzilo/541
https://xn--r1a.website/y_borzilo/546

А теперь перейдем к практическому опыту

1. SRM из-за отличия в скорости загрузки страниц
Если у вас трекинг попадания пользователя происходит на фронте, т.е. в браузере и скорость загрузки контроля и теста будет сильно отличаться, то часть пользователей медленной страницы могут не дождаться её прогрузки и событие аб теста не успеет улететь в веб-аналитику.

Т.е. по части пользователей не будет никаких данных в логах и из-за этого мы будем видеть, что в одной группе значимо больше пользователей, чем в другой.

2. SRM из-за ошибок в отчетности
Я делал отчет для контроля АБ тестов и тестировал его на "стерильных АБ тестах", где была очень маленькая доля пользователей < 0.001% которые попадали в 2 варианта АБ теста и это никак не аффектило на SRM.

Но потом оказалось, что есть небольшая доля АБ тестов, в которых 0,5% пользователей попадает в несколько вариантов АБ теста и в таких АБ тестах мы выявляли SRM.

Оказалось, что когда я писал скрипт для отчета, то сделал так что всем пользователям, которые попадали в несколько вариантов в скрипте по итогу присваивался контроль.

Почти на всех АБ тестах доля тех кто попадал в 2 варианта эксперимента была очень маленькая и там это ни на что не влияло, а там где было около 0,5% пользователей попадающих в 2 варианта, такой расчет вызывал SRM

3. SRM из-за кук предыдущих экспериментов
В одной из платформ АБ тестов с которой я работал мы постоянно ловили дисбаланс выборок. В контроль всегда попадало больше пользователей чем в тест.

Оказалось, что платформа работает следующим образом: например был запущен АБ тест, его завершили, потом запустили новый АБ тест и если пользователь из контрольной группы старого АБ теста возвращался и попадал в новый эксперимент, то его относили к контрольной группе.

Т.е. он не проходил по новой процесс определения варианта в рамках нового АБ теста. Отсюда возникал дисбаланс и контрольная группа всегда получалась больше чем тестовая.

4. SRM из-за редиректов
Этот вариант перекликается с 1 вариантом. Существую схемы организации экспериментов когда пользователь приходит на страницу с экспериментом, сплитование происходит на стороне браузера после определения варианта к которому будет отнесен пользователь если выпал контроль, то продолжают загрузку текущей страницы, а если выпал тест, то пользователя с текущей страницы перенаправляют на другой url адрес.

Как правило редирект занимает какое-то время и тестовая страница грузится дольше чем контрольная и у части пользователей тестового варианта страница не успевает прогрузиться и не успевает улететь событие веб-аналитики в систему трекинга

5. SRM из-за сэмплирования
Системы веб-аналитики, да и некоторые СУБД имеют алгоритм сэмплирования. Это когда берется только часть данных и по ним оценивается реальное число.

Например, у вас по 50000 пользователей в каждом варианте, но включено сэмплирование и система берет 1000 из одного варианта, 800 из другого, по своим алгоритмам определяет "истинное" число.

Потом система вам говорит, что в одном варианте 50000 пользователей, а в другом 48000 пользователей. Вы получаете дисбаланс там где его нет, просто в силу того что в системе работает сэмплирование.

Напоследок напомню, что через 5 дней стартует марафон АБ тестов, где мы тоже будем учиться работать с SRM и другим особенностям АБ

Чем отличается АБ тест и пилотный эксперимент?

АБ тест
АБ тест проводится тогда когда у нас есть некоторый предмет, который мы хотим изменить и посмотреть как изменится эффект от него (метрики). Например есть страница на сайте с формой сбора контактов, сделали копию страницы и новую форму, запускаем АБ тест с 2 версиями страницы и сравниваем метрики по вариантам. Думаю тут всем все понятно.

Пилотный эксперимент
Пилот - это запуск какого-то абсолютно нового, продукта, проекта, функциональности, которой раньше не существовало.

Например, работал бизнес всю жизнь в оффлайне, но решил, что надо попробовать привлекать клиентов онлайн. Запустили сайт, у нас нет другого сайта, который мы можем поставить в АБ тест, чтобы сравнить их эффективность.

Задача пилотного эксперимента - оценка реальности. Обычно у нас есть некоторые ожидания как наш новый сайт/продукт/etc буду вести себя в реальных условиях. Под ожиданиями я имею в виду метрики.

Обычно когда запускают новый онлайн-продукт заранее просчитывают разные модели юнит-экономики, при которых мы будем зарабатывать или получим убыток. Но это только модели мы не знаем как на самом деле отреагирует рынок на то что мы сделали, вот тут и нужен пилотный запуск (эксперимент).

Наша задача во время пилотного запуска показать наш продукт целевой аудитории (привлечь трафик). Собрать определенную выборку для того чтобы с определенной точностью оценить метрики, которые мы потом сможем сравнить с метриками заранее просчитанных моделей юнит-экономики и понять стоит ли нам масштабировать продукт в текущем виде или нам нужно что-то переделать.

При пилотных запусках также как и при АБ тестах важно правильно выбрать релевантную аудиторию и создать репрезентативную выборку. Вы можете создать реально классный продукт и правильно его позиционировать, но если привлечете нецелевую аудиторию, то метрики вам скажут что ваша продукт убыточен.

Кроме этого важно помнить, что метрики, которые мы видим - это оценки, а не истинные значения генеральной совокупности. Поэтому важно помнить, что почти любая метрика обладает дисперсией, а значит у нас всегда будет ошибка при оценке.

Чтобы минимизировать ошибку нам нужны выборки определенного размера, на которых мы сможем достаточно точно оценить истинные значения этих метрик, чтобы сделать вывод о эффективности нашей модели экономики.

Дисперсия - священная корова АБ тестов 🐮
Хочу начать небольшой цикл статей про дисперсию. Сегодня хочу дать интуитивное понимание, что это такое и почему она так важна в контексте АБ тестов.

Начнем с примера. Вот у нас есть интернет магазин где пользователи совершают покупки и мы решили провести АБ тест формы оформления заказа. Вариант А - длинная форма заказа, вариант Б- короткая форма заказа

В итоге собрали выборки пользователей по суммам их заказов

Вариант А: 500, 0, 700, 0, 1000, 0, 1200 - среднее 485,7
Вариант Б: 3000, 800, 200, 0, 500, 0, 0 - среднее 642,85

Если посмотреть просто на выборки, то мы можем сказать, что среднее значение выборки Б больше А. В АБ тесте хотя мы и собираем выборки нас не интересует вопрос среднее какой из выборок больше.

Нас интересует другой вопрос, среднее в генеральной совокупности для какого из вариантов больше? Т.е. нас интересует, вот если бы мы могли взять собрать и замерить покупки всех возможных потенциальных пользователей сайта, то средняя сумма покупки в каком варианте была бы больше?

Но тут встают 2 проблемы
1. Мы не можем собрать всех потенциальных пользователей и оценить по ним метрику.
Т.к. это зачастую просто не реально, мы не можем дотянуться до всех.

2. Полученный набор значений в выборке может плохо отражать реальную ситуацию(среднее) в ГС.
Например, если бы мы провели эксперимент повторно и набирали бы выборки из той же самой ГС, то могли получить какие-то другие значения в выборках

Например
Вариант А: 300, 400, 3000, 0, 100, 600, 500 - среднее 700
Вариант Б: 0, 200, 900, 700, 2000, 0, 0 - среднее 542

Теперь среднее выборки А получилось больше чем Б, хотя мы брали данные из той же генеральной совокупности. Почему выборки взятые из одной и той же ГС могут отличаться?

1 - В силу того что мы случайно отбираем пользователей в группы и вот чисто в силу случая в одну выборку попало больше тех кто заплатил больше.
2 - Дисперсия. Это мера разброса(изменчивости) значений метрики.

Представим, что мы проводим АБ тест и знаем, что если мы покажем вариант А, то все будут покупать на 100, а если вариант Б то на 200.

Вариант А: 100, 100, 100, 100, 100, 100, 100 - среднее 100
Вариант Б: 200, 200, 200, 200, 200, 200, 200 - среднее 200

В данном случае у нас дисперсия будет равна 0. Т.е. нет никакой изменчивости по наблюдениям, они все одинаковы в рамках выборок и ГС.

Если бы мы знали, что у метрики нет никакой изменчивости, т.е. все значения наблюдений будут одинаковыми, то тогда бы нам и АБ тест в принципе был не нужен.

Мы могли бы получить просто по 1 значению в каждый из вариантов и тот в котором это наблюдение будет больше тот вариант и лучше, т.к. мы знаем что все остальные наблюдения и все значения в ГС будут точно такими же.

Но в реальности у нас всегда есть дисперсия, т.е. изменчивость значений и чем больше значения отличаются между собой внутри выборок, тем сложнее нам на глаз определить, а есть ли разница между выборками и экстраполировать этот вывод на ГС.

Дорогие девушки! С праздником 8 марта. В этот день не думайте про АБ тесты и аналитику. Посвятите день отдыху и заботе о себе. SQL, python, дашборды никуда не денутся. С праздником💐💐💐

Стартанули сегодня 3 поток марафона АБ тестов

Будем решать кейс по поиску точки роста в интернет магазине.

Анализировать метрики, планировать АБ тест, искать ошибки в данных и подводить итоги эксперимента.

Если кто-то из тех кто записывался потерялся, то напишите мне пожалуйста @borzilo_y

Напомню, что у нас есть уютный чат где обсуждается много интересных тем, вот из последнего

1. Догфудинг - исследования для бедных
2. АБ тесты не нужны - разгоняем холивар по высказыванию главы гроухака revolut
3. Хороший продукт - работает сразу, остальное скорее всего мишура
4. Пятерочко-дни как базис наблюдения для оффлайн экспериментов в магазинах

Присоединяйся и дай волю своему батхерту, если что-то из тем тебя задело https://xn--r1a.website/bor_chat