❓ Как смотреть метрики А/В, если фичи нет в контроле?

Ситуация: вы хотите провести А/В на совершенно новую фичу. Т. е. не на изменение существующей.

Например, хотите оценить влияние от внедрения рекомендательного блока в корзине. Или от введения еще одного варианта тарифа по подписке.

В качестве ключевой метрики эксперимента в таких случаях часто хочется взять метрику про фичу. К примеру, долю купленных товаров по рекомендательному блоку или конверсию в оформление подписки по новому тарифу.

Но вот проблема: эта метрика характерна только для тестовой группы. Фичи раньше не было, сравнивать не с чем – мы не можем посчитать значение метрики для контрольной группы.

Что же делать?

1️⃣ Брать в качестве ключевой метрики ту, которая «есть» и в тесте, и в контроле. При этом отталкиваться от решаемой проблематики.

Тот же рекомендационный блок вводится не просто ради качественных рекомендаций. Он наверняка нужен для повышения среднего чека заказа. Так же и в новом варианте тарифа по подписке – растим благодаря нему ARPU или LTV, а не просто вовлекаем в новый тариф.

2️⃣ Брать метрики взаимодействия с новой фичей как информационные.

Да, они будут только для тестовой группы, и с контролем их будет не сравнить. Но они покажут, как пользователи взаимодействуют с фичей, и насколько хорошо она решает поставленную задачу. Это даст основу для новых гипотез.

И пусть подобные эксперименты не вызывают у вас затруднений.)

#абтесты

🎣 Как вас «подлавливают» на собеседованиях

Пять лет назад я прошёл тренинг по проведению собеседований. Там учили задавать вопросы так, чтобы человек раскрывался сам. С тех пор я везде их замечаю. И да, техника до сих пор работает.

Вам попадались вопросы вроде:

-> «Почему аналитики выгорают на работе?»
-> «Почему хорошие специалисты уходят из компаний?»
-> «Как выглядит идеальная команда?»
-> «Почему человек меняет профессию?»

Это – проективные вопросы. Интервьюер просит вас говорить «про кого-то», чтобы увидеть ваши реальные убеждения за занавеской подготовленных социально-одобряемых ответов.

Секрет – в формулировке вопроса:

❌ Прямой: «Как ты строишь отношения и работу с командой?»
✅ Проективный: «Почему кто-то не может работать в команде?»

Чтобы ответить на проективный вопрос, действуйте в четыре шага:

1. Поймите, что проверяют – мотивацию, слабые стороны, опыт;
2. Сформулируйте позицию: 1–2 ключевые мысли;
3. Подкрепите кейсом из опыта: контекст -> действие -> результат;
4. Свяжите с ролью: как это поможет именно на этой позиции.

❓ «Как думаешь, почему хорошие аналитики уходят из компаний?»

✅ Пример хорошего ответа:

«Чаще всего из-за несоответствия ожиданий. Человек приходит делать A/B-тесты и развиваться, а вместо этого тонет в ad-hoc'ах и "пожарах".

Ещё одна причина – отсутствие прозрачности: непонятно, зачем мы что-то делаем, результат не виден.

Я сам был в ситуации, когда команда не понимала, зачем проводит исследования – мотивация падала. Я предложил продакт-менеджерам короткие демо по итогам спринтов: показывали, как инсайты влияют на продукт. Через месяц вовлечённость выросла, обсуждения стали предметнее.

Поэтому я считаю, что хорошие аналитики остаются там, где видят смысл, влияние на продукт и траекторию роста – а не просто закрывают задачки»

Это сильный ответ, потому что показывает рефлексию, опыт, инициативность и зрелость. И нет обвинений – есть решения.

С моих собесов меня больше всего зацепили вопросы:

-> «Если бы ты попросил фидбэк у руководителя, какие 3 точки роста он бы назвал?»
-> «На какое место в топе по перформансу поставил бы тебя C-level и почему?»

Если теперь тоже распознаёте проективные вопросы, поставьте 🔥. А в комментах поделитесь самым хитрым вопросом, который вам задавали — разберём его вместе.

🚀 No Data No Jobs – первая 1000 подписчиков!

Я часто слышу от тех, кто активно ищет работу, что вакансий на продуктовых аналитиков толком нет. В то же время, у меня много знакомых руководителей, которые говорят, что никак не могут найти продуктовых аналитиков к себе в команду. При этом часть из них ищет пачками (сразу по 5+ человек). Парадокс?

Конечно, на подавляющее большинство вакансий компании хотят специалистов с опытом. Чтобы они пришли и сразу хорошо закрывали задачи. А если размещается вакансия на джуна, то требования и отбор на них такие, что порой проще пройти сразу на позицию мидла. Про стажера и вовсе молчу.

Но правда в том, что это не значит, что хороших вакансий нет.

Да, вакансии джунов – редкость. Но они есть. А с должными скиллами даже после курсов можно соответствовать ожиданиям на мидла, в чем я лично убеждался. И хоть мидлам / сеньорам легче найти позицию, они также ищут для себя не первый попавшийся, а хороший вариант. А для лидов и выше хорошие возможности появляются не часто.

Чтобы помочь соединять крутых кандидатов и позиции, месяц назад я создал канал с позициями для продуктовых аналитиков No Data No Jobs. И нас уже больше тысячи!

No Data No Jobs – это канал, где я каждый будний день публикую 2-3 интересные вакансии из своего нетворка. А каждый понедельник – подборку вакансий за неделю. Все ради сообщений, как в первом комментарии к этому посту.

Большинство вакансий идут с прямыми контактами рекрутеров / нанимающих менеджеров. Можно задать вопросы или откликнуться напрямую. Иногда получается указать фактическую вилку.

Не важно, активно ты ищешь позицию или пассивно мониторишь рынок, уверен, что в канале будешь находить для себя хорошие возможности:

🔗 https://xn--r1a.website/nodatanojobs

P. S. А если ты нанимающий менеджер или рекрутер, и ищешь к себе в команду продуктовых аналитиков, я с радостью размещу вакансии в канале. Смело пиши мне напрямую: @pbukhtik.

⏱ Как перестать тонуть в задачах и дедлайнах

И нет, дело не в тайм-менеджменте.

До боли знакомый сценарий: человек соглашается на каждое «поможешь?», берёт на себя чужие задачи, вытягивает дедлайны на голом энтузиазме. И так до тех пор, пока сил уже не остается.

С одной стороны, так действительно можно набраться разного опыта в сжатые сроки и научиться работать под давлением. Но объективно, это приводит лишь к выгоранию в долгосрочной перспективе. Особенно если вам уже не нравится ни компания, ни задачи. А вы хотите спокойно доработать и уйти в другое место.

Самый полезный навык в работе – не «всё тянуть», а отказываться от лишнего. Защищать границы куда сложнее, чем хвататься за все подряд.

Что делать? Использовать «пушбэк». Всё, что не влезает в рабочий день / спринт, должно проходить через жесткий фильтр. Вот мои приёмы:

🔸 Сказать «Нет» и предложить альтернативу: сдвиг сроков, снятие задач, другое временное окно;

🔸 Зафиксировать приоритеты через того, кто их реально выставляет: «Что делаем первым? Остальное ставлю на паузу»;

🔸 Предложить самопомощь вместо того, чтобы за ручку вести коллег по задачам: «Дам шаги – сделаешь сам(а)»;

🔸 Отвечать коротко и без оправданий. Пара предложений, без «потому что» и лишних извинений. Это всего лишь рабочий момент.

Если не пушбечить, вас будут грузить задачами до тех пор, пока вы физически не перестанете вывозить объем. И поверьте, от вашего «Нет» вас не уволят, а компания не развалится. Наоборот, качество работы повысится, а фокус будет держаться на главном.

Бывало, что на вас взваливали больше, чем вы можете? Какие ваши рабочие приёмы помогают держать границы?

🏗 Краткий гайд по выбору А/В платформы

За свою карьеру я написал две «А/В платформы». В кавычках, потому что хоть они и закрывали потребности в нужном объеме, это были написанные на коленке решения.

«Изобретал велосипеды», можно сказать сейчас. Но еще 5 лет назад выбор был между «плати кучу денег» и «пиши свою». Сейчас, к счастью, помимо написания своей, можно выбрать из большого разнообразия как платных, так и бесплатных решений.

Вот 4 ключевых вопроса, на которые нужно дать ответ, чтобы понять, какой выбор подходит именно вам:

1️⃣ Планируется ли больше 12 А/В в команде в ближайший год?

Если у вас мало экспериментов – вам не нужна А/В платформа.

А/В платформа – это в первую очередь про масштабирование А/В. Ее внедрение само по себе не добавит экспертизы, не выявит ошибки в методологии, не решит проблем с данными и не повысит культуру менеджмента по работе с экспериментами.

Научитесь качественно проводить эксперименты вручную и нарастите их количество. После – возвращайтесь к выбору.

2️⃣ Есть ли у вас деньги?

Если вы не готовы тратиться, Open Source – ваш выбор.

К счатью, сейчас на рынке есть отличное решение – GrowthBook. Оно в полной мере закрывает даже высокие потребности и практически ничем не уступает платным аналогам.

Мне довелось развернуть эту платформу в нескольких компаниях. Работа с ней и у компании и у меня вызывала только восторг.

Из альтернатив: Unleash, Flagsmith

3️⃣ Есть ли нестандартные требования к анализу, безопасности, интеграциям?

Если у вас нет экстравагантных потребностей (или вы еще о них не знаете) – вам подойдет платное решение (облачное или self-hosted).

Конкретное решение будет зависеть от вашего рынка, необходимых интеграций и фич. Из популярных: Optimizely, VWO, ABTasty, Kameleoon, Trisigma, Statsig.

Вместе с готовым решением в комплекте часто идет экспертиза – поддержка, тренинги, пилотные проекты и даже аутсорс/аутстафф. При быстром росте продукта – сфокусироваться на бизнесе может быть хорошим решением.

4️⃣ Есть ли у вас экспертиза для построения А/В платформы?

Если еще нет – открывайте вакансии, специалисты вам пригодятся.

И как итог, свою A/B-платформу имеет смысл делать, когда у вас есть:

1) объём экспериментов и трафик, оправдывающие затраты;

2) нестандартные требования к анализу/безопасности/интеграциям, которые не закрывают готовые решения;

3) команда, способную поддерживать продукт как долгоживущий внутренний сервис, и деньги на нее.

---

Уверен, что теперь вам будет проще сделать выбор: строить свою, брать Open Source или покупать A/B-платформу 🐋

#абтесты

🎁 Конкурс на оффлайн билеты на Матемаркетинг'25!

20-21 ноября, как и каждый год, пройдет крупнейшая в России ежегодная конференция по продуктовой аналитике Матемаркетинг'25.

В прошлом году я выступал на онлайн части конференции, так как продолбал все сроки подачи доклада. В этом году я подошел к вопросу (чуть) более ответственно. Поэтому наконец-то буду выступать оффлайн! 🎉

Тема доклада будет посвящена повышению «полезности» каждого конкретного проводимого А/В эксперимента.

В связи с моим оффлайн участием, Алексей Никушин (создатель конференции) выделил на розыгрыш 2 оффлайн проходки. И сегодня я хочу разыграть их среди подписчиков.

Прямо сейчас команда Матемаркетинга активно готовится к проведению конференции. Совместно с брендом Remarklee они создают брендированные ежедневники для спикеров мероприятия. В него хотят добавить лист с «Булшит-Бинго Аналитиков», где будут все заезжанные фразы аналитиков любого порядка.

Давайте поможем организаторам и набросаем идеи фраз для бинго в комментариях!

В течение 48 часов, мы вместе с Алексеем отберем лучшие 15 фраз. Два победителя, чьи фразы мне понравятся больше всего, получат по офлайн-билету и фирменному ежедневнику.

Фразы остальных участников также могут попасть в бинго. Так что чем больше вариантов и чем они заезженнее тем лучше!

Жду ваши варианты фраз в комментариях 👇

🚗 Продуктовый кейс для одного каршеринга

Будучи в Красной Поляне, я не раз сталкивался с глушением мобильной связи и вайфая, который раздавался через мобильный интернет. Работал только домашний Wi-Fi от проводного интернета.

Это выглядит так: ни о чем не подозревая, ты выходишь из дома по делам. И уже вне домашнего вайфая обнаруживаешь, что у тебя нет связи. А в кафе и магазинах не работают даже терминалы.

Последняя такая ситуация произошла в день отъезда, когда нужно было ехать в аэропорт. Забронировав с дома каршеринг, пришли к нему и не смогли открыть. Окей, идём до дома (благо в Поляне все близко) и открываем карш. Но сама машина тоже потеряла сигнал и не может открыться. При этом, пока ты сам через интернет не попробуешь ее открыть, экран открытия по Bluetooth не покажется.

Окей х2, открываем машину по Bluetooth, осталось завести. Без интернета не можем «стартануть» поездку, а без этого не заводится. Опять идём к домашнему интернету. Завели. Едем по оффлайн картам и знакам до аэропорта.

Приезжаем на парковку аэропорта. А сдать машину без интернета не можем. Звоним в поддержку. Спустя 10 минут на линии, сдаем карш через оператора поддержки. Но двери у машины не заблокировались. Поддержка сказала заблокировать двери машины снаружи через окно и призакрыть его.

Пока ждали ответа от поддержки, краем глаза заметили такого же бедолагу на парковке у машины с чемоданом. Когда мы уже собрались уходить, он подошёл к нам и на пальцах объяснил, что не может сдать машину. Он не говорил по-русски и английски (мужчина из Турции). А через 1.5 часа у него международный рейс. Но его спокойствию можно было позавидовать. Он просто стоял и спокойно курил возле машины.) Чисто турецкий вайб.

Бросить мы его не могли. Стали разбираться. У него был интернет, но из-за сбоев GPS, точка машины была в какой-то деревне в горах, вне зоны завершения каршеринга.

Мы позвонили в поддержку от его имени, но так как он не говорит по-русски, без подтверждения личности они ничего сделать не смогли. Написали в чат. Там ответ занял 15 минут. До этого мужчина общался с ботом и не мог перейти на оператора. При этом он писал на английском, а бот отвечал ему на русском 😁

Спустя 20 минут общения с поддержкой через чат, его машину все таки сдали. И они запросили фото. А оказалось, что нельзя прислать фото из галереи по завершению аренды. Скинули фотки просто в чат. На этой ноте попрощались и побежали на свои рейсы.

В этот день мы выехали за 3,5 часа до рейса. И это было очень оправдано. Особенно с учётом того, что на каждом этапе нас ждал какой-то подвох.

Как вы думаете, как каршеринги могут продуктово подойти к описанным проблемам? И как бы вы трекали, насколько распространены эти проблемы?

Интересно услышать ваши мысли в комментариях.) Можем даже устроить эфир с кем-нибудь из продактов / аналитиков каршеринга.)

🎙 Запись мок-интервью на продуктового аналитика в Самокат (кейсы и А/В)

Ольга – аналитик данных с 6+ годами опыта. Её цель: перейти в продуктовую аналитику.

Для достижения цели ей необходимо закрыть брешь в продуктовом мышлении и А/В, а также продемонстировать свои новые навыки на решении продуктовых кейсов на собеседовании.

Сможет ли она получить свой заветный оффер на позицию мидла продуктовой аналитики по итогам тренировочного собеседования?

Ответ вы найдете в видео по ссылке:

🔗 https://youtu.be/6XZ36i_81yc

На этом мок-интервью мы рассмотрели различные кейсы с собеседований по продуктовому мышлению и А/В тестированию на базе Самоката как продукта.

Хотите видеть больше мок-интервью на канале? Тогда поставьте этому посту 🔥

И приятного просмотра!

🎁 Итоги конкурса на оффлайн билеты ММ'25

На прошлой неделе я анонсировал розыгрыш двух оффлайн билетов на Матемаркетинг'25 вместе с фирменными ежедневниками за самые заезжанные фразы аналитиков.

Вы предложили много хороших и смешных цитат в комментариях. И выбрать лучшие из них было непросто. Поэтому вместо 15 фраз получилось 20 😅. Вот финальный список:

1. Это не статзначимо, но на всякий случай посмотрим
2. Не прокрасилось? Давай ещё подержим
3. Странно, я вчера считал, числа другие были
4. Так исторически сложилось
5. На наших графиках всё ок, как вы это считаете?
6. Нужно больше данных
7. Чтобы что? Какую проблему решаем?
8. Просто метрика шумная
9. Это маркетинг привёл плохие лиды
10. Сейчас быстро проверю…
11. Ну, тут либо баг, либо фича
12. Это прокси метрика, не придирайтесь
13. Вчера надо было
14. Похоже на сезонность
15. Это в какой базе лежит?
16. Пофиг, БУТСТРЕП!
17. А если посмотреть в разрезе платформ?
18. Всё равно катим
19. Пороговое значение выбрано на основе интуиции
20. Давайте просто сделаем это в эксель, там всё видно будет

Победителей поручили выбрать мне. Определял я их по следуюшей метрике-доле: количество предложенных человеком фраз, попавших в бинго, от всех 20 итоговых фраз. Фразы могли быть не точными цитатами, но очень близкими по формулировке.

Итак, победители:

1) Vincent (@JailMardock) – 5 из 20 🚀
2) «Аналитика на вырост» (@ashinalieva) – 4 из 20 🎉

Поздравляю! 🥳 В течение пары дней с вами свяжутся организаторы конференции.)

А для всех остальных подписчиков канала согласована скидка 15% на билет на ММ'25 по промокоду NDNG15.

Спасибо большое всем, кто принял участие! И до встречи на конференции.)

🫠 Рынок труда в 2026 будет еще сложнее

Фризы найма, сокращения, отсутствие роста зарплатных вилок при росте цен на все остальное – это с нами уже сейчас.

Следующий год – это удар по IT ростом налогов (отмена льгот, рост НДС и страховых взносов). Нанимать джунов и мидлов станет дороже, оптимизации усилятся. Будет расти спрос на хороших специалистов широкого профиля.

Изменения коснутся всех, кто вынужденно или по своему желанию окажется в поиске. И работа не найдется сама за 2-3 недели, как это было еще пару лет назад. Нужна качественная подготовка к собесам и навыки выделяться среди кандидатов.

Для этого 24 ноября стартует 5-ый поток интенсива по подготовке к собеседованиям.

Этот поток для тех, кто хочет быть готов к весеннему сезону найма или просто быть уверенным в своем завтрашнем дне.

На выходе у вас будет полный комплект выживания:

- умение структурно решать продуктовые кейсы и кейсы на А/В;
- не просто решение SQL-задач, а решение лучше других;
- уверенность в алгоритмах на Python и мат. задачах;
- сильное резюме, самопрезентация и позиционирование.

Хочешь продолжать расти в зарплате даже на сложном рынке?

Оставляй заявку по ссылке:

🔗 https://nodatanogrowth.com/product-analyst-interview

С каждым, кто оставит заявку, я лично созвонюсь на 15 минут. На встрече сориентирую, подходит ли интенсив конкретно в твоей ситуации, а также на какие офферы ты можешь рассчитывать после его прохождения.

🎙 Запись мок-интервью на продуктового аналитика в Skyeng (продуктовые кейсы)

Вы просили – я делаю. Продолжаем серию моков на продуктового аналитика 🔥

Ринат – ведущий менеджер по продажам в команде монетизации Яндекс Еды. Последние 5 лет использует инструменты продуктовой аналитики и аналитики данных в своей работе.

На мок-интервью Ринат проверит свои силы в продуктовом мышлении на базе продукта Skyeng.

Сможет ли он перейти на полностью аналитическую позицию?

Ответ вы найдете в видео по ссылке:

🔗 https://youtu.be/YvIFEYjzkus

Следующий мок будет полностью посвящен А/В. А после него затроним live-кодинг на SQL и Python. Если хотите поучаствовать в моке, пишите мне в личку @pbukhtik.

И приятного просмотра!

📦 Что с продуктом? Duolingo для IT-скиллов – DevLog #3

В августе я делился первыми подробностями о своем продукте: телеграм мини-аппе для изучения профессиональных скиллов через интервальные микрозадания и геймификацию (раз и два).

За это время он претерпел очень много изменений. Если интересно узнать больше, то поставьте 🐳, поделюсь внутрянкой, инсайтами и рефлексией о создании своего продукта.

А сегодня я готов предложить попробовать продукт всем желающим!

📍 Легенда

Вас берут на позицию стажера в консалтинговую компанию, которая помогает продуктам развивать аналитическую культуру. Каждый день к вам приходят коллеги с разными запросами:

- Вадим, CEO (Акула);
- Владимир, тимлид (Волк);
- София, коллега по команде (Сова);
- Тигран, старший продакт (Тигр);
- Гриша, младший продакт (Гиппопотам);
- Алиса, HR BP (Лиса).

📍 Два режима

-> История – это ежедневные прикладные мини-кейсы для инкрементального освоения выбранной темы. Подходит для регулярных занятий по 5-10 мин в день, которые незаметно приведут к экспертизе. Важно! Новая история открывается только на следующий день, после прохождения предыдущей.

-> Аркада – это блиц вопросы. Подходит для интенсивной подготовки к собеседованиям в моменте или просто проверки себя.

📍 Доступные скиллы

- Продуктовое мышление;
- А/Б тестирование;
- Теория вероятностей;
- SQL;
- Python (Pandas).

Аркадный режим пока доступен только для теорвера.

---

По идее, приложение должно выдержать пиковую нагрузку. Но я не настоящий разработчик. И никогда не знаешь наверняка. Поэтому, чтобы снизить риски его падения, я буду постепенно выдавать доступ в течение одного-двух дней.

Чтобы получить доступ, отправьте заявку на вступление в группу:

🔗 https://xn--r1a.website/+J0xSr-7LxaJlNDAy

Как попадете внутрь – в закрепленном сообщении ищите детали по дальнейшим шагам.

Обязательно поделитесь впечатлениями и обратной связью 🔥

🎰 Как прохождение собесов перестало быть лотереей

Раньше я думал, что умею проходить собесы.

Полистал конспекты с курсов, порешал задачи на SQL и Python, повторил статистику, обновил резюме – готов.

Первый собес. Вопросы знакомые, но под другими углами. Отвечал «в целом правильно», а в деталях тонул. Отказ. Записал себе: «подтянуть стат. критерии в А/В». Подтянул.

Второй. Про А/В ничего не было. Зато были продуктовые кейсы. Снова «в целом» ответил, но без конкретики. В конце добили задачей по теорверу – завалил 🫠. Отказали в пользу более опытного кандидата. Добавил ещё пунктов в список.

Третий. Live-coding, таймер, тишина. Сильно волновался. Застрял на corner-кейсе и не довёл задачу до конца. Отказ. Внутри злость: «я же готовился!». Снаружи – всё тот же список «что подтянуть».

Так шло собес за собесом. Я латал дыры, но каждый новый собес подсвечивал новый «пробел дня». В какой-то момент понял: я уже 4 месяца “готовлюсь”, а всё ещё валюсь на первых этапах.

Через полгода я получил оффер. Можно подумать, что это был апогей моей системной подготовки. Но нет – так совпало. И если бы не повезло – снова бы провалился.

Сейчас, спустя 150 пройденных собесов и 700 проведённых как нанимающий менеджер, я понимаю, что в корне неправильно подходил к подготовке. Я пытался испечь синнабон, не зная рецепта. Мне не хватало не «секретного ингредиента», а понимания системы. А ведь можно было просто спросить рецепт у тех, кто уже печёт.

Поэтому я создал интенсив по подготовке к собеседованиям на продуктового аналитика – чтобы вы не проходили через то же самое и не играли в лотерею.

Что внутри:

🔹 Детальный разбор всех видов секций;
🔹 Шаблоны ответов и структуры решений;
🔹 Типовые задачи-ловушки и как их обойти;
🔹 Практика в виде мок интервью для работы со стрессом;
🔹 Домашки с моей личной обратной связью.

Результат:

🔸 Оффер на 30% выше и в 2-3 раза быстрее;
🔸 Не «надеюсь, повезёт», а знаю, что отвечать на каждом этапе.

Пятый поток стартует через неделю. Осталось 16 мест.

Перестань играть в лотерею. Оставь заявку здесь:

🔗 https://nodatanogrowth.com/product-analyst-interview

Собеседования – не испытание удачи. Это навык, которому можно научиться.

🎙 Запись мок-интервью на продуктового аналитика в inDrive (кейсы на А/В)

Егор – старший аналитик данных. Он уже проводит А/В тесты на текущем месте, но хотел бы перейти на позицию продуктового (в идеале – growth) аналитика.

На мок-интервью Егор проверит ширину своих знаний в методологии проведения А/В экспериментов на базе inDrive как продукта.

Запись будет полезна как тем, кто готовится к А/В кейсам для собеседований, так и кто хочет больше узнать о подходах в тестировании.

Ссылка на видео:

🔗 https://youtu.be/0lpzZ0nw6-k

На какую тему хотите следующее мок-интервью? Поставьте посту реакцию:

⛄️ – live-кодинг на SQL;
🎄 – live-кодинг на алгоритмы на Python;
💅 – теория вероятностей и мат. задачи;
🐳 – больше продуктовых кейсов;
✍️ – больше кейсов на А/В.

И приятного просмотра!

⚖️ Как деление 90/10 может убить репрезентативность А/В теста

Предположим, мы хотим протестировать изменение в продукте с помощью А/В теста. Самый быстрый способ набрать выборку нужной мощности – сразу делить трафик 50/50 между A и B.

Но иногда это слишком рискованно: если в тесте окажется баг, мы в моменте поломаем опыт половине аудитории. Поэтому для управления рисками часто делят, например, 90/10.

Статистические критерии не требуют, чтобы A и B были одинакового размера. Но при делении 90/10 тесту нужно значительно больше времени, чтобы набрать ту же мощность при прочих равных, что при 50/50.

Чтобы не ждать вечность, обычно приходят к гибридному варианту – Ramp Up: постепенно наращиваем долю тестовой группы, чтобы ускорить набор данных.

И вот тут появляется соблазн «включить всех» и идти, например, по схеме: 90/10 → 70/30 → 50/50. Т. е. весь трафик участвует в эксперименте, просто меняются доли A и B.

Звучит логично, но есть ловушка 🕸

Если посмотреть на пример из картинки выше, видно, что при таком подходе (см. вариант 1) мы теряем репрезентативность. Доли временных когорт в контроле и тесте не будут совпадать.

Решение – наращивать трафик симметрично (см. вариант 2): 10/10 → 30/30 → 50/50. Т. е. отказаться от части пользователей в начале. Так мы всё ещё управляем рисками (подвергаем изменению лишь небольшую часть пользователей), но при этом сохраняем репрезентативность.

#абтесты