🧾В 2023 году Optimizely выпустила большой отчет (60 страниц!) проанализировав 127k+ реальных экспериментов за 5 лет - результаты получились очень интересными.

Ключевой факт:

👉 только ~12% экспериментов выигрывают по основной метрике. 88% тестов - не дают статзначимого улучшения.

Еще несколько важных выводов из исследования:

🔹 Скорость ≠ эффективность
Медианная компания запускает ~34 теста в год. Топ-3% компаний - 500+ тестов в год.
Но сами по себе больше тестов не делают команду лучше - без изменения системы результат не растёт.

🔹 A/B - не потолок -> A/B/C/D
Менее 10% тестов проверяют 4+ варианта, но именно такие эксперименты дают в 2-3 раза больший импакт, чем классический A/B.

🔹 Сложные изменения выигрывают
Эксперименты с несколькими изменениями (UX + логика + контент)
значительно эффективнее косметических правок.

🔹 Ранние метрики недооценены
90% тестов крутятся вокруг revenue, CTA и checkout.
Но поисковое поведение, add-to-cart, регистрация дают больший ожидаемый эффект - и почти не тестируются.

🔹 Персонализация работает
Таргетированные эксперименты дают +41% expected impact
по сравнению с общими изменениями.

🔹 Выигрыш усыхает со временем
Большинство uplift'ов падают до ~80% за год.
Исключение - revenue, он сохраняет ~91%.
➡️ регрессия к среднему - реальность.


Итак, экспериментирование - это не про выигрывать чаще. Это про строить систему, которая допускает ошибки,
поощряет риск и максимизирует ожидаемую ценность, а не vanity-метрики.

А теперь взгляните на себя через призму этого бенчмарка по экспериментам. Где вы находитесь?


CRO & Personalization 🤭

⏰ Давным-давно - на закате моей карьеры в М.Видео- я попал на собеседование во впрок.

Оно было на продуктовую роль на PIM. Не вспомню уже, кто меня рекомендовал, но разговор в итоге вышел честным.


К тому моменту я только познакомился с Jakub Linowski из GoodUI и буквально взахлёб поглощал всё, что было связано с экспериментами и A/B-тестированием. Мы поговорили с Артёмом, нанимающим менеджером, и довольно быстро оба поняли: моя сильная сторона не здесь. Вернись я тогда на PIM - скорее всего, просто задохнулся бы.

На прощание Артём рассказал историю.

Когда он работал в Hoff, они пригласили внешнего эксперта - некого Виталия Черемисинова - чтобы проверить результаты A/B-теста. Артём пообещал поделиться со мной материалами. Я, в свою очередь, пообещал помочь с хорошим кандидатом.

Мы разошлись.

Он сдержал слово - прислал материалы.

Я сдержал своё - дал кандидата, которого в итоге взяли.


Так я "познакомился" с Виталием. Заочно. Виртуально. Сам Виталий об этом, разумеется, не знал.


Я внимательно изучил все PDF. И - если быть честным - не понял почти ничего.

Но я влюбился. В формулы. В графики. В сухую, почти жестокую логику статистики.


Особенно в один документ - про мощность теста. Самую недооценённую и при этом самую важную метрику в A/B-тестировании. Поверьте, мне за неё доставалось. Лично. От Рона Кохави. Этим pdf файлом теперь я делюсь с вами.

Тогда я поставил себе цель:

разобраться в этой магии и однажды познакомиться с Витом лично.

Прошло пять-шесть лет.

Я действительно разобрался в A/B-тестировании.

И мы с Виталием теперь знакомы.


Иногда путь к людям и знаниям длиннее, чем кажется. Но он почти всегда логичен - если идти по-настоящему своим направлением.


Мечтайте. Верьте в странные, неочевидные цели.

Это работает.


P.S. У Виталия недавно появился собственный канал. Я, кажется, был там шестым подписчиком. Это как раз тот редкий случай, когда стоит следить с самого начала.


CRO & Personalization 🐱

📸 Запись вебинара с Анной Амброзевич - про продуктивность и цифровой офис

В этом месяце в рамках моих ежемесячных встреч с экспертами у нас была Анна @annaambr - эксперт по продуктивности и технологиям с 15+ лет опыта в корпорациях и консалтинге.

Анна рассказала:
🥹почему продуктивность ≠ работа 24/7
🥹 как выстроить цифровой офис, который помогает, а не мешает
🥹 работа с информацией, коммуникациями и временем как с единой системой
🥹 фокус, Zero Inbox, аудит инфопотоков и подписок
🥹 как подстроить продуктивность под себя и свои биоритмы

Много практики, конкретных инструментов и честных выводов без универсальных «серебряных пуль».

Приятного и полезного просмотра 🙌

CRO & Personalization 🧸

☺️ Insider🌟: рост ритейла через персонализацию.

🌟Insider- это платформа для персонализации и взаимодействия с клиентами, которая помогает бизнесу повышать конверсию и лояльность.

В 2000 году Джефф Безос сказал:

Если у нас 4,5 млн клиентов - у нас должно быть 4,5 млн магазинов.

И вот через 25 лет, сегодня:

🔷63% пользователей не купят, если персонализация слабая
🔷72% ждут, что бренд поможет найти подходящий продукт
🔷рост лояльности всего на 5% может дать +25% к прибыли


Теперь персонализация - это не баннеры и не рекомендации ради рекомендаций.

Это единый клиентский опыт, построенный на данных и работающий во всех каналах.

Что действительно работает у ритейла:

💠360° профиль клиента (онлайн + офлайн поведение)
💠 Рекомендации на основе намерений, а не только истории покупок
💠 Поиск, который подстраивается под конкретного пользователя
💠 Zero-party data (квизы, сторис, интерактивные email)
💠 Персональные офферы вместо массовых скидок
💠 WhatsApp / App Push как каналы продаж, а не "уведомления"


📈 В отчете вы узнаете:

💠 Как увеличить +40% CVR и +35% AOV за счёт персональных рекомендаций
💠 Как получить 30-49× ROI за 1-2 месяца
💠 Как снизить −20% bounce rate благодаря персонализированному поиску


2️⃣0️⃣2️⃣6️⃣🎄 уже здесь - и в этом году уже пора говорить с каждым клиентом на личном языке. Персонализация, которую так ждут клиенты - это и есть тот самый «магазин для одного», о котором говорил Безос. Читайте и вдохновляйтесь как превратить свои данные в самый ценный актив.

CRO & Personalization 💻

🪵 Операция под кодовым названием «Пень»

Когда-то, once upon a time, я работал в М.Видео.

Тогда, в попытке растить DAU, мы придумали Товар дня. Простая, но рабочая механика: на главной рядом с баннером - товар со скидкой. Коммерция отбирает SKU, промо ставит задачи, мерчи аккуратно «вешают» товары. Все при деле, все счастливы. И - главное - метрика росла (надеюсь, что из-за этого 😁).


Спустя годы эта идея всплыла снова.

- А что, если сделать как в М.Видео?

- Давайте вынесем товары со скидкой прямо на баннер.

- Но не просто так, а под соусом «Супер 🦸‍♂️ Цен».

- И менять каждую неделю.

- И, конечно, таймер обратного отсчёта. Как же без него.


Психология + хайп + срочность. Рецепт выглядел безупречно.


Коммерция добывает товары.

Мы делаем баннер-перетяжку с возможностью добавить товар в корзину прямо с неё.

Времени было много - акция стартовала в мае, поэтому перетяжку сделали заранее. Туда «вкрутили» всё: разные вариации Ивлева, и... пень. Да, буквально пень - как образ.


В итоге выбрали одного из Ивлевов. Перетяжку сверстали.

Акция должна была идти волнами: каждую неделю - новый набор товаров.


Я задал, казалось бы, наивный вопрос:

- А делаем же через A/B?

Ответ был мгновенным:

- Андрей, ты что? Зачем терять продажи? Сразу на 100%.

Ок, так мы и сделали. Без теста. На весь трафик.


И вот QA пройден. Запуск. ㊗️

В офисе - эйфория. 🙆

Все только и говорили, какая крутая идея получилась. Как классно смотрится. Как заходит всем. Поставщики уже готовы туда ставить свои товары.

Это победа! 🙌

Прошло время. Акция закончилась.

На одном из совещаний все отчитались о хороших продажах*.

Я открыл данные по рекомендациям за весь период акции.

33 товара.


Тридцать три.


Я сказал это вслух.

В ответ услышал:

- Ну перетяжка же всем понравилась.

- Надо обязательно повторить.

Но славу Богу мы не повторили**.


И это, пожалуй, вся история.

Мораль?

Иногда продукт может нравиться всем - кроме данных.

Иногда «не терять продажи» означает никогда не узнать, были ли они вообще.

И иногда самый важный персонаж в истории - не Ивлев, а тот самый пень, о который спотыкается здравый смысл, когда A/B-тест заменяют аплодисментами.


Данные не хлопают.

Но именно они говорят правду.

Всех с пятницей! Обнимаю крепко. 🫂

*товары продавались органически(поиск, каталог)
**я повторил. Продолжение следует…

CRO & Personalization 🤩

🦶 Как и обещал, возвращаюсь с результатами теста с анимацией.

CTR вырос на +22,86%, результат статистически значим.

Что касается метрики Add-to-Cart, то нам не хватило мощности для её анализа.

С технической стороны: анимация — Anyquery, реализация — команда Gravity Field.

CRO & Personalization 🤭

🚽 Читайте и вдохновляйтесь на праздниках сборником из 45+ реальных кейсов компаний (L’Oréal, Zillow, Booking/Travel, Mailchimp, Visa, DocuSign, HP и др.)

Показали , как экспериментирование применяется не только в e-commerce, но и в:

▪️подписках и revenue growth
▪️travel & hospitality
▪️digital product / SaaS
▪️медиа
▪️финсекторе
▪️некоммерческих организациях.

Фокус не на теории, а на практике и результатах: что тестировали, зачем, какие метрики, какой эффект.

Ключевые идеи:

🧠 Эксперименты как система управления решениями, а не разовые A/B-тесты.
🧠 Культура test & learn: проверять гипотезы, а не спорить мнениями.
🧠 Масштабирование: как запускать десятки и сотни тестов в год.
🧠 Использование server-side экспериментов, персонализации, AI и warehouse-native аналитики.
🧠 Важная мысль: проигранные тесты = ценное обучение, а не неудача.

Формат
Кейс → проблема → эксперимент → стратегия → измеримые результаты.

CRO & Personalization 🌟

С наступающим Новым годом 🌟и Рождеством🎄!

Пусть 2026-й станет годом смелых идей и ярких открытий! Желаю, чтобы каждый ваш эксперимент - будь то в web или app, в творчестве или в жизни - приносил вдохновение и открывал новые горизонты. Пусть любопытство ведёт вперёд, а результаты радуют! 🔮

🎄 Чтобы совсем не деградировать на праздниках и войти в 2026 с ощущением, что мы всё ещё продуктовый люди - почитайте отчёт AB Tasty про онлайн-покупки в 2025.

Коротко, что забрать с собой в 2026:

🔍 Google всё ещё №1, но Gen Z уже живёт в мобиле и у инфлюенсеров
👍 Mobile - это не тренд, а дефолт
⭐️ Отзывы продают сильнее брендов
🛒 Импульсные покупки работают, если не бесить
👎 Поп-апы - главный враг конверсии
🎯Персонализация = меньше фрикции, а не больше фич

Отчет идеально подходит для чтения между салатами и планированием тестов на 2026.

CRO & Personalization 🌟

🚔В мире персонализации давно существует соблазн верить в универсальные рецепты. Один из самых популярных - social proof: купили X раз. Предполагается, что эта формула работает всегда и везде. Но реальность, как обычно, сложнее.

Дэвид Манхейм, автор The Person in Personalization и основатель Made With Intent, последовательно отстаивает другую логику: коммуникация имеет смысл только тогда, когда она совпадает с пользовательским интентом и контекстом момента. Не раньше. Не позже. И уж точно не по умолчанию.

Наш эксперимент с классическим social proof на товарах дороже 3000 рублей эту мысль лишь подтвердил. История «купили X раз» не дала эффекта. Не потому что social proof (Informational social influence (Deutsch & Gerard, 1955)) не работает, а потому что в данном контексте он оказался нерелевантным. Для пользователя в этой точке пути важнее не сигнал массовости, а уверенность, рациональные аргументы и снижение риска.

🙂 Зелёный цвет на слайде может выглядеть убедительно - особенно если очень хочется показать успех. Но здесь он скорее напоминает о старой цитате Марка Твена:

есть ложь, есть наглая ложь и есть статистика.

Когда сигнал вырван из контекста, статистика легко превращается в инструмент самообмана.

Персонализация - это не про добавление ещё одного бейджа или триггера. Это про уважение к намерениям пользователя. Всё остальное - лишь шум, аккуратно раскрашенный в правильный цвет.

И, кстати, скоро на работу… 🫡

CRO & Personalization 🤩

Пока мы все медленно входим в рабочий ритм после, кажется, самых длинных новогодних праздников, - короткая наводка, чтобы не деградировать окончательно. ☺️

Anya Geimanson (CEO Visually.oi) поделилась 25 идеями и техниками для роста CR.
Visually.oi - это платформа для визуальных A/B-тестов и персонализации в e-commerce.


👉 25 оригинальных A/B-тестов на Shopify-брендах с оборотом 8–9 цифр
👉 +8.6% в среднем к CR/AOV на каждый тест

Ссылка на тесты, чтобы начать 2026 чуть менее интуитивно и чуть более доказательно.

CRO & Personalization 🦁