21 мая в 18:30 по Мск проведем Trisigma online meetup

Поговорим о ситуациях, когда классические a/b тесты не работают.

Что в программе:
– Как проводить офлайн-эксперименты с AI-агентами и измерять качество, когда всё недетерминировано;
— Когда и какими нестандартными инструментами можно заменить A/B;
— Можно ли сделать рабочую связку PSM, фейкдоров и оценки эластичности.

Подробности и регистрация.

Канал «Телекомпания Вит»

CEO Optimizely отлично пользуется возможностью в свете новостей про объединение Statsig и Amplitude.

Про рынок платформ экспериментов – обзор

На рынке платформ экспериментов происходит много интересных событий – слияния, сделки, партнерства, инвестиции.
Предлагаю посмотреть, что интересного у крупнейших представителей рынка.

⁃ Optimizely – ARR: $400M; Клиентов: 10 000+; Куплен Episerver в 2020 году. 14 лет строили, несколько раз меняли стратегию. Начинали с малого бизнеса, потом поняли что деньги в крупном корпоративном сегменте – и развернулись. Сейчас это уже не столько платформа экспериментирования, сколько огромная система управления цифровым опытом.

⁃ VWO – ARR: $50M; Клиентов: 3 000+. Материнская компания Wingify продана инвестиционному фонду Everstone за $200M в январе 2025 года. Пожалуй самая вдохновляющая история на этом рынке. Основатель Paras Chopra строил компанию 15 лет без единого внешнего инвестора –до $50M выручки. Потом продал за $200M.

⁃ AB Tasty – ARR: ~$50M (оценочно); Клиентов: ~4 700; Привлек $64M за 4 раунда. Сильные в Европе, планомерно росли через поглощения небольших игроков. В январе 2026 объявили о слиянии с VWO – объединенная платформа уже $100M+ выручки и 4 000+ клиентов по всему миру.

⁃ Statsig – ARR до продажи: ~$40M (оценочно); Куплен OpenAI за $1,1 млрд в сентябре 2025 года; Привлек 3 раунда на сумму $153M. Основан в 2021 выходцами из Facebook.
Интересно, что OpenAI сам был клиентом Statsig до покупки.
А недавно вышла новость, что продукт и клиенты переходят в Amplitude. Событие многих удивило и породило бурную дискуссию в LI и ряд публичных заявлений от CEO других платформ.

⁃ Eppo – ARR: не раскрывался; Клиентов: несколько сотен enterprise (Twitch, Coinbase, DraftKings, Perplexity); Куплен Datadog за ~$220M в мае 2025 года; Привлек $48M за 3 раунда. Основан в 2021 выходцами из Airbnb. Небольшая команда, фокус на warehouse-native.

⁃ LaunchDarkly – ARR: ~$200M (оценочно); Клиентов: 5 500+; Независимая частная компания, оценка $3 млрд; Привлек 7 раундов на сумму $330M. Единственный крупный игрок который пока не продался и не объединился. Фокус немного отличается от всех участников в посте – фича менеджмент, но эксперименты тоже есть. Сами активно покупают: в 2025 закрыли две сделки в смежных нишах.

⁃ Adobe Target – Выручка: часть Adobe Experience Cloud ($20 млрд+ всего холдинга); Публичная компания. Эксперименты – как один из десятков модулей огромной корпорации. Выбирают те, кто уже глубоко внутри экосистемы Adobe. Отдельно почти не рассматривается.

⁃ GrowthBook – ARR: не раскрывается; Привлек $23M за 2 раунда (Y Combinator + Series A от Khosla Ventures). Клиенты – Dropbox и другие. Не конкурент Optimizely по масштабу, но растущая альтернатива для тех кто хочет держать данные у себя и не платить за каждый эксперимент. Единственная платформа из всех, которая доступны на рынке РФ – ибо open-source (а дальше за деньги и уже не в РФ).

Если смотреть на всё это вместе – рынок явно консолидируется. Небольшие независимые игроки либо продаются крупным технологическим компаниям, либо объединяются между собой.
OpenAI, Datadog, Mastercard – каждый купил по платформе за последнее время.

Проводить параллель с локальным рынком – смысла нет.
Cлишком молодой, относительно маленький и пока не так много игроков.

Мне кажется, следующий на очереди в M&A – GrowthBook.

P.S. Некоторых игроков я умышленно пропустил – не по личным причинам, просто нет особо интересной истории.

Канал «Телекомпания Вит»

У меня сегодня день рождения – аж целых 35 лет исполнилось.
Если вам вдруг захочется меня поздравить – я буду рад доброму слову.
Но еще больше я буду рад, если вы поддержите приют для животных – Лапушки.

Я не представляю, сколько нужно иметь моральных сил, веры и системности – чтобы заниматься такими проектами. У меня это вызывает искреннее восхищение.
Предлагаю восхититься и вам)

Новая рубрика – вопросы на подумать и обсудить!
Правило – не пользуемся LLM и поиском.

Если симулируете t-тест методом Монте-Карло при верной H₀ – какое распределение должно быть у числителя и знаменателя t-статистики? Почему?

Канал «Телекомпания Вит»

Искандер (отвечает за продукты trisigma.io/ сооснователь и ex.CPO EXPF) с командой сделали хендбук по A/B-тестированию.

Подробный и бесплатный материал, который поможет увеличить кругозор в домене, вспомнить статистику и даже кейсы порешать.

Качаем / изучаем и делимся с друзьями!

Канал «Телекомпания Вит»

Если в этой квартире я действительно буду счастлив – заплачу. Но только как почувствую счастье!

Звучит абсурдно. Но именно так устроен рынок B2B-пилотов.

Мы хотим вещь – покупаем. Нужна машина – берём кредит. За еду платим. За большинство ценностей в жизни платим заранее, принимая риск.
А в B2B почему-то работает другая логика.

Вендоры и разработчики решений массово жалуются: «никто не хочет платить, но все хотят бесплатный пилот». И каждый новый игрок идёт по той же тропе – даёт бесплатно, надеется что купят.

Но есть неприятный нюанс, который не всегда очевиден.
После бесплатного пилота покупать будут очень долго – или не будут вообще.
Потому что когда бесплатно – на стороне клиента никто не взял на себя ответственность:
• никто не пошёл согласовывать бюджет
• никто не прошел юридическую воронку и не подписывал договор
• никто не закоммитил презентовать результат пилота руководству
Бесплатный пилот – это чья-то локальная инициатива. Её не нужно согласовывать, защищать и отвечать за результат.

А вот платный пилот – даже небольшой – сразу включает корпоративные процессы. И у менеджера на стороне покупателя появляется личная ответственность за исход.

Вывод: если ты B2B и метишь в крупный сегмент – не делай бесплатных пилотов. Скорее всего они не помогут. А вот рынок – подпортят.

Канал «Телекомпания Вит»

Планирование времени на эксперимент – очень фундаментальная и часто игнорируемая задача. В рамках exp-tools собрали новый симулятор – расчёт размера выборки для A/B

Что в нем есть: 
два режима под разные типы метрик:  
⁃ Доли / Конверсия – задаёшь базовый CR и MDE, считает через z-test (есть выбор между точной формулой CPS и упрощённой) 
⁃ Непрерывная метрика – задаёшь μ и σ, считает через t-test

MDE можно задать двумя способами – абсолютный (п.п.) или относительный (% от базового значения). 
параметры теста: 
⁃ α (уровень значимости) 
⁃ Мощность – двусторонний / односторонний критерий
плюс секция трафика: DAU и доля аудитории под эксперимент –  сразу считает сколько дней займёт набор выборки

Что в итоге:
⁃ n на группу и total N – длительность в днях 

⁃ What-if таблица: "что если подвинуть MDE": −50%, −25%, +50%, +100% сразу видишь n и дни для каждого сценария. 
Это самое полезное: не нужно крутить параметры вручную, trade-off между чувствительностью и временем виден сразу

⁃ График N vs MDE (в режиме непрерывной метрики) – Помогает почувствовать, как резко растёт выборка при малых эффектах

Канал «Телекомпания Вит»

Месяц назад беседовали с Искандером с Коммерсантом.
И вот наконец вышла статья / интервью.
Про рынок платформ экспериментов / предпосылки к появлению и развитию. И небольшие планы на будущее.

https://www.kommersant.ru/doc/8674837

О признании ошибок

В моей карьере был период, когда я считал себя суперзвездой аналитики. И именно на пике этой уверенности случилась одна из самых неприятных историй за всю мою практику.

Я тогда работал в консалтинге. Мы готовились к важнейшей встрече с правлением крупного казахстанского банка. К очным переговорам все было готово, оставалось лишь доделать аналитический отчет. Время поджимало, и я решил закончить работу в самолете — казалось, что перелета вполне хватит. Я скачал оставшиеся данные (договор это позволял) и спокойно поехал в аэропорт.

Весь полет я занимался расчетами и презентацией. В отеле лег спать со спокойной душой. Кстати, спал так крепко, что даже не услышал пожарную тревогу, а коллеги так и не смогли меня добудиться.

Утром мы приехали в банк. Члены правления оказались очень приветливыми и тепло нас встретили. Встреча начиналась как раз с моего доклада. Я открыл презентацию, начал рассказывать… Но уже через 10 минут меня остановили и спросили, откуда взялись эти цифры. Я назвал источники. Тут и выяснилось, что я перепутал источники — данные были неактуальными.

Моему стыду и огорчению не было предела. Так паршиво я не чувствовал себя в карьере еще никогда. После этого провала я еще полгода буквально панически боялся ездить на встречи и презентовать результаты работы.
Самой истории уже больше восьми лет, но я до сих пор помню ее поминутно.
Это была моя первая крупная ошибка, которая могла стоить компании огромных денег и репутации.

Когда свои части докладов закончили коллеги, я подошел к главе правления. Честно извинился и предложил за свой счет все переделать, а затем презентовать заново. В итоге мы успешно проработали с этим клиентом еще два интересных года.

Но извлекать этот урок было крайне больно. Морали не будет. Просто не зазнавайтесь.

Канал «Телекомпания Вит»

Готовлюсь сейчас к выступлению – тема не новая, но вечная: методы ускорения экспериментов.
Один из них – CUPED. Кажется, только ленивый про него не читал, большинство так или иначе пробовали руками.

Если брать CUPED в базовом виде – по оригинальной статье – одна из ключевых настроек это окно ковариаты: какой ретро-период брать. Влияние на чувствительность очевидно и легко проверяется симуляциями.
Но есть момент, который проверяют куда реже – сонаправленность эффектов до и после CUPED.

Можно так увлечься оптимизацией окна, что lift метрики без CUPED и lift с CUPED начнут расходиться по знаку. И тогда теряется интерпретируемость – а вместе с ней и практическая применимость метода.

Sign consistency – вероятность того, что raw-оценка эффекта и adjusted-оценка имеют одинаковый знак. Формально: если обе положительные или обе отрицательные – эффект сонаправлен.
Если знаки разные – CUPED просто испортил вашу метрику, а если вы этого не заметили, то и эксперимент или эксперименты убили.

Как быстрый вывод – проверяйте!

Базовый CUPED – линейная регрессия одной ковариаты на метрику. Простота – его сила. Но за 10+ лет накопилось несколько направлений развития.

1. Множественные ковариаты – MLR-CUPED Вместо одной переменной – несколько: активность за разные периоды, сегмент пользователя, платформа. Помогает, когда одна ковариата объясняет только часть дисперсии. Риск – переобучение и нестабильность коэффициентов на малых выборках. Но значительно меньше проблем со направленностью

2. Нелинейные ковариаты – ML-CUPED Линейная связь между ковариатой и метрикой – упрощение. В реальности зависимость часто нелинейная. Подход: обучить модель (градиентный бустинг, нейросеть) предсказывать метрику по ковариатам, использовать остатки как скорректированную метрику. Оптимизация чувствительности выше, но интерпретируемость падает – и проблема сонаправленности становится еще критичнее.

Канал «Телекомпания Вит»

Сегодня год нашей сделке с Авито.

Я давно хотел начать писать здесь что-то личное – и все время откладывал. Пожалуй, начну с этого.
За год – мы очень круто выросли, очень много чего сделали, но история не про это.

Пока мы закрывали сделку, я закрыл коробок конфет на лишние 20 кг.
Это, пожалуй, лучшее описание моего ментального состояния в тот период. Избавился я от них кстати еще быстрее чем набрал - но это другая история и могу рассказать отдельно (пишите в комментах).
Сделка – это не просто этап в жизни бизнеса. В какой-то момент она перестает быть транзакцией и становится экзистенциальным вопросом. Очень личным. Тебя бросает эмоционально, твой мир начинает крутиться только вокруг нее. А вообще то твой мир должен крутиться вокруг твоей жены. Это кстати не шутка - быть подкаблучником, самая мудрая стратегия, которой я намучился за 35 лет жизни. Но это тоже другая история)

И когда наконец ставишь галочку – выдыхаешь. Радуешься. Но ненадолго.
Есть такая штука - паппи блюз. Ты очень ждешь собаку. Собака дома. И тут выясняется, что собаке глубоко фиолетово, сколько стоят твои кроссовки от знаменитого дизайнера из Грузии.

Со сделкой – то же самое. Ты ждешь эмоционального освобождения, а получаешь интеграцию. Твой бизнес нужно встроить в другой бизнес. Огромный. Готов ли твой бизнес к этому? Технически - вроде да. Но не обольщайся)
И именно интеграция – самая уязвимая часть.
Мы ее прошли нормально, но основные вызовы были именно там.
Не потому что с Авито что-то не так – с ними (нами) все прекрасно . А потому что я лично был просто не готов. Не на уровне "сдался" – на уровне ожиданий. Я ждал увлекательную историю, а получил увлекательный геморрой на полгода.


Год спустя – не жалею ни о чем. Но если бы мог сказать себе тогда что-то одно: сделка – это не финиш. Это старт другого забега, к которому ты не тренировался.
А ты так то вообще мало тренировался в это время, ты конфеты (дубайский шоколад) жрал.
Про интеграцию, про то каково это – быть фаундером внутри корпорации, и про то что в итоге получилось – напишу отдельно. Там есть что рассказать.

Канал «Телекомпания Вит»

У trisigma.io - очень крутой маркетинг.
В том смысле, как я понимаю маркетинг для сложного b2b продукта.
Экспертный / с хорошим пониманием домена / с фокусом на рынок и клиента.

За маркетинг у нас отвечает Маша и она недавно завела свой канал.
Делюсь постом про тот самый крутой маркетинг.