У меня сегодня день рождения – аж целых 35 лет исполнилось.
Если вам вдруг захочется меня поздравить – я буду рад доброму слову.
Но еще больше я буду рад, если вы поддержите приют для животных – Лапушки.

Я не представляю, сколько нужно иметь моральных сил, веры и системности – чтобы заниматься такими проектами. У меня это вызывает искреннее восхищение.
Предлагаю восхититься и вам)

Новая рубрика – вопросы на подумать и обсудить!
Правило – не пользуемся LLM и поиском.

Если симулируете t-тест методом Монте-Карло при верной H₀ – какое распределение должно быть у числителя и знаменателя t-статистики? Почему?

Канал «Телекомпания Вит»

Искандер (отвечает за продукты trisigma.io/ сооснователь и ex.CPO EXPF) с командой сделали хендбук по A/B-тестированию.

Подробный и бесплатный материал, который поможет увеличить кругозор в домене, вспомнить статистику и даже кейсы порешать.

Качаем / изучаем и делимся с друзьями!

Канал «Телекомпания Вит»

Если в этой квартире я действительно буду счастлив – заплачу. Но только как почувствую счастье!

Звучит абсурдно. Но именно так устроен рынок B2B-пилотов.

Мы хотим вещь – покупаем. Нужна машина – берём кредит. За еду платим. За большинство ценностей в жизни платим заранее, принимая риск.
А в B2B почему-то работает другая логика.

Вендоры и разработчики решений массово жалуются: «никто не хочет платить, но все хотят бесплатный пилот». И каждый новый игрок идёт по той же тропе – даёт бесплатно, надеется что купят.

Но есть неприятный нюанс, который не всегда очевиден.
После бесплатного пилота покупать будут очень долго – или не будут вообще.
Потому что когда бесплатно – на стороне клиента никто не взял на себя ответственность:
• никто не пошёл согласовывать бюджет
• никто не прошел юридическую воронку и не подписывал договор
• никто не закоммитил презентовать результат пилота руководству
Бесплатный пилот – это чья-то локальная инициатива. Её не нужно согласовывать, защищать и отвечать за результат.

А вот платный пилот – даже небольшой – сразу включает корпоративные процессы. И у менеджера на стороне покупателя появляется личная ответственность за исход.

Вывод: если ты B2B и метишь в крупный сегмент – не делай бесплатных пилотов. Скорее всего они не помогут. А вот рынок – подпортят.

Канал «Телекомпания Вит»

Планирование времени на эксперимент – очень фундаментальная и часто игнорируемая задача. В рамках exp-tools собрали новый симулятор – расчёт размера выборки для A/B

Что в нем есть: 
два режима под разные типы метрик:  
⁃ Доли / Конверсия – задаёшь базовый CR и MDE, считает через z-test (есть выбор между точной формулой CPS и упрощённой) 
⁃ Непрерывная метрика – задаёшь μ и σ, считает через t-test

MDE можно задать двумя способами – абсолютный (п.п.) или относительный (% от базового значения). 
параметры теста: 
⁃ α (уровень значимости) 
⁃ Мощность – двусторонний / односторонний критерий
плюс секция трафика: DAU и доля аудитории под эксперимент –  сразу считает сколько дней займёт набор выборки

Что в итоге:
⁃ n на группу и total N – длительность в днях 

⁃ What-if таблица: "что если подвинуть MDE": −50%, −25%, +50%, +100% сразу видишь n и дни для каждого сценария. 
Это самое полезное: не нужно крутить параметры вручную, trade-off между чувствительностью и временем виден сразу

⁃ График N vs MDE (в режиме непрерывной метрики) – Помогает почувствовать, как резко растёт выборка при малых эффектах

Канал «Телекомпания Вит»

Месяц назад беседовали с Искандером с Коммерсантом.
И вот наконец вышла статья / интервью.
Про рынок платформ экспериментов / предпосылки к появлению и развитию. И небольшие планы на будущее.

https://www.kommersant.ru/doc/8674837

О признании ошибок

В моей карьере был период, когда я считал себя суперзвездой аналитики. И именно на пике этой уверенности случилась одна из самых неприятных историй за всю мою практику.

Я тогда работал в консалтинге. Мы готовились к важнейшей встрече с правлением крупного казахстанского банка. К очным переговорам все было готово, оставалось лишь доделать аналитический отчет. Время поджимало, и я решил закончить работу в самолете — казалось, что перелета вполне хватит. Я скачал оставшиеся данные (договор это позволял) и спокойно поехал в аэропорт.

Весь полет я занимался расчетами и презентацией. В отеле лег спать со спокойной душой. Кстати, спал так крепко, что даже не услышал пожарную тревогу, а коллеги так и не смогли меня добудиться.

Утром мы приехали в банк. Члены правления оказались очень приветливыми и тепло нас встретили. Встреча начиналась как раз с моего доклада. Я открыл презентацию, начал рассказывать… Но уже через 10 минут меня остановили и спросили, откуда взялись эти цифры. Я назвал источники. Тут и выяснилось, что я перепутал источники — данные были неактуальными.

Моему стыду и огорчению не было предела. Так паршиво я не чувствовал себя в карьере еще никогда. После этого провала я еще полгода буквально панически боялся ездить на встречи и презентовать результаты работы.
Самой истории уже больше восьми лет, но я до сих пор помню ее поминутно.
Это была моя первая крупная ошибка, которая могла стоить компании огромных денег и репутации.

Когда свои части докладов закончили коллеги, я подошел к главе правления. Честно извинился и предложил за свой счет все переделать, а затем презентовать заново. В итоге мы успешно проработали с этим клиентом еще два интересных года.

Но извлекать этот урок было крайне больно. Морали не будет. Просто не зазнавайтесь.

Канал «Телекомпания Вит»

Готовлюсь сейчас к выступлению – тема не новая, но вечная: методы ускорения экспериментов.
Один из них – CUPED. Кажется, только ленивый про него не читал, большинство так или иначе пробовали руками.

Если брать CUPED в базовом виде – по оригинальной статье – одна из ключевых настроек это окно ковариаты: какой ретро-период брать. Влияние на чувствительность очевидно и легко проверяется симуляциями.
Но есть момент, который проверяют куда реже – сонаправленность эффектов до и после CUPED.

Можно так увлечься оптимизацией окна, что lift метрики без CUPED и lift с CUPED начнут расходиться по знаку. И тогда теряется интерпретируемость – а вместе с ней и практическая применимость метода.

Sign consistency – вероятность того, что raw-оценка эффекта и adjusted-оценка имеют одинаковый знак. Формально: если обе положительные или обе отрицательные – эффект сонаправлен.
Если знаки разные – CUPED просто испортил вашу метрику, а если вы этого не заметили, то и эксперимент или эксперименты убили.

Как быстрый вывод – проверяйте!

Базовый CUPED – линейная регрессия одной ковариаты на метрику. Простота – его сила. Но за 10+ лет накопилось несколько направлений развития.

1. Множественные ковариаты – MLR-CUPED Вместо одной переменной – несколько: активность за разные периоды, сегмент пользователя, платформа. Помогает, когда одна ковариата объясняет только часть дисперсии. Риск – переобучение и нестабильность коэффициентов на малых выборках. Но значительно меньше проблем со направленностью

2. Нелинейные ковариаты – ML-CUPED Линейная связь между ковариатой и метрикой – упрощение. В реальности зависимость часто нелинейная. Подход: обучить модель (градиентный бустинг, нейросеть) предсказывать метрику по ковариатам, использовать остатки как скорректированную метрику. Оптимизация чувствительности выше, но интерпретируемость падает – и проблема сонаправленности становится еще критичнее.

Канал «Телекомпания Вит»

Сегодня год нашей сделке с Авито.

Я давно хотел начать писать здесь что-то личное – и все время откладывал. Пожалуй, начну с этого.
За год – мы очень круто выросли, очень много чего сделали, но история не про это.

Пока мы закрывали сделку, я закрыл коробок конфет на лишние 20 кг.
Это, пожалуй, лучшее описание моего ментального состояния в тот период. Избавился я от них кстати еще быстрее чем набрал - но это другая история и могу рассказать отдельно (пишите в комментах).
Сделка – это не просто этап в жизни бизнеса. В какой-то момент она перестает быть транзакцией и становится экзистенциальным вопросом. Очень личным. Тебя бросает эмоционально, твой мир начинает крутиться только вокруг нее. А вообще то твой мир должен крутиться вокруг твоей жены. Это кстати не шутка - быть подкаблучником, самая мудрая стратегия, которой я намучился за 35 лет жизни. Но это тоже другая история)

И когда наконец ставишь галочку – выдыхаешь. Радуешься. Но ненадолго.
Есть такая штука - паппи блюз. Ты очень ждешь собаку. Собака дома. И тут выясняется, что собаке глубоко фиолетово, сколько стоят твои кроссовки от знаменитого дизайнера из Грузии.

Со сделкой – то же самое. Ты ждешь эмоционального освобождения, а получаешь интеграцию. Твой бизнес нужно встроить в другой бизнес. Огромный. Готов ли твой бизнес к этому? Технически - вроде да. Но не обольщайся)
И именно интеграция – самая уязвимая часть.
Мы ее прошли нормально, но основные вызовы были именно там.
Не потому что с Авито что-то не так – с ними (нами) все прекрасно . А потому что я лично был просто не готов. Не на уровне "сдался" – на уровне ожиданий. Я ждал увлекательную историю, а получил увлекательный геморрой на полгода.


Год спустя – не жалею ни о чем. Но если бы мог сказать себе тогда что-то одно: сделка – это не финиш. Это старт другого забега, к которому ты не тренировался.
А ты так то вообще мало тренировался в это время, ты конфеты (дубайский шоколад) жрал.
Про интеграцию, про то каково это – быть фаундером внутри корпорации, и про то что в итоге получилось – напишу отдельно. Там есть что рассказать.

Канал «Телекомпания Вит»

У trisigma.io - очень крутой маркетинг.
В том смысле, как я понимаю маркетинг для сложного b2b продукта.
Экспертный / с хорошим пониманием домена / с фокусом на рынок и клиента.

За маркетинг у нас отвечает Маша и она недавно завела свой канал.
Делюсь постом про тот самый крутой маркетинг.

Ну и чтобы не выглядело так, что из впечатлений - только кепка.
Вы посмотрите что там было , просто до мурашек.