Борзило
5.81K subscribers
525 photos
26 videos
5 files
242 links
⇨ Про аналитику, продукты, маркетинг
⇨ Автор курса по АБ тестам
⇨ Смело пиши - @borzilo_y


ИНН 026702638983
Download Telegram
Стартуем митап по АБ тестам в Альфа Банке 🤖
🔥281
Вернулся с митапа по АБ тестам ❤️

Не спал больше суток, но это того стоило. Митап превзошел мои ожидания)
Было 5 классных докладов связанных с АБ тестами.

Я рассказал про 8 способов запороть АБ тест из 46 которые я знаю. Также были доклады про АБ тесты в целом, про сплитование, про стереотипы в АБ, про метод diff-in-diff.

Уровень сложности докладов получился не однородным, т.к. мы ориентировались на широкую аудиторию, не только на аналитиков, но и на продактов, маркетологов, дизайнеров и тех кто пытается делать АБ тесты в своих командах в банке.

Это мероприятие напомнило мне студенческие конференции. Была небольшая аудитория, интересные доклады, ведущие с шутками-прибаутками, нетворкинг, а так же напитки для любителей статистики Guinness и пицца.

В оффлайн пришли послушать около 40 человек, за что им отдельный респект, онлайн трансляция в пике доходила до 190 человек. Я честно думал будет сильно меньше.

После каждого доклада было много вопросов из зала и онлайн, что говорит об интересе к тебе АБ тестов в банке. За самые интересные вопросы дарили книги "Доверительное АБ тестирование"

Был рад участвовать в создании и проведении этого мероприятия. Всей команде, спикерам и зрителям большое спасибо. Планируем еще проводить такие митапы про АБ тесты ❤️

P.S. Если были на докладе оффлайн или онлайн поделитесь впечатлениями от мероприятия. Как вам?
🔥208
Хотели бы участвовать в митапе по АБ тестам от Альфы?
Anonymous Poll
8%
Да, в качестве спикера
80%
Да, в качестве зрителя
12%
Нет
Пространство для развития 💫

Как я писал в предыдущем посте, я не спал больше суток и физически сильно устал. Но сам митап, дал сильный заряд и желание дальше развивать направление экспериментов в Альфа Банке и создавать для других пространство для развития в этом направлении, т.к. я увидел отклик у других.

Последнее время много думаю на тему "пространство для развития" и хотел бы поделиться с вами идеями, которые я вкладываю в это понятие.

Я считаю, что у каждого человека есть потенциал или некоторая "супер-сила", которую он осознает или нет. Супер-сила может меняться на протяжении жизни, но очень важно уметь находить "пространство для развития" этой супер силы в конкретный момент жизни.

Если вы осознаете свою супер-силу, то скорее всего она связана с вашей областью интересов. Например мне сейчас интересна тема экспериментов. Мне нравится изучать эту тему, делиться знаниями(вот вам 57 постов про АБ + 80 консультаций для коллег про АБ за год), участие в митапе про АБ.

Все это я делаю потому что мне это просто интересно и в кайф. Но всего этого могло бы и не быть если бы я не нашел "пространства для развития".

Под пространством для развития я имею в виду ту среду, где твоя супер-сила будет востребована. В моем случае такой средой стал Альфа-Банк. Я и раньше горел идеей АБ тестов, но в других компаниях мои идеи находили слабый отклик.

Пространство для развития это не просто какой-то странный термин. На мой взгляд это основа для развития любой компании. У любой компании есть стратегические цели, чтобы их достичь нужны люди.

Для того чтобы мощный и заряженный на результат человек захотел прийти в компанию он должен видеть в ней "пространство для личного развития". Т.е. именно тут включается всем известный принцип win-win.

Компания хочет человека, который будет достигать определенных целей и выполнять определенные функции и она готова создавать для этого условия. С другой стороны человек, который хочет развиваться в этом направлении и ищет пространство для развития, т.е. задачи и ресурсы, в области которой он горит🚀

В результате такой синергии компания может получить решение важных задач, а сотрудник удовлетворенность и рост собственной капитализации. Т.е. все в плюсе.

На мой взгляд искусство управления персоналом как раз состоит в том чтобы суметь совместить цели компании + создать пространство для развития + найти людей, которые заинтересованы в этом пространстве для развития. Тогда все будут довольны и всё будет расти само-собой❤️

Вот такой вот пост на ночь глядя😌
Please open Telegram to view this post
VIEW IN TELEGRAM
23🔥12
Стало прохладно. Нашел у себя в закромах толстовку с такой надписью.

Её я получил когда работал в Completo.

Тогда я называл себя маркетолог-аналитик😏

Скидывайте свой прикольный мерч в комменты
👍14😁6🔥3🥰2❤‍🔥1
Ухудшающие АБ тесты 🤬
Обычно в экспериментах, в тестовой группе мы делаем какое-то улучшение и ждем, что целевая метрика в тесте вырастет. Но бывают и ухудшающие эксперименты, когда в тестовой версии мы что-то ломаем или ухудшаем и ждем, что метрика в тесте упадет. Давайте подумаем зачем нужны такие тесты?

1. Поиск элементов которые могут влиять на целевую метрику
Возьмем страницы сайта, как правило там много элементов и не всегда ясно, какие действительно влияют на конверсию, а какие нет. Чтобы это выяснить можно попытаться их сломать.

Например, сломаем кредитный калькулятор и ожидаем, что конверсия в заявку упадет. Если это произошло, то скорее всего есть смысл делать какие-то улучшения в калькуляторе, т.к. он влияет на нужную нам метрику, т.к. она упала после того как его сломали.

Сломать что-то это довольно быстрый способ понять связь элемента и целевой метрики, т.к. вам не нужен длинный цикл разработки новой фичи.

Другой пример. Блок с частыми вопросами, хотим переписать, чтобы людям было понятнее. Сначала можно попробовать вообще убрать этот блок, если метрика не изменится, то скорее всего нет смысла его переписывать, т.к. он ни на что не влияет(но это не точно)

2. Поиск прокси-метрик
Возьмем тот же пример с калькулятором. Когда мы его сломали и наша конверсия в заявку упадет, то скорее всего упадут еще какие-то метрики. Проксёй может быть конверсия в переход на страницу с подробными условиями кредита.

Таким способом мы понимаем, что прокси метрика и целевая метрика изменяются соноправлено (дают ухудшение). Найдя ряд таких прокси-метрик мы можем оценить их чувствительность.

Возможно они будут быстрее обнаруживать эффекты, чем целевая метрика, а значит мы сможем проводить эксперименты быстрее, если будем брать в качестве целевой метрики проксю.
Please open Telegram to view this post
VIEW IN TELEGRAM
15👍3🔥1
Смотрю туры в Турцию на октябрь) На семью из 3 человек на недельку цены стартуют от 250 т.р., что-то я удивлён такими ценами на Турцию) Хотя Сочи тоже не отстаёт)

А вы в этом году были в Турции и за сколько?
🤯2👍1
Когда ездил в офис, в Москву, понял, что легко вычислить, что я не местный😁

У всех макбуки у меня Леново.
У всех беспроводные наушники, у меня с проводами.
Вместо кофепоинт сказал кофетерий
😁87👨‍💻1
У Георгия Георгиева вышла пара новых, интересных, статей про АБ тесты.

1. Поясняет за mde и за то чем mde не является

2. Бьётся с гидрой post hoc анализа мощности
👍8🔥4
А у вас тоже бывает так, что вот пока разбираешься в какой-то сложной штуке, то думаешь: о капец как сложно, чуваки , которые в этом шарят капец умные.

А когда разобрался в сложной штуке, то через некоторое время: А ну тут же все логично и просто, кажется что это и так всем ясно понятно😁

Было такое?
👍41💯35😁8
А кто-нибудь ведёт подкасты или стримы, про что-то около аналитики или типа того?

Я сейчас в отпуске, появилось время и желание чего-нибудь обсудить 🧐
👍1
В каких компаниях вы хотели бы работать аналитиком?
Anonymous Poll
40%
Яндекс
14%
Вконтакте
26%
Х5
50%
Авито
38%
Авиасеилс
17%
HH
32%
Ozon
8%
WB
10%
Магнит
24%
Другое
Рон Кохави выложил гугл докс. С планом интервью для найма на должность head of experimental platform.

Вроде ничего сложного по вопросам🧐

https://docs.google.com/document/d/1AKjz8rJWoXAZMHdrmmky9GZ7UghEgbYd7KMGx5t1kHw/edit?usp=drivesdk
👍4💩2
Матемаркетинг 2024 🚀

В этом году буду спикером на Матемаркетинге. Поеду с темой "Как сломать ваш а/б-тест? Очевидные и не очень способы запороть эксперимент". Я знаю 46 способов накосячить в АБ тесте, про все конечно рассказать не успею, но про самые интересные поговорим.

Поговорим о проблемах сплитования, ошибках дизайн АБ, слабых гипотезах, валидности результатов и корректности отдельных методик.

В программе около 120 докладов. Много будет про АБ тесты, про анализ маркетинга, разговоры про DWH и дашборды, также всякое про ML. Короче любой маркетолог, продакт, аналитик найдет что-то стоящее для себя. Программа огонь, смотрите сами.

По датам. 29 октября будет онлайн день. 7 и 8 ноября будут оффлайн дни в Москве. Место проведения: МГУ, кластер «Ломоносов», Раменский бульвар 1. Если вы также как и я любите всякий аналитический движ, то советую прийти. Весной я ездил на Aha2024 - мне понравилось. Тут можно фоточки посмотреть.

Билеты можно купить по ссылке. А по промокоду BORZILO15 еще и скидка 15% будет. Буду рад новым знакомствам и встречам с подписчиками и друзьями!
🔥171