У нас в городе открылся первый офис Альфа Банка, зашёл пофоткаться.
А то работаю, а в Альфа Банке никогда не был😁
А то работаю, а в Альфа Банке никогда не был😁
😁31👍10❤4👏1
В Стамбуле жара+27, ходили по мечетям, на гранд базар, съели балык икмек, в общем кайф!
P.S. Если кто был в Стамбуле, то кидайте ваш рекомендасьен мест для посещения(я люблю покушать)
P.S. Если кто был в Стамбуле, то кидайте ваш рекомендасьен мест для посещения(я люблю покушать)
❤15👍3❤🔥1
Свежее исследование рынка продуктовых аналитиков от NewHR. Сам ещё толком не читал, но заметил, что 41% никогда не делали АБ тесты.
https://newhr.org/data/research-analysts-2023
https://newhr.org/data/research-analysts-2023
👍20
Как проверить свой SQL код на адекватность?
В одном из чатов поделился подходами, которые можно использовать для того чтобы убедиться в том, что ваш SQL считает адекватные цифры и в него не закралась ошибка.
🔸1. Нужно понимать диапазон значений для показателей, которые ты считаешь.
Например, если я пишу SQL запрос для интернет магазина для подсчета конверсии в первую покупку, то знаю, что диапазон значений этого показателя 0-100%. Если получилось, что то вне этого диапазона, то где-то ошибка.
100% конверсии в первую покупку я тоже никогда не видел. В реальности диапазон ещё меньше, обычно 0-10%. Т.е. все что вне этого диапазона это подозрительно.
🔸 2. Обычно запрос представляет из себя набор отдельных подзапросов - CTE.
Каждый такой блок относительно простой и пишу я их последовательно понимая какой результат мне отдает каждый предыдущий блок. Отдельные итерации контролировать проще, чем дебажить весь код сразу.
🔸 3. После того как написал sql запрос можно сделать кросс чек и сравнить данные исходных таблиц и данные конечной таблицы.
Например, если в исходной таблице у тебя 1000 пользователей и ты понимаешь, что ты должен их всех учесть, то в в результирующем запросе можешь вывести дополнительный агрегатный столбец с числом пользователей, чтобы понять не потерялись ли пользователи или не задублировались ли значения пока писал запрос.
🔸 4. Если у тебя есть какая-то система с исходными данными, то можно сравнить рассчитанный на SQL показатель с показателем в этой системе.
Например у меня в интерфейсе Яндекс метрики по сегменту мобильных устройств конверсия 3%, а на сырых данных я насчитал 10%, довольно большое расхождение, нужно перепроверить.
В одном из чатов поделился подходами, которые можно использовать для того чтобы убедиться в том, что ваш SQL считает адекватные цифры и в него не закралась ошибка.
🔸1. Нужно понимать диапазон значений для показателей, которые ты считаешь.
Например, если я пишу SQL запрос для интернет магазина для подсчета конверсии в первую покупку, то знаю, что диапазон значений этого показателя 0-100%. Если получилось, что то вне этого диапазона, то где-то ошибка.
100% конверсии в первую покупку я тоже никогда не видел. В реальности диапазон ещё меньше, обычно 0-10%. Т.е. все что вне этого диапазона это подозрительно.
🔸 2. Обычно запрос представляет из себя набор отдельных подзапросов - CTE.
Каждый такой блок относительно простой и пишу я их последовательно понимая какой результат мне отдает каждый предыдущий блок. Отдельные итерации контролировать проще, чем дебажить весь код сразу.
🔸 3. После того как написал sql запрос можно сделать кросс чек и сравнить данные исходных таблиц и данные конечной таблицы.
Например, если в исходной таблице у тебя 1000 пользователей и ты понимаешь, что ты должен их всех учесть, то в в результирующем запросе можешь вывести дополнительный агрегатный столбец с числом пользователей, чтобы понять не потерялись ли пользователи или не задублировались ли значения пока писал запрос.
🔸 4. Если у тебя есть какая-то система с исходными данными, то можно сравнить рассчитанный на SQL показатель с показателем в этой системе.
Например у меня в интерфейсе Яндекс метрики по сегменту мобильных устройств конверсия 3%, а на сырых данных я насчитал 10%, довольно большое расхождение, нужно перепроверить.
👍29🥰2❤1
🫣 Чем отличается хорошая гипотеза от плохой?
В предыдущих постах я много писал о том что АБ тест это всего лишь инструмент проверки гипотез. Сначала идет гипотеза, а потом уже инструмент для её проверки. Давайте разберем какими параметрами должна обладать хорошая гипотеза
1. Сигналы жизнеспособности
Под сигналами я имею в виду некоторые предпосылки успешности гипотезы. Например вы провели исследование поведения пользователей в продукте и нашли, что пользователи не могут пройти калькулятор в воронке.
Вы видите это на цифрах - это сигнал о том что это жизнеспособная гипотеза. Допустим провели опрос пользователей и они тоже сказали, что им не понятен калькулятор. У вас уже 2 сильных сигнала о жизнеспосбности.
2. Целевая аудитория
Любой продукт и его фичи должны делаться с прицелом на конкретную аудиторию. Также и с гипотезами. Вы должны четко понимать на какой сегмент аудитории хотите повлиять своей гипотезой.
Большое заблуждение считать, что у вашего продукта однородная аудитория. Как правило есть несколько разных работ или потребностей у разных групп пользователей.
Если вы не знаете сегменты своей аудитории и их потребности, критерии выбора и cjm, то вам рано заниматься АБ тестами, т.к. вы будете стрелять из пушки по воробьям и жечь ресурс и время команды.
3. Понятное изменение
Здесь речь про реализацию. Что конкретно вы хотите изменить в продукте, на каком экране это будет сделано, как будет выглядеть фича или написан новый оффер.
4. Ценность или решение задачи
Это очень важный пункт. Если вы не можете убедительно объяснить себе и команде какую именно задачу пользователя вы решите при помощи гипотезы или как увеличите ценность для клиента, то скорее всего вы делаете какую-то бесполезную фигню, которую пользователи даже не заметят. Чтобы обосновать ценность нужно четко понимать аудиторию, что было указано в п 2.
5. Эффект и метрики
У гипотезы должны быть метрики по которым вы точно сможете идентифицировать влияние. Подбор метрик это отдельная большая тема, т.к. важно учитывать чувствительность метрик, релевантность для гипотезы и прочее.
6. Размер аудитории
Возможно все предыдущие пункты выполнены на 100%, но может случится, что сегмент на который вы планируете влиять очень маленький и теряется всякий смысл, т.к. бизнес эффект будет очень маленький. Например на страницу сайта где вы хотите тестировать приходит всего 100 пользователей в месяц и доход от них 0,001% выручки.
Прикрепляю пример расписанной гипотезы
В предыдущих постах я много писал о том что АБ тест это всего лишь инструмент проверки гипотез. Сначала идет гипотеза, а потом уже инструмент для её проверки. Давайте разберем какими параметрами должна обладать хорошая гипотеза
1. Сигналы жизнеспособности
Под сигналами я имею в виду некоторые предпосылки успешности гипотезы. Например вы провели исследование поведения пользователей в продукте и нашли, что пользователи не могут пройти калькулятор в воронке.
Вы видите это на цифрах - это сигнал о том что это жизнеспособная гипотеза. Допустим провели опрос пользователей и они тоже сказали, что им не понятен калькулятор. У вас уже 2 сильных сигнала о жизнеспосбности.
2. Целевая аудитория
Любой продукт и его фичи должны делаться с прицелом на конкретную аудиторию. Также и с гипотезами. Вы должны четко понимать на какой сегмент аудитории хотите повлиять своей гипотезой.
Большое заблуждение считать, что у вашего продукта однородная аудитория. Как правило есть несколько разных работ или потребностей у разных групп пользователей.
Если вы не знаете сегменты своей аудитории и их потребности, критерии выбора и cjm, то вам рано заниматься АБ тестами, т.к. вы будете стрелять из пушки по воробьям и жечь ресурс и время команды.
3. Понятное изменение
Здесь речь про реализацию. Что конкретно вы хотите изменить в продукте, на каком экране это будет сделано, как будет выглядеть фича или написан новый оффер.
4. Ценность или решение задачи
Это очень важный пункт. Если вы не можете убедительно объяснить себе и команде какую именно задачу пользователя вы решите при помощи гипотезы или как увеличите ценность для клиента, то скорее всего вы делаете какую-то бесполезную фигню, которую пользователи даже не заметят. Чтобы обосновать ценность нужно четко понимать аудиторию, что было указано в п 2.
5. Эффект и метрики
У гипотезы должны быть метрики по которым вы точно сможете идентифицировать влияние. Подбор метрик это отдельная большая тема, т.к. важно учитывать чувствительность метрик, релевантность для гипотезы и прочее.
6. Размер аудитории
Возможно все предыдущие пункты выполнены на 100%, но может случится, что сегмент на который вы планируете влиять очень маленький и теряется всякий смысл, т.к. бизнес эффект будет очень маленький. Например на страницу сайта где вы хотите тестировать приходит всего 100 пользователей в месяц и доход от них 0,001% выручки.
Прикрепляю пример расписанной гипотезы
👍10👏5🔥2
А вы тоже почувствовали волну весеннего найма?
У меня резюме скрыто на HH(не планирую менять работу), но с конца марта в телеге активно начали писать HRы🙃
У меня резюме скрыто на HH(не планирую менять работу), но с конца марта в телеге активно начали писать HRы🙃
👍7
🧪 Проверка гипотез ≠ АБ тесты
Не всегда когда говорят про проверку гипотез имеют в виду АБ тесты. АБ тесты или же эксперименты это не единственный способ проверки гипотез. Рассмотрим несколько примеров.
✔️ 1. У вас стартап на этапе валидации проблемы
У вас есть ряд гипотез о том какие проблемы должен решать ваш продукт и вы хотите их проверить. Тут вы можете использовать глубинные интервью для того чтобы узнать у потенциальных клиентов, а действительно ли у них есть эти проблемы. Т.е. тут инструментом проверки гипотез является интервью.
✔️ 2. У вас упала конверсия в интернет магазине
Возьмем 2 гипотезы:
- упала доля трафика на конверсиоонные товары
- товар который хорошо конвертился закончился у вас в магазине.
Для того чтобы проверить первую гипотезу надо оценить динамику трафика в системе веб-аналитики для страницы конверсионного товара, есть ли просадка, которая может объяснить падение конверсии.
Для того чтобы проверить вторую гипотезу надо определить ТОП товаров приносящих много конверсий и проверить нет ли в карточках товара отметки "товар закончился".
✔️ 3. У вас есть сайт с воронкой заказа
И вы видите, что на одном из этапов упала конверсия. У вас есть гипотеза, что сломалась кнопка. Вы можете посмотреть записи веб визора на этом этапе и проверить попадают ли пользователи кликнувшие на кнопку на следующий этап воронки.
✔️ 4. Вы запустили рекламу на новый регион, но заказов нет
У вас гипотеза, что ваша служба доставки и модуль выбора доставки не работает с регионом на который вы запустили рекламу. Как будем проверять гипотезу? Очень просто - посмотрим, а есть ли вообще такой регион в модуле доставки.
Как видите некоторые гипотезы можно проверить с помощью очень простых исследований и АБ тесты нужны не для всех гипотез.
Не всегда когда говорят про проверку гипотез имеют в виду АБ тесты. АБ тесты или же эксперименты это не единственный способ проверки гипотез. Рассмотрим несколько примеров.
У вас есть ряд гипотез о том какие проблемы должен решать ваш продукт и вы хотите их проверить. Тут вы можете использовать глубинные интервью для того чтобы узнать у потенциальных клиентов, а действительно ли у них есть эти проблемы. Т.е. тут инструментом проверки гипотез является интервью.
Возьмем 2 гипотезы:
- упала доля трафика на конверсиоонные товары
- товар который хорошо конвертился закончился у вас в магазине.
Для того чтобы проверить первую гипотезу надо оценить динамику трафика в системе веб-аналитики для страницы конверсионного товара, есть ли просадка, которая может объяснить падение конверсии.
Для того чтобы проверить вторую гипотезу надо определить ТОП товаров приносящих много конверсий и проверить нет ли в карточках товара отметки "товар закончился".
И вы видите, что на одном из этапов упала конверсия. У вас есть гипотеза, что сломалась кнопка. Вы можете посмотреть записи веб визора на этом этапе и проверить попадают ли пользователи кликнувшие на кнопку на следующий этап воронки.
У вас гипотеза, что ваша служба доставки и модуль выбора доставки не работает с регионом на который вы запустили рекламу. Как будем проверять гипотезу? Очень просто - посмотрим, а есть ли вообще такой регион в модуле доставки.
Как видите некоторые гипотезы можно проверить с помощью очень простых исследований и АБ тесты нужны не для всех гипотез.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14❤1
Audio
Короче появилась новая нейросеть, которая может сочинять треки и музыку и это все спеть.
Но на русском она не смогла мне текст сочинить. Поэтому текст сочинил я сам, а нейросеть сделала музыку и спела песню
Наслаждайтесь 😁
P.S. Кидайте ваши треки если попробовали сделать в suno
Please open Telegram to view this post
VIEW IN TELEGRAM
👏15😁6👍5👎1
Вспомнил, что раньше был курс по по digital аналитике от digital god. По мне эта самая крутая реклама курсов по аналитике, которую я видел. Я так и не успел попасть на этот курс, т.к. закрыли, но клип остался на youtube https://youtu.be/IcH8qi1Ja3k
YouTube
Nikita Shirobokov - Digital God
Научим решать практические задачи при помощи программирования https://digitalgod.be
Soundcloud: https://soundcloud.com/dmitry-rodin-489648277/nitika-shirobokov-digital-god
Soundcloud: https://soundcloud.com/dmitry-rodin-489648277/nitika-shirobokov-digital-god
🚨 Ошибки в работе с коэффициентом конверсии
В одном из чатов спросили про ошибки при расчете коэффициента конверсии, накатал комментарий и решил поделиться у себя)
Пункты ниже не всегда являются ошибками, но чаще всего все же являются, нужно смотреть конкретную ситуацию.
1. Усреднение конверсии по сегментам, которые сильно отличаются. Например, мобилки и десктоп или разные источники трафика.
2. Расчет конверсии на всем потоке пользователей, а не на когортах.
3. Точечная оценка конверсии, без учёта доверительных интервалов.
4. Расчет конверсии без учёта цикла сделки, т.е. периода дозревания когорт.
5. Не верный выбор базисных единиц в числителе и знаменателе. Например, в числитель записали число заявок, а в знаменателе число пользователей. Это получится не конверсия, к среднее число заявок на пользователя.
6. Возможна не верная оценка результатов АБ тестов при расчете конверсии по сессиям. Статья1, статья2
В одном из чатов спросили про ошибки при расчете коэффициента конверсии, накатал комментарий и решил поделиться у себя)
Пункты ниже не всегда являются ошибками, но чаще всего все же являются, нужно смотреть конкретную ситуацию.
1. Усреднение конверсии по сегментам, которые сильно отличаются. Например, мобилки и десктоп или разные источники трафика.
2. Расчет конверсии на всем потоке пользователей, а не на когортах.
3. Точечная оценка конверсии, без учёта доверительных интервалов.
4. Расчет конверсии без учёта цикла сделки, т.е. периода дозревания когорт.
5. Не верный выбор базисных единиц в числителе и знаменателе. Например, в числитель записали число заявок, а в знаменателе число пользователей. Это получится не конверсия, к среднее число заявок на пользователя.
6. Возможна не верная оценка результатов АБ тестов при расчете конверсии по сессиям. Статья1, статья2
🔥13👏2
Удалось ли вам получить пользу или инсайты от постов в этом блоге?
Anonymous Poll
22%
Нет
73%
Да
5%
Сейчас расскажу в комментах
У многих ребят, с которыми я беседую на консультациях, в голове есть идея, что для успешного поиска и трудоустройства им не хватает хард скиллов. Это относится как к начинающим так и к опытным аналитикам.
На мой взгляд хард скиллы переоценены в вопросе трудоустройства. Очень важно иметь обширную сеть контактов. В одном канале я прочитал, что если хотите бустануть карьеру, то проводите каждую неделю хотябы 1 созвон с людьми из индустрии для того чтобы развивать свою сеть контактов. Я согласен с тем, что важно развивать сеть контактов. Но созвоны требуют много времени и индивидуального подхода.
Лучше всего развивать свой блог, выпускать профессиональные статьи, чатиться в профильных чатах, так вы будете обрастать знакомствами.
Как я попал на 3 последних места работы?
1. Когда я устраивался в OWOX, то рассказал, что веду блог toolmark.ru, оказалось, что некоторые из ребят его читали, т.е. получается были заочно знакомы со мной и моими компетенциями. А некоторые были подписаны на меня в FB и им нравились мои аналитические мемчики.
2. В Банк Точка я попал по рекомендации от одногруппника, с которым мы учились на курсе аналитики в Яндекс Практикуме.
3. При трудоустройстве в Альфа Банк я уже был знаком с несколькими аналитиками. Они были нашими клиентами, когда я работал в OWOX. Соответственно внутри компании уже были люди, знакомые со мной и моим уровнем компетенций.
Т.е. во всех случаях у меня было преимущество в виде, знакомств, либо заочного знакомства через статьи в моем блоге или соц.сети.
Развивайте вашу сеть контактов:
- общайтесь в профильных чатах
- знакомьтесь с аналитиками из других компаний
- ходите на конференции
- общайтесь в рамках обучений на которые ходите
- разивайте линкедин и показывайте там свой опыт
- ведите телеграм канал или профильный блог на хабре или VC
Так через несколько лет вы сможете получить обширную сеть контактов и внутри компаний будут люди которые смогут подтвердить ваши компетенции, а это довольно сильное преимущество в сравнении с кандидатом, о котором никто ничего не знает.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍28