Что-то много работы навалилось) Опять ничего писать не успеваю. А у вас как дела, что делаете?

Буквально считанные часы остались до момента когда universal analytics прекратит собирать данные. На смену ему пришел GA 4, но многие специалисты им недовольны.

Помню как много времени убил на то чтобы глубоко разобраться в UA. Узнать разные тонкости типа разрыва сессий, переопределения источников трафика. Разобраться с настройкой и дебаггом расширенной электронной торговли.

У меня даже был курс посвященный узкому вопросу "Качество данных в GA", но провести этот курс я успел всего 1 раз в 2022 году, а потом вышла новость, что UA скоро отключат и курс потерял свою актуальность.

Я пробовал подружиться с GA 4 в 2022 году, но там было слишком много проблем, особенно меня бесило расхождение между сырыми данными и данными в интерфейсе GA4.

Последний год я не работаю с данными GA 4, у нас в компании самописный трекер веб-аналитики, данные падают в БД, а потом уже из них можно лепить что захочешь.

А вы успели поработать с UA? Уже переехали на GA 4 и довольны им?

Моя скромная библиотека аналитика 🧐

📊 Комплексные курсы по аналитике бесплатно и без смс

В предыдущем посте я давал подборку курсов по отдельным дисциплинам, таким как Python, SQL, статистика. Сегодня я собрал список бесплатных курсов, где в курсе собраны сразу несколько тем и анализ данных освещается комплексно.

1. Анализ данных в python в примерах и задачах
Курс про python, описательную статистику, проверку гипотез, методы кластеризации данных и прочее

2. Марафон данных: первое знакомство с SQL и python
Этот курс для тех, кто хочет познакомиться с профессией аналитика данных. Если вы никогда ранее не сталкивались с SQL, Python и продуктовыми метриками, то Data Марафон – для вас

3. Digital аналитик
Курс для тех кто хочет познакомиться с веб-аналитикой, будут рассмотрены Яндекс метрика , Google analytics, GTM и прочее.

4. Продуктовая аналитика от dev to dev
Будут рассмотрены темы привлечения и удержания пользователей, монетизация пользователей, прогнозирование и прочее.

5. Игровая аналитика от dev to dev
В курсе изучают темы: сегментации пользователей, анализа воронок, АБ тесты, расчет и прогноз LTV и многое другое.

6. Прикладной анализ данных в социальных науках
Ранее я уже писал об этом хендбуке Яндекса. В нем собраны: статистика и проверка гипотез, python, регрессия, факторный анализ и т.д.

7. Python для начинающих аналитиков
Курс знакомит с python, AB тестами, SQL, работой с API, прогнозирование при помощи prophet.

8. Курс от ВКонтакте и МАИ. "Введение в анализ данных"

Если подборка полезная, то ставь реакции, сохраняй, делись с друзьями. 🚀

Когда пытаешься разобраться почему данные в отчётах расходятся

📌 БОЛЬШАЯ ПОДБОРКА МАТЕРИАЛОВ ПО АБ ТЕСТАМ

1. Описательная статистика и проверка стат гипотез

Курсы:
1. Курс Карпова по основам статистики часть 1
2. Курс Глеба Михайлова вероятность и статистика
3. Курс Филиппа Ульянкина
4. Основы статистики и АБ тестирования от ЯП

Описательная статистика
1. Математическое Ожидание, Дисперсия, Стандартное Отклонение за 5 минут
2. Распределение в статистике за 5 минут
3. Нормальное распределение за 6 минут
4. Совокупности их параметры и статистики за 8 минут
5. Введение в биномиальное распределение
6. Как использовать биномиальное распределение в эксель
7. Стандартная ошибка среднего

Проверка стат гипотез
1. Что такое проверка статистической гипотезы
2. Объяснение p-value
3. Математика в АБ тестах. Что такое z-score и p-value
4. Карта статистических методов
5. T критерий стьюдента
6. История одного обмана или требования к распределению в стат тестах
7. Двусторонние проверки гипотез
8. Практическое руководство по стат методам от VK
9. Хи 2 для проверки стат гипотез
10. Оценка статистической мощности

2. База по АБ тестам
1. Прикладные задачи анализа данных. АБ тестирование
2. Как и зачем оценивать размер выборок
3 Как подготовить и провести АБ тест, базовый роадмэп
4. АБ тестирование как сделать так, чтобы оно заработало
5. Бутстреп и АБ тестирование
6. Когда останавливать АБ тесты ч1
7. Когда останавливать АБ тесты ч2
8. Эксперименты и математическая статистика
9. АБ-тест для долей, MDE, ошибка 1-2 рода, как найти число наблюдений для АБ-теста
10. Сплит тесты, когда речь идет о деньгах
11. Статистика в АБ мифы и реальность
12. Воркшоп "Лезем в данные самостоятельно"
13. 15 минут статистики: как делать выводы из АБ-тестов
14. АБ тесты и как мы их готовим
15. Bootstrap: виды, особенности, ограничения и способы применения (EXPF)


3. Методы ускорения АБ тестов
1. Как улучшить ваши A/B-тесты: лайфхаки аналитиков Авито Часть1
2. Как улучшить ваши A/B-тесты: лайфхаки аналитиков Авито. Часть 2
3. Методы сокращения дисперсии, и зачем это нужно
4. Стратификация. Как разбиение выборки повышает чувствительность A/B теста
5. CUPED увеличиваем чувствительность метрик
6. Увеличение чувствительности в АБ при помощи CUPED
7. 13 способов ускорить А/В тест, или "Не CUPED-ом единым"

4. Типичные ошибки в АБ тестах
1. Тонкости АБ тестирования проблема подглядывания
2. Малоизвестные грабли АБ
3. Подводные камни A/Б-тестирования или почему 99% ваших сплит-тестов проводятся неверно

Как вам?
Полезно - 👍
Такое себе - 👎

Врываемся в понедельник

Похоже в Яндекс музыке проходит АБ тест, но видимо что-то пошло не так и на меня выкатили сразу 2 варианта кнопки 🧐

Минус АБ теста с триалом
Выше я выложил пост, в котором Яндекс музыка предлагает попробовать Яндекс музыку с полным функционалом в течении 30-60 дней бесплатно, а потом оплатить.

Недавно я тоже участвовал в проведении АБ теста с триалом, основной минус АБ тестов где есть триал - долгий срок сбора информации. Как правило бизнесу интересна конверсия в оплату после триала или arpu, а не конверсия в триальную версию.

Получается, что сначала нужно собрать выборку нужного размера для теста, а потом ждать еще n дней пока идет триал, после этого можно будет понять итоговую конверсию в покупку и arpu.

В целом если у продукта большая аудитория, то можно взять небольшой кусок этой аудитории и провести тест с триалом на ней, но если продукт с маленькой аудиторией, то получается, что мы должны заморозить существенную часть аудитории от других тестов на эти n дней, чтобы не внести искажения в результаты теста. Соответственно это снижает скорость развития продукта.

P.S. Конечно есть разные подходы, которые могут помочь решить описанные проблемы, например мерять не конверсию в покупку, а возможно какую-то прокси метрику, но это тоже не самая простая задача - найти хорошую прокси метрику.

Ну что, сегодня пятница давайте немного посмеемся
#хиханьки

♟ Почему LTV — плохая метрика для управления продуктом?

LTV (life time value) - суммарный доход, который мы получаем с клиента за период жизни клиента. (можно считать на платящего клиента, можно на привлеченного пользователя)

У этой метрики есть 2 особенности из-за которых она не подходит для управления продуктом.

1. Долгий срок подсчета
К примеру вы сделали изменение в продукте и хотите понять как изменится LTV клиентов в когорте на которых выкатили изменение. Соответственно если у вас срок жизни клиента 1 год, то нужно год ждать, чтобы понять какой будет LTV у новой когорты. Но бизнес не может ждать год, чтобы принять решение, потому что за год все сильно может измениться.

2. Метрика не информативна
Она не позволяет понять в каком месте у нас проблемы. Допустим мы выяснили, что у нас упал LTV, но как понять что с этим делать? LTV не дает ответа на этот вопрос. Как правило нам нужны прокси метрики более низкого порядка. В упрощенном виде LTV можно представить как

LTV на пользователя = конверсия в 1 покупку * средний чек * число покупок за период жизни

В зависимости от того какая из метрик проседает, потребуется работать с разными зонами продукта/маркетинга.

Например
- если проседает конверсия в первую покупку, надо проверять источники трафика на то, привлекаем мы целевой трафик или нет, также есть смысл поработать с конверторами(лендингами), ценностными предложениями.

- если проседает средний чек и у вас продукт подразумевает вариативность цен и состав покупки, то нужно поработать над офферами, ценообразованием, механиками апсела, кроссела.

- если проседает число покупок, то нужно понять оправдал ли продукт ожидания клиентов при первом использовании, собрать фидбек и возможно скорректировать продукт, также могут быть проблемы с биллингом и повторными списаниями, а возможно вам нужно выстраивать e-mail, push рассылки для повторных продаж.

Для чего тогда нужна метрика LTV?
На мой взгляд эта метрика нужна для понимания возможности масштабирования продукта и управления закупкой трафика.

Когда найден product market fit, то настает этап масштабирования и чтобы перейти к масштабированию важно, чтобы LTV был больше чем затраты на клиента, т.е. экономика работала в плюс. Одна из основных статей затрат в онлайн продуктах - это стоимость привлечения клиента.

Обычно для масштабирования закладывают условие, что LTV > CAC в 3-5 раз. Это оправдано тем, что при масштабировании CAC(стоимость клиента) постоянно растет. На это есть много причин: сначала вы выгребаете самую целевую аудиторию, которая имеет хорошую конверсию и получаете низкий CAC, а после надо идти в менее целевые сегменты, где конверсия снижается и CAC растет, кроме этого цены на аукционах рекламных систем постоянно растут из-за роста конкуренции.

Для управления закупкой трафика LTV в чистом виде тоже не подходит, т.к. мы не можем запустить рекламу и ждать год, когда дозреет LTV по когорте привлеченных пользователей, т.к. управлять рекламой нужно оперативно. Тут можно смотреть на прогнозный LTV, т.е. например прогнозировать LTV когорты через 1 год на основе жизни этой когорты в 1 неделю, но это не самая простая задача.

Продолжаем тему АБ тестов
#хиханьки

🤟 Чаты в которых можно потрындеть за анализ данных
Ранее я делал подборку полезных чатов по инструментам аналитика, где можно задать вопрос по определенным хард скилам.

Сегодня я собрал подборку чатов где общаются аналитики и те кто хочет ими стать.

1. Работа ищет аналитиков
Здесь размещают вакансии для аналитиков, обсуждают аналитические штуки, постят котов и природу.

2. Noukash - Войти в Айти
Здесь в целом чат про айти, но правят балом аналитики, так что зачастую все сводится к аналитическим темам

3. Karpov courses чат
Чат курсов от Карпова и Ко, обсуждают курсы, решение задачи и прочее

4. Дата аналитика и с чем её едят
В чатике в основном общаются действующие аналитики, обсуждают всякие рабочие задачи по анализу данных, etl, построению хранилищ

5. Карьерный трек для аналитиков
Здесь обсуждают как найти работу аналитикам, помогают составить резюме, дают тестовые задания для тренировки.

🤠 Привет! А расскажите в каких темах вы сейчас варитесь?
Например:
1. Пытаюсь разобраться в АБ тестах
2. Пытаюсь научиться SQL
3. Придумываю метрики для продукта
4. Пытаюсь составить резюме и найти работу аналитиком
5. Пытаюсь настроить эл. коммерцияю в яндекс метрике
6- ... Что-то еще

Хочу понять чем живет моя аудитория, чтобы выдавать более релевантный контент для решения ваших задач

Аналитики поймут
#хиханьки

💼 Подборки полезностей
За последнее время, я подготовил 3 подборки для погружения в анализ данных.
Хочу поделиться статистикой сохраняемости этих подборок.

1. Подборка курсов по разным инструментам аналитики 1300 просмотров и 269 сохранений.
2. Подборка комплексных курсов по аналитике 1100 просмотров и 126 сохранений.
3. Подборка по АБ тестам 2200 просмотров и 330 сохранений.

Сохраняйте себе если кто-то пропустил эти подборки

🛑 Почему не стоит выкатывать тестовый вариант, если был получен статистически не значимый результат в АБ тесте?

Когда мы запускаем АБ тест, то можем получить 2 результата:
1. Метрика между вариантами эксперимента стат. значимо отличается (в плюс или в минус)
2. Метрика между вариантами эксперимента не имеет стат. значимых различий

Если метрика в тесте лучше чем в контроле и получено стат. значимое различие, то можно выкатывать экспериментальную версию.

Но если мы открутили АБ и не смогли обнаружить стат. значимых различий может появиться вопрос, а можем ли мы выкатить тестовую версию, кажется что тестовая и контрольная версия дают одинаковый результат, раз нет стат. значимых отличий. На самом деле это не так, тут есть важный нюанс.

При дизайне АБ теста закладывается определенный MDE, минимальный обнаруживаемый эффект и мощность, т.е. вероятность с которой мы хотим обнаружить этот эффект (обычно 80%). В зависимости от MDE, мощности, а также уровня альфа определяется размер выборки, который нужен чтобы обнаружить эффект равный MDE в 80% случаев.

Когда же мы открутили заранее определенную выборку, но не получили стат. значимых отличий, то это говорит о том, что скорее всего эффекта заданного размера нет, иначе бы мы его обнаружили, но может быть другой эффект который меньше чем MDE. Этот эффект может быть как в плюс так и в минус, но для того чтобы задетектировать этот эффект с определенной мощностью нужен больший объем выборки.

Т.е. получается, что выкатив тестовую версию при отсутствии стат значимых различий, через какое-то время мы можем получить рост или падение нашей метрики на всей базе продукта. Согласитесь, что никто бы не хотел внезапного падения метрики, поэтому не стоит выкатывать тестовую версию при отсутствии стат. значимого улучшения.