​​The unusual A/B Test, with Heterogenous Treatment Effects

The article explores the limitations of traditional A/B testing when treatment effects are heterogeneous—that is, when changes don’t affect all users or segments equally.

In search engines, changes to algorithms might significantly impact some queries


via @ABtesting

​​Гарне порівняння підходів до аналізу експериментів

Автор аналізує обмеження традиційного A/B-тестування та пропонує альтернативний підхід на основі баєсівської статистики. Баєсівський підхід пропонує більш гнучкий та надійний спосіб оцінки ефективності змін у продукті чи маркетингових кампаніях. Використання баєсівських методів може допомогти швидше приймати обґрунтованіші бізнес-рішення.

via @ABtesting

​​Цікавий та інтерактивний спосіб краще зрозуміти перевірку гіпотез за допомогою ігрового симулятора A/B-тестування від Лукаса Вермеєра.

@ABtesting

​​Наткнувся на цікаву ідею про privacy-by-design в A/B testing.

Суть дуже проста: щоб аналізувати результати експериментів, не обов’язково зберігати дані по кожному окремому користувачу. У багатьох випадках достатньо працювати з агрегованими даними — тобто не бачити конкретну людину, а одразу дивитись на групи користувачів.

Для великого і відповідального бізнесу це може бути хорошим підходом одразу з кількох причин:
— менше персональних даних зберігається
— нижчий ризик витоку (бо немає чому витікати, user level data не зберігається)
— простіше пояснювати підхід legal / privacy командам
— дешевше і швидше обробляти дані

Мені здається, це хороше нагадування, що насправді privacy — це не тільки про consent mode банери і юридичні тексти. Це ще й про те, як ви проєктуєте саму архітектуру збору і аналізу даних.

Детальніше:
https://blog.conductrics.com/privacy-by-design-ab-testing/
Paper: https://hstalks.com/article/10835/when-less-is-more-privacy-by-design-in-ab-testing/

via @WebAnalyst