Попытка оживить канал №67

Только начал читать книгу Кохави с соавторами «Доверительное A/B тестирование» и сразу в предисловии наткнулся на это. Выглядит многообещающе.

Если шутку нужно объяснять - это плохая шутка, зато если повторить ее несколько раз - она станет смешнее.

Поэтому, я решил объяснить почему так назвал свой канал и клуб.

«Пикейный аналитик» - это привет из «Золотого телёнка», где сообщество людей «пикейных жилетов» с безупречно серьёзным видом рассуждало о судьбах мира, не утруждая себя ни данными, ни проверкой фактов.

Прошло почти сто лет, поменялось многое. Появились новые инструменты, компьютеры, ИИ, огромные массивых данных. Не изменилось лишь главное - соблазн всё понять «на ощущениях» и потом уже аккуратно под это подтянуть аргументы.

Собственно, отсюда и Wishful Thinking Club - клуб любителей выдавать желаемое за действительное. Wishful thinking - это когда ты не анализируешь реальность, а договариваешься с ней. Когда гипотеза нравится раньше, чем проверяется. Когда неудобные данные становятся «шумом», а удобные - «сигналом». Когда «ну это же логично» звучит убедительнее, чем «давай проверим числа».

Самое неприятное то, что это не маргинальная ошибка. Это базовая настройка мышления. Поэтому в какой-то момент каждый из нас бывает пикейным аналитиком и важно научиться распознавать это чтобы вовремя дать себе по рукам.

Надеюсь наш клуб будет расти и шириться, и бурные дисскуссии на разные интересные темы наполнят его (тут хочется встать и выпить).

За прекрасную подборку реакций хочу поблагодарить свою дочь и призываю подписываться на ее канал "Сцены из жизни богемы". Если вам не чужды классическая музыка, опера и театр, вы надете там много интересного @monateatr

Синдром самозванца как парадокс Рассела

Как-то я участвовал в панельной сессии форума "Кавказский акцент" в качестве эксперта (бывает и такое), и нам задали вопрос:

Как лучше справляться с синдромом самозванца?

Я тогда отшутился примерно так: прежде чем с ним справляться, неплохо бы убедиться, что это действительно он. Потому что может оказаться, что ты и правда самозванец. Позже я задумался всерьёз: а можно ли вообще диагностировать у себя синдром самозванца?

Допустим, у нас есть герой - компетентный, но неуверенный в себе специалист. Если он говорит: «У меня синдром самозванца», - значит, он уже признаёт за собой компетентность. И в этот момент будто бы перестаёт быть самозванцем. Если же он говорит: «Нет у меня никакого синдрома, просто я слабый специалист», - то именно тут синдром самозванца и проявляется во всей красе.

И получаем версию парадокса лжеца: как только пытаешься честно ответить себе на вопрос «я внутри или снаружи?», сама проверка меняет объект проверки. Поэтому, прежде чем ставить себе такой диагноз - подумай, не выдаешь ли ты желаемое за действительное.

Эту задачу я когда-то подсмотрел у Александра Гутмана и потом использовал в лекции про континуум-гипотезу, которую читал в МГУ в 2021 году.

Недавно я задал её ChatGPT. Он справился и кроме того нарисовал мне классную иллюстрацию.

Теперь давайте проверим, как обстоят дела у кожаных мешков - биологических систем, бесконечно уверенных, что думать они умеют лучше машин.

В одном из следующих постов расскажу, почему я про неё вспомнил. А пока - сама задача.

Клетчатое поле, бесконечное во все стороны. По полю прыгает кузнечик - такой маленький и зелёненький, что лягушка его не видит и не слышит. Но она знает, что кузнечик прыгает каждую секунду и точно по клеткам - на манер этакой шахматной лошади. А еще она знает, что он прыгает всё время в одном и том же направлении, вдоль какой-то одной прямой, и на одно и то же расстояние. Ни направление, ни расстояние лягушка не знает. Знает только, что сидел в траве кузнечик, а потом кааак попёр прыгать… Где сидел, как попёр, куда - неизвестно.

А лягушка настолько голодная, что может в любую секунду прыгнуть вообще куда угодно, в произвольную клетку поля, лишь бы в какой-нибудь момент свалиться прямо на кузнечика и сожрать.

Задача - сожрать. То есть нужно придумать для лягушки такую стратегию, чтобы она гарантировано рано или поздно поймала кузнечика. Когда именно - не важно: времени впереди целая вечность.

Комментарии открыты. Лягушка тоже.

Чтобы вдохновиться, можно посмотреть мою лекцию на YouTube https://youtu.be/rGd0OUaIduc?si=gKoAFkUmyiY2T3q6

JOIN как пересечение множеств - одна из самых живучих полуправд в аналитике

Давайте отвлечемся на более простые темы и поговорим про JOIN в SQL, чтобы хоть как-то оправдать название канала. Обещаю, что позже мы вернемся к нашим лягушкам и кузнечикам, а еще и разбавим их бесконечными шахматами.

В курсах по SQL и шпаргалках авторы любят объяснять JOIN через теорию множеств:
INNER JOIN - пересечение, LEFT JOIN - всё слева плюс совпадения справа, FULL JOIN - объединение. Это звучит умно, аккуратно и достаточно похоже на правду, чтобы потом на этой полуправде построить пару карьерных катастроф.

Проблема в том, что в SQL JOIN работает не с элементами множества, а со строками, связанными по ключам. А ключи с обеих сторон вовсе не обязаны быть уникальными. Поэтому JOIN - это не операция вида “найти общее”, а операция вида “для каждого значения ключа сопоставить все строки слева со всеми строками справа”.

Пока ключ уникален хотя бы с одной стороны, проблем не возникает. Но как только вы попадаете на связь many-to-many, на сцену выходит локальное декартово произведение. Если по одному ключу слева 4 строки и справа 6, после JOIN вы получите 24 строки. Не потому что база “задвоила данные”. А потому что ключ повторяется с обеих сторон, и SQL честно строит все допустимые пары.

Именно здесь заканчивается уютная метафора про множества и начинается взрослая жизнь. Вы думали, что просто подтянули атрибут. На самом деле вы размножили наблюдения. Вы думали, что считаете пользователей. На самом деле посчитали все комбинации внутри каждого повторяющегося ключа. Вы думали, что видите сигнал. На самом деле смотрите на комбинаторный взрыв, который сами же и создали.

Отсюда и весь привычный цирк: “почему-то” выросла выручка, “внезапно” стало больше пользователей, “неожиданно” сломался retention, “откуда-то” взялись дубли и раздулся результат. Хотя ничего неожиданного не произошло. Просто человек написал JOIN, мысленно представил пересечение множеств, а получил произведение мощностей по каждому ключу.

Так что нет, JOIN - это не “пересечение”.
`JOIN` - это механизм порождения пар по совпавшим ключам.
А если ключ неуникален с обеих сторон, то это еще и отличный способ превратить спокойный запрос в оружие массового искажения.

P.S. А если для вас все это просто и понятно - можно получить эстетическое удовольствие от иллюстрации, которую ChatGPT нарисовал к этому тексту.

Пару недель назад мне попался подкаст Лекса Фридмана с Джоэлем Хэмкинсом — длинный разговор о бесконечности, парадоксах и природе математики. Большая часть содержания была знакома, но один сюжет зацепил по-настоящему: бесконечные шахматы.

Правила почти обычные. Доска — вся плоскость. У каждой стороны по королю, остальных фигур — сколько угодно, ходят они как положено. Две оговорки: пешки не превращаются в ферзей (какой в этом смысл, если у доски нет края?), а партия, длящаяся бесконечно, объявляется ничьей.

Хэмкинс с соавторами любят составлять задачи в духе шахматных журналов: что-нибудь вроде «мат в три хода», только на бесконечной доске. И дальше начинается самое любопытное.

Они построили позицию, в которой у белых есть выигрышная стратегия — и при этом никакое конечное N не годится как ответ на вопрос «за сколько ходов белые гарантированно победят?». И дело не в том, что партия уходит в бесконечность. А в том, что чёрные сами выбирают во время первого хода, сколько ещё тянуть.
Это уже не «мат в N». Это, в некотором смысле, мат в ω. Белые всё равно выигрывают — сомнений нет. Но чёрные могут сказать: «хотите — через миллион ходов, хотите — через миллиард, хотите — через гуголплекс», получая право самим выбрать размер своей агонии.

И вот тут шахматы внезапно перестают быть игрой про дебюты, вилки и тяжёлый взгляд после зевка ферзя. Они становятся способом руками потрогать ординалы, бесконечные порядки и странную механику бесконечности.

Слушая именно этот эпизод, я и вспомнил задачу про лягушку и кузнечика, о которой мы говорили раньше, — и понял, как одно связано с другим. Но об этом уже в следующем посте.

А пока — очень советую не пожалеть времени на сам диалог. Два крайне интересных человека разговаривают о по-настоящему красивых вещах.

https://www.youtube.com/watch?v=14OPT6CcsH4

Тут же более формализованная статья Хэмкинса и ко про бесконечные шахматы: https://arxiv.org/pdf/1302.4377

В аналитике есть старое правило, известное как закон Тваймана. Формулируется просто:

Если результат выглядит слишком интересным — скорее всего, он ошибочный.

Иными словами, когда график внезапно улетает вверх, конверсия растёт как на дрожжах, а новая фича “сломала рынок” за одну ночь — не спешите звать руководителя и писать победный пост.

Сначала проверьте:

- не отвалился ли трекинг,
- не задвоились ли события,
- не перепутались ли фильтры,
- не приехал ли бот-трафик,
- не решил ли кто-то обновить логирование в пятницу вечером.

Когда метрика в AB-тесте растет на 40%, начинающий аналитик открывает шампанское. Опытный аналитик открывает логи.

Wishful thinking шепчет: «Наконец-то получилось».

Закон Тваймана сухо отвечает: «Сначала перепроверь».

Зрелость в аналитике начинается в тот момент, когда на аномально хороший результат ты реагируешь не радостью, а лёгкой тревогой.

А теперь обсудим решение задачи про кузнечика и лягушку, и замкнем все на бесконечные шахматы.

Каждого возможного кузнечика можно задать четырьмя целыми числами: стартовая клетка и постоянный вектор прыжка по двум координатам. Значит, таких кузнечиков счётное число (мы уже знаем, что счетное множество счетных множеств счетно), и всех их можно занумеровать: первый, второй, третий и так далее.

Тогда лягушка делает вещь, которую многие особенно не любят: методично перебирает гипотезы. На (n)-м ходу она прыгает в ту клетку, где в этот момент находился бы кузнечик по (n)-й возможной траектории. Настоящая траектория тоже где-то в списке, значит однажды очередь до неё дойдёт — и на этом карьера кузнечика завершится.

При этом заранее ограничить время поимки никакой общей константой нельзя: искомый кузнечик может оказаться с достаточно большим номером в списке.

А дальше начинается красивая аналогия с шахматами.

Если переписать задачу как игру двух игроков, получается почти карманная версия бесконечных шахмат Джоела Хэмкинса. Первый игрок задаёт стратегию лягушки, второй выбирает траекторию кузнечика.

У второго игрока нет стратегии спасения. Есть только стратегия отсрочки. Он не может избежать поражения совсем, но может сделать так, чтобы его съели через 10 ходов, через 100, через миллион.

Это очень похоже на игровое значение ω: поражение неизбежно, но проигрывающий ещё контролирует длину любой конечной задержки.

Так что задача оказалась не про кузнечика, не про лягушку и даже не про шахматы. Она про то, что бесконечность бывает разной, а иногда всё решает не хитрость, а мощность множества.

Монти Холл, A/B-тесты, вредность подглядывания и wishful thinking

Парадоксы вероятности полезны не потому, что это красивые фокусы для скучающих математиков. Fпотому, что очень точно показывают, где ломается человеческая интуиция. А потом в том же месте бывает ломается и прикладная аналитика.

Разные вариации парадокса Монти Холла любят спрашивать на аналитических собеседованиях и сейчас мы попробуем понять зачем это нужно.

Парадокс Монти Холла устроен просто. Есть три двери: за одной приз, за двумя пусто. Вы выбираете дверь. Потом ведущий, который знает, где приз, открывает одну из двух оставшихся — обязательно пустую — и предлагает вам поменять выбор. И вам нужно решить, стоит менять дверь, или нет?

Интуиция подсказывает, что теперь шансы 50 на 50, и никакой разницы нет. Но это не так: изначально ваша дверь была правильной с вероятностью 1/3, а две другие вместе — с вероятностью 2/3. Ведущий не случайно убирает пустую дверь, поэтому эти 2/3 не исчезают, а переезжают в оставшуюся закрытую дверь. Менять выбор выгодно.

Ключевой урок тут не про двери, а про процедуру. Вероятность зависит не только от того, что мы увидели, но и от того, как именно это произошло. Значение имеет не просто открытая дверь, а то, что ее открыл информированный ведущий по строгому правилу. В Монти Холле люди игнорируют стратегию ведущего. В A/B-тестах — собственную стратегию остановки.

Команда запускает эксперимент и начинает заглядывать в метрики каждые несколько часов. Утром p-value 0.12, днём 0.08, вечером 0.04 — отлично, вариант B победил, можно останавливаться. На человеческом языке это называется «быстро приняли решение». На статистическом — дали случаю достаточно попыток, чтобы он выдал красивую цифру.

Смотреть на метрики само по себе не проблема. Это можно делать хоть каждые пять минут. Проблема начинается там, где решение принимают по незапланированному промежуточному результату. Уровень значимости 0.05 работает только внутри заранее прописанной процедуры: какая главная метрика, какой горизонт теста, какой объём выборки, какое правило остановки. Если правил нет, эксперимент быстро превращается в слот-машину: дёргаем ручку, пока не выпадет нужная комбинация.

Именно так обычно выглядит wishful thinking в аналитике. Не как подлог и не как откровенная глупость. Гораздо чаще это звучит вполне респектабельно: “давайте посмотрим ещё день”, “почти значимо”, “нужно чуть больше данных”.

Поэтому Монти Холл и плохой A/B-тест — одна и та же история. Люди ошибаются не потому, что не умеют считать, а потому что игнорируют механизм получения информации. И это, пожалуй, самая дорогая форма wishful thinking в аналитике: когда человек уверен, что принимает решение основанное на данных, хотя на самом деле опирается на следы собственного нетерпения.

Вы бросили честный кубик и накрыли его непрозрачным стаканом. Результата не видно. Хочется спросить: какова вероятность, что там шестерка? Интуиция отвечает — 1/6. Но если быть строгим, вопрос некорректен: бросок уже произошёл и вероятностей больше нет — есть только неизвестный факт.

Мы легко путаем две вещи: случайность эксперимента и наше незнание результата. Пока кубик летит — есть вероятность. Когда он уже лежит под стаканом — остаётся только неопределённость в нашей голове. Вероятность “жила” до броска, а не после него.

Точно такая же путаница возникает с доверительными интервалами. Есть неизвестное среднее — фиксированное, но скрытое от нас. Мы собираем данные и строим интервал. Сам интервал — случайный: он зависит от конкретной выборки, которая могла бы быть другой.

И тут звучит привычная фраза: “с вероятностью 95% среднее лежит в интервале”. Звучит естественно — но это та же ошибка, что и с кубиком. Интервал уже построен, параметр уже имеет значение — он либо внутри, либо нет. Никакой вероятности “внутри интервала” больше нет.

Что тогда означают эти 95%? Это свойство процедуры. Если бы мы много раз повторяли эксперимент и каждый раз строили новый интервал, то примерно в 95% случаев эти интервалы накрывали бы истинное среднее. Но это утверждение имеет смысл только до того, как вы увидели данные и построили конкретный интервал.

Вчера сходил на мастер-класс по управлению большой командой профессионалов с помощью зубочистки при решении сложных задач.

Если долго искать искусственный интеллект, можно обнаружить отсутствие естественного

Ричард Докинз (известный биолог и популяризатор науки) поговорил с Claude и задал неудобный вопрос: если машина пишет стихи, шутит, рассуждает о романах и ведёт себя как сознательный собеседник — что ещё должно произойти, чтобы мы признали за ней что-то похожее на сознание?

Обычно спор об ИИ разворачивают в сторону машины: может ли ИИ думать, понимать, быть сознательным? Но настоящий удар летит в другую сторону.

ИИ интересен не только тем, что стал похож на человека. А тем, что человек внезапно стал подозрительно похож на ИИ. Мы говорим: модель просто продолжает наиболее вероятный текст. За этим стоят веса, архитектура, данные, токены и вычисления.

А потом смотрим на человека — и видим другой, намного более сложный, но всё равно физический процесс: нейроны, гормоны, память, язык, воспитание, среда, страх, статус, опыт, привычка, желание оказаться правым.

Мы называем это личностью. Иногда — характером. В торжественных случаях — субъектом со свободной волей. Но где именно в этой цепочке появляется свобода?

Если решение рождается из состояния системы и причин, которые к нему привели, то чем оно принципиально отличается от другого детерминированного процесса — кроме сложности и нашего отношения к нему? Возможно, свобода воли — это не магическая кнопка внутри человека. А имя, которое мы даём достаточно сложному процессу, когда не видим всех его причин.

ИИ неприятен не потому, что он “как человек”. А потому что он показывает: способность выбирать, ошибаться, объяснять и казаться разумным может возникать из механизма.

И тогда вопрос уже не в том, есть ли у механизма душа. А в том, почему мы так уверены, что у нас внутри не механизм.

Мы искали искусственный интеллект и боялись найти в машине человека. Но, похоже, страшнее другое: найти в человеке автокомплит.

Центральная предельная теорема и бесплатные завтраки

Бесплатных завтраков не бывает.

Даже если на двери отеля написано: breakfast included, завтрак не стал бесплатным. Вы за него уже заплатили, он спрятан в цене номера, экономике отеля и аккуратной табличке с ожидаемыми расходами.

Гостю кажется: «Завтрак бесплатный». Отельеру кажется: «Лишь бы они не съели нас самих». А аналитику кажется: «Перед нами случайная величина».

На уровне одного человека всё выглядит тревожно.

Один берёт кофе и круассан. Второй — омлет, сыр, йогурт, фрукты и три булочки «на потом». Третий приходит только за арбузом. Четвёртый проспал. Пятый набирает тарелку так, будто лично решил проверить финансовую модель отеля на прочность.

Если смотреть на каждого отдельно, предсказать расходы почти невозможно. У людей разный аппетит, разные привычки и разное понимание слова «включено».

Но отелю не нужно угадывать, сколько съест гость из номера 67. Ему нужно понимать, сколько в среднем съедят сотни гостей. И тут появляется центральная предельная теорема.

Она не говорит, что отдельные люди начнут вести себя нормально. Не начнут. Кто-то всё равно положит на тарелку семь круассанов, хотя объективно способен съесть два. ЦПТ говорит другое: если наблюдений достаточно много, среднее начинает вести себя приличнее, чем каждое наблюдение по отдельности.

Один человек у шведского стола — хаос. Сто человек — уже статистика.

Именно поэтому завтрак можно включить в цену номера. Не потому что он бесплатный, а потому что его средняя стоимость становится предсказуемой.

Центральная предельная теорема — это не про то, что мир нормален. Мир не нормален. Люди у бесплатного буфета — тем более.

ЦПТ скорее про то, что при достаточно большом числе наблюдений среднее начинает вести себя так, будто в мире всё-таки есть порядок.

Поэтому мораль простая: Бесплатных завтраков не бывает. Есть только завтраки, чья средняя стоимость при достаточно большом N становится статистически управляемой.

А если один гость съел на 40 евро, это ещё не катастрофа. Возможно, это просто человек, который не уважает дисперсию.