Каждый раз, когда человек из службы поддержки, доставки, такси или чего бы то ни было еще из сферы услуг говорит мне "хорошего вечера", а отвечаю "и вам тоже". Сначала я немного смущался, что это как официанту сказать "и вам тоже" в ответ на "приятного аппетита". Ну серьезно, люди на смене, какой еще нафиг хороший вечер. Но со временем я понял: всегда может быть хуже. Поэтому теперь желаю всем хорошего вечера :)

У нас в MLinside завтра небольшой дебют: первый открытый вебинар нашего первого курса для продактов. До этого мы учили инженеров, и я ждал, что продакты будут спрашивать про промпты и инструменты. Но пока собирал программу, самый частый вопрос был про деньги: «А агенты вообще окупаются? Может выйти, что руками дешевле?»

Вопрос настолько хороший, что мы вынесли его в отдельный вебинар.

15 октября в 19:30 по МСК - «Когда AI-агент окупается: считаем экономику на живом кейсе». Ведет Максим Шаланкин, ML Team Lead в Big Data МТС Web Services и один из авторов курса. Берет реальную задачу и раскладывает по цифрам: во что обходится агент, с какого момента отбивается и когда проще заплатить человеку.

Зарегистрироваться на вебинар: https://live.mlinside.ru/

Приходите. Пропаганды «AI изменит всё» не будет, задолбавших лозунгов в духе "AI убил ютьюб/маркетинговые агенства/дизайнеров/разработчиков" - тоже. Трезво, взвешенно, без буллшита - все, что мы ценим в MLinside.

А посоветуйте хороший курс по чему-то про саморазвитие (ну там тайм-менеджмент, масштабирование бизнеса, управление стрессом и тревожностью, что угодно подойдет), который ведут люди, которые чего-то в жизни и карьере достигли. Интересно посмотреть, как такое выстраивается методически, когда лектор вроде не воздухан, но и предмет не наука.

Есть кстати один человек, сильно преуспевший в работе в IT, который говорил: «я не читаю бизнес-литературу, потому что все знания человечества есть в художественной». Продолжая тему предыдущего поста: какие художественные книги вы бы советовали прочитать вместо чтения бизнес-литературы и книжек по саморазвитию? :)

Причем из-за того что картинка была обрезанная в оригинальной статье, во все презентации в мире она попала в таком же обрезанном виде :) Так что если хотите прославиться в AI - дорисуйте картинку и запостите на реддит 😁😁😁 Кстати, дорисованные версии в интернете иногда и правда встречаются

Фан-факт: в статье про AlexNet есть обрезанное изображение сети AlexNet. По одной из версий, Алекс Крижевский обрезал изображение, чтобы итоговая статья уместилась в жесткое ограничение NIPS на длину статьи в 8 страниц.

Сидел общался с другом, по профессии искушенным в сфере отношений с широкой публикой. Спрашиваю его: «дай совет, как мне дальше канал растить?». А он, имея некоторую предысторию диалога за вечер, и говорит: «вот ты почему Jev в своем канале не обосрал?». Я честно ответил, что стараюсь никого не обсирать, потому что не хочу устраивать никаким своим подписчикам инсульт жопы, и вообще самый оскорбительный и вызывавший хейт пост в истории моего канала - это поздравление с 8 марта (кто помнит, тот помнит)). А вот Никита @datarascals не стал скромничать и прошелся по адептам трансформерных decision models, за что ему большое человеческое спасибо. Причем написал без демагогии и эмоций, а четко и по делу. Рекомендую во-первых к прочтению, а во-вторых, тем кто не сможет дочитать до конца, даже не пытаться интерпретировать вероятности от decision models: будет только хуже.

#ML

Последователи Decision Models, Jev и иже с ними уже обретают черты религиозного культа 😵‍💫
Особо продвинутые самопровозглашённые пророки уже требуют упразднить скоринговые и NBO/NBA модели — всё же «заменят Decision Models».
Тем, кто изучает ML исключительно по Telegram-каналам и верит в «калиброванные вероятности из коробки», посвящается.

Что такое калиброванная вероятность?
От бинарного классификатора часто хочется получить не метку, а скор от 0 до 1, соответствующий вероятности события. Например, из 1000 заёмщиков со скором 0.6 примерно 600 должны выйти в дефолт, а со скором 0.05 — примерно 50. Если это свойство выполняется на всём диапазоне скоров, модель идеально откалибрована.
На практике скоры разбивают на бины (например, 0–0.05, 0.05–0.1), сравнивая среднюю вероятность дефолта (PD) с фактической долей дефолтов (DR). Так строят калибровочную кривую.

Взвешенное по доле наблюдений в бинах среднее абсолютных разностей PD и DR называется ECE (Expected Calibration Error). Преобразование выходов модели для улучшения соответствия предсказанных вероятностей фактическим частотам называют калибровкой.
Для других задач вместо DR используют ER (Event Rate). Есть и более слабое условие — calibration-in-the-large, когда средний скор совпадает с ER всей выборки.
ER может меняться со временем. В кредитном скоринге различают PIT (Point-in-Time), учитывающий текущие экономические условия, и TTC (Through-the-Cycle), отражающий долгосрочный риск на протяжении экономического цикла.
Но скоры распределены неравномерно, поэтому в разных бинах разное количество наблюдений и разная точность оценки DR. Следовательно, у калибровочных кривых есть доверительные интервалы.

Все еще сложнее
Aleatoric uncertainty — неопределённость самого исхода. Даже зная, что вероятность дефолта 50%, мы не можем уверенно предсказать исход для конкретного заёмщика.
Epistemic uncertainty (EU) — недостаток знаний модели. Например, когда похожих заёмщиков почти не было в обучающей выборке. Два клиента могут получить одинаковый скор 0.5, хотя для одного у нас сотни тысяч похожих наблюдений, а для другого — практически ни одного. EU приближённо оценивают через ансамбли и бутстрап. В CatBoost для этого есть Virtual Ensembles, позволяющие оценивать Data и Knowledge Uncertainty.
Если все модели ансамбля предсказывают около 0.5, это может указывать на высокую неопределённость исхода. Если половина предсказывает 0.1, а половина 0.9 — скорее на недостаток знаний. Хотя ансамбли тоже умеют дружно ошибаться.

Калибровка, Aleatoric и Epistemic uncertainty — разные вещи.
Даже идеально откалиброванная модель может систематически ошибаться на отдельных сегментах или при изменении распределения данных.
Для серьёзных бизнес-кейсов одного калиброванного скора недостаточно. Нужны независимая валидация, проверка калибровки с доверительными интервалами, устойчивости во времени и по сегментам, иногда — отдельная оценка Epistemic uncertainty.
А для NBO/NBA вероятность события вообще не равна полезности действия. Нужны стоимости ошибок, ограничения и оценка влияния действий на результат.

Вернёмся к Jev
Когда заявляют о «калиброванных вероятностях из коробки», хочется спросить:
• На чем калибровали и проверяли?
• Что происходит при смещении данных и на новых доменах?
• Как оценивается Epistemic uncertainty?
Пока ответов нет, число 0.97 на выходе Decision Model — просто выход модели, вероятностную интерпретацию которого ещё нужно подтвердить.
И тут бы мне продемонстрировать калибровку Jev на каком-нибудь датасете, но мне лень, поскольку это сделали вскоре после её выхода на двух задачах классификации текстов.
А чуть позже — на задаче обнаружения prompt injection.
Результаты ожидаемо показали, что калибровки на произвольной новой задаче из коробки нет.

Итого: чтобы использовать Jev в проде, её придётся долго и упорно тестировать на вашем рейсе — с выдумкой и смекалкой.
А если нужно классифицировать тексты и есть разметка, разумнее взять предобученный BERT, дообучить классификационную голову (при необходимости — и энкодер), откалибровать и провалидировать.

Если бы вас спросили, может ли число пи равняться не 3.1415926..., как бы вы объяснили, что да?

Мой любимый ответ, что если пи это отношение длины окружности к ее диаметру, то в норме L_1 или в L_бесконечность число пи получится равным 4. Кстати говоря, привычное нам пи - это наименьшее из возможных в L_p нормах на плоскости (общая формула для пи в L_p норме - в аттаче к посту), хотя если круг задается центрально-симметричным выпуклым множеством, то число пи может варьироваться в диапазоне от 3 до 4, причем обе границы достижимы.

Что интересно, добиться непривычного нам значения пи, просто рассмотрев евклидово пространство с неединичной матрицей Грама, не получится. Казалось бы, неединичная матрица Грама может запросто сделать из окружности эллипс, а там уж число пи точно должно получиться другим. Но увы, длину окружности ведь тоже надо мерять с той же неединичной матрицей Грама, поэтому получится все равно 3.14... По той же причине пи в норме L_1 будет равно 4, а не 2 корня из 2, например.

А вот люди, ностальгирующие по теоретической физике, могут вспомнить про планковские единицы, где 8*pi*G, скорость света и редуцированную постоянную планка полагают равными единице для удобства записи формул, хоть это уже и совсем другая история :)

На всякий случай, чтобы уж точно не отвертеться, решил вывесить на всеобщее обозрение список своих долгов в канале:
1) Рассказ про экскурсию в Летово
2) Панель про образование на YaC/e - что интересного там было
3) В чем суть аналогии между рекомендательными системами и задачами анализа текстов (был вопрос в комментариях и мое обещание написать)

Если кто-то вспомнит еще какие-то - дописывайте (по ощущениям долгов в 10 раз больше, но я уже успел их себе простить). Также можете просто накидывать в комментах, про что еще написать.