Доверительное a/b тестирование (Trustworthy Online Controlled Experiments)

Уже после начала отпуска я дочитал книгу по a/b экспериментам, которые являются необходимым инструментом для bigtech компаний для того, чтобы оценить эффективность тех или иных идей по оптимизации веб-сайтов, приложений, ml-моделей.

Это дейстительно крутая книга, которую написали совместно три автора:
- Ron Kohavi - Technical Fellow and corporate VP of Microsoft's Analysis and Experimentation (previously director of data mining and personalization at Amazon)
- Diane Tang - Google Fellow, with expertise in large-scale data analysis and infrastructure, online controlled experiments, and ads systems
- Ya Xu - head of Data Science and Experimentation at LinkedIn

Эта книга на русском вышла в издательстве ДМК Пресс и ее даже можно читать, сверяясь периодически с первоисточником.
Книга состоит пяти частей:
1) Введение для всех - объяснение мотивации проведения экспериментов, как выглядит полный цикл проведения экспериментов, как оценить надежность полученных данных и как прокачать культуру экспериментирования и прийти к платформе
2) Избранные темы для всех - пример известных экспериментов по оценке влияния скорости вебсайтов на бизнес показатели (full дизайн эксперимента и разбор его результатов), какие организационные показатели бывают, как выбрать OEC (overall evaluation criteria) для оценки эффектов экспериментов, как проведенные эксперименты формируют институциональную память и как их можно использовать для метаанализа, как проводить этичные эксперименты
3) Дополнительные и альтернативные методы контролируемых экспериментов - что делать, если честный a/b тест не провести (экспертная оценка, исследование UX, фокус-группы, обзоры, ...), как дизайнить наблюдательные исследования для исследования причинно-следственных связей
4) Платформы для экспериментов - очень важный раздел для тех, кто решил делать свою платформу. Здесь идет речь про эксперименты на стороне клиента (например, в мобильном приложении), про инструментарий для экспериментов, как выбрать еденицу рандомизации (страница/экран, сеанс пользователя, пользователь, компания, ...), как найти компромисс между скоростью/качеством/риском при дальнейшем развитии экспериментальной платформы, как анализировать масштабные эксперименты
5) Развернутое описание анализа экспериментов - тут наступает время статистики и авторы рассказывают про t-тест, p-значение и доверительные интервалы, ошибки первого и второго родов. Рекомендую почитать книгу "Understanding Statistics and Experimental Design. How to Not Lie With Statistics", про которую я писал раньше. Тут же идет речь про оценку дисперсии и повышение чувствительности экспериментов, как и зачем проводить a/a тестирование, какие существуют ограничительные показатели при проведении экспериментов, навроде SRM (sample ratio mismatch), как может происходить утечка и интерференция между вариантами (например, при экспериментах в соцсетях или на e-com платформах), как мерить долгосрочные эффекты.

В общем, книга топовая и я рекомендую ее к прочтению тем, кто глубоко погружен в тему a/b экспериментов ... или тем, кому просто нравится статистика:)

#Math #Statistics #PopularScience #Science #ML #Data #Software #PlatformEngineering

Как лгать при помощи статистики (How to Lie with Statistics) - Part I

Этой книге Дарелла Хаффа уже 70 лет, но она до сих пор не потеряла актуальность. Я решил ее прочитать в продолжение книги "Understanding Statistics and Experimental Design. How to Not Lie With Statistics", про которую я рассказывал раньше. И книга не подвела моих ожиданий - она написана простым языком, не содержит воды и рассказывает о различных способах злоупотребления статистикой в целях обмана аудитории и манипулирования ее мнением. Книга состоит из 10 глав:
1. Выборка изначально необъективна - эта манипуляция связана с тем, как мы формируем выборку. Если выборка не соответствует генеральной совокупности (не является репрезентативной), то статистика, которую мы вычислим по этой выборке может показывать те числа, которые мы хотим. Но даже если мы хотим сделать максимально честную выборку, то это достаточно сложно сделать. Например, автор рассказывает про это на примере опросов. А вот пример от меня, whitepaper "DevEx in Action" про developer productivity был описан на основе опросов тех разработчиков, которые работали в компаниях, что пользовались платформой https://getdx.com/ , которая предоставляет инструменты для измерения developer productivity. В итоге, опрос показал, что эти инструменты полезны:)
2. Грамотно выбранное среднее - здесь речь идет про выбор среднего удобного для вашего конкретного случая использования, например, это может быть среднее (mean), медиана (median) и мода. В общем, в зависимости от вида распределения вашей величины эти варианты среднего могут сильно отличаться:)
3. Нюансы, о которых скромно умалчивают - здесь начинается все с размера выборки, который могут не упоминать (а при маленьком размере получить интересные результаты гораздо проще), также про неуспешные результаты экспериментов можно не рассказывать (зачем говорить про неинтересные вещи), плюс можно играть с формулировкой так, чтобы было не ясно как рассчитывается сам показатель:)
4. Много шума практически из ничего - здесь автор рассказывает про статзначимость и доверительные интервалы:) И что при указании конкретных чисел нам сложно сравнить их между собой не зная доверительных интервалов.
5. График - лучше не бывает - тут идет речь про манипуляции с графиками: отсчет не от начальной точки по вертикали, разные масштабы осей, выбор нужного интервала времени для демонстрации графика величины на котрасте между началом и концом интервала
6. Схематичная картинка - здесь автор рассказывает как можно при помощи инфографики обманывать людей. Например, при двухкратном росте денежного показателя показывать в два раза больший мешочек денег - но предметы мы воспринимает как трехмерные и там ощущение от этого приема, что рост был в 8 (2ˆ3) раз
7. Псевдообоснованная цифра - тут автор показывает как взятое из статистики рандомное число можно трактовать по своему усмотрению. Главное сделать отсылку к авторитету и указать откуда взято число, а интерпретацию уже вкрутить свою:) Кстати, это частая манипулятивная техника
8. И снова это "после - значит вследствие" - здесь автор рассказывает, что корреляция совсем не равна причинно-следственной связи. Возможно причина и следствие связаны циклом (как обсуждалось в книге "Искусство системного мышления", про которую я рассказывал раньше) или обе переменных зависят от какой-то другой третьей, а может быть это просто совпадение:)
9. Как производить статикуляции (статистические манипуляции) - тут автор показывает примеры из предыдущих глав и добавляет игры с процентами, повторный учет одних и тех же элементов в расчетах, складывает вместе разные типы объектов и выводит среднее. В общем, поступает очень креативно:)

Продолжение в следующем посте.

#Math #Statistics #PopularScience #Science #Data

The Philosophy of Architecture - Barry O'Reilly - NDC Oslo 2024 - Part I (Рубрика #Architecture)

Очередное крутое выступление Barry O'Reilly на тему архитектуры (про выступление "An Introduction to Residuality Theory" я уже рассказывал). Здесь автор делает краткий обзор философских идей со времен древних греков до текущего момента и приходит к философскому подходу, который лежит в основе его Residuality Theory.

Основные идеи выступления следующие
1) Барри работал над PhD и смог взглянуть на архитектуру и разработку софта по новому - я тоже хочу заняться PhD в ближайшие годы:)
2) Барри задумался о том, как философские идеи влияют на процесс принятия решений (философия предполагает, что вы задаете вопросы к своим assumptions)
3) Барри выделяет основные проблемы с архитектурой
- Время, изменения во времени, неопределенность с тем, а какие это будут изменения
- Что такое единица измерения для софта - автор для начала вспоминает про 4 стихии древних греков (земля, огонь, ветер, вода), потом физику (атом, частица), химию (молекулы), биологию (клетки), а потом переходит на SWE, где у нас есть комьютеры, процедуры, модули, объекты, сервисы, функции, микросервисы, процессы, фичи, паттерны. В общем, разработка софта еще в фазе "древних греков" по мнению автора
4) Барри вспоминает Томаса Куна с его книгой "Структура научных революций" 1962 года, где появилась идея про сдвиг парадигмы и то, что научное знание развивается скачкообразно, посредством научных революций. Любой критерий имеет смысл только в рамках определённой парадигмы, исторически сложившейся системы воззрений. Научная революция — это смена научным сообществом объясняющих парадигм. Автор говорит, что в софтостроении такие изменения происходят каждые шесть недель (типа выход нового js фрейморвка) 🙂
5) Дальше автор дает введение в философию
- Эссенциализм - это идея о том, что у всего есть основная сущность, и что мудрость обретается, когда мы приближаемся к пониманию этой сущности. Объектно-ориентированное программирование примерно про это - мы имеем идеальный класс и его экземпляры, выполняющиеся в реальности.
- Позитивизм - философское учение и направление в методологии науки, определяющее единственным источником истинного, действительного знания эмпирические исследования и отрицающее познавательную ценность философского исследования. Этот подход свойственнен многим разработчикам
- Interpretivism (антипозитивизм) - подход в социальных науках, который противоположен позитивизму. Он позволяет существовать разным взгядам на одну и ту же реальность. Отрицает научные подходы в применении к социальным системам (а разработка софта - это социотехническая система), а также говорит о том, что мы не обнаруживаем знания, а создаем и передаем идеи в ходе обсуждений:)
- Структурализм - в языке источник истины, поэтому надо заниматься анализом требований и отсюда же рождается DDD (domain driven design)
- Кибернетика - наука об общих закономерностях получения, хранения, преобразования и передачи информации в сложных управляющих системах, будь то машины, живые организмы или общество. Отсюда у нас есть страсть к моделированию организаций и людей как машин на основе control systems и feedback loops
- Causality - концепт того, что между разными событиями существуют причинно-следственные связи (конструкции вида if ... then)
- Models - идеи о том, что мы создаем модели реальности и живем с помощью этих моделей, а не реальности. Здесь автор вспоминает про французского философа Бодрийяра и его книги "Симуляция и симулякры" (говорят, что фильм "Матрица" отчасти основан на этой концепции). Дальше проводится параллель между архитекторами в software engineering и архитектором из матрицы
- Complexity - при попытке сбежать из матрицы мы сталкиваемся с проблемами сложности. Иногда их пытаются подавить (например, YAGNI) или просто двигаться итерациями (авось как-нибудь победим). Но тут нужны новые концепции

Продолжение в следующем посте:)

#Philosophy #DistributedSystems #SystemDesign #Math #Engineering #Architecture #SoftwareArchitecture #ComplexityTheory #Software #Processes

Изучение whitepapers (Рубрика #Architecure)

В последнее время я изучаю много whitepapers для того, чтобы ответить для себя на экзистенциальные вопросы относительно того, как правильно выстраивать процессы разработки софта. Меня интересуют темы developer productivity, system design, software architecture и так далее. Причем большая часть прочитанных whitepapers напрямую относится к моей работе в Т-Банке. И я решил стартануть отдельный подкаст с обсуждением разобранных whitepapers, куда я тоже буду звать гостей, с которыми мы будем обсуждать эти крутые статьи. Пока я не придумал название для подкаста, так что в комментах можете накидывать предложения. На фото изучение очередного whitepaper на этот раз про "API Governance at Scale" by Google

P.S.
Вот примерный список обзоров whitepapers, что я уже разбирал и хотел бы обсудить с гостями
- Обзор whitepaper "Secure by Design at Google"
- Обзор whitepaper "AI-Enhanced API Design: A New Paradigm in Usability and Efficiency"
- Обзор whitepaper "CNCF Platforms White Paper"
- Обзор whitepaper "Deployment Archetypes for Cloud Applications"
- Обзор whitepaper "A Model-based, Quality Attribute-guided Architecture Re-Design Process at Google"
- Обзор whitepaper "AWS Fault Isolation Boundaries"
- Обзор whitepaper "Architecture Anti-patterns: Automatically Detectable Violations of Design Principles"
- Обзор whitepaper "Lifting the veil on Meta's microservice architecture: Analyses of topology and request workflows"

- Обзор whitepaper "A Human-Centered Approach to Developer Productivity"
- Обзор whitepaper "Measuring Developer Goals"
- Обзор whitepaper "Developer productivity for Humans, Part 7: Software Quality"
- Обзор whitepaper "Improving Design Reviews at Google"
- Обзор whitepaper "The SPACE of Developer Productivity"
- Обзор whitepaper "DevEx in Action"
- Обзор whitepaper "DevEx: What Actually Drives Productivity"

Если у вас есть опыт в одной из тем и желание обсудить ее со мной на подкасте, то пишите в личку

#Whitepaper #Architecture #Management #Science

Беслатный онлайн-курс по математике для школьников 4-6 классов от Т-Образования (Рубрика #Math)

У нас уже больше года есть бесплатные курсы по математике для школьников в средних классах. Они помогут повысить интерес к математике у детей, так как в школах редко преподают математику круто. Кроме того, эти курсы могут помочь развить мышление и подготовить школьников к новым свершениям в старших классах.
В общем, подавайте заявку и изучайте математику!

P.S.
Я сам учился в ЗФТШ (заочной физико-технической школе при МФТИ), но это было уже в 10 и 11 классе и помогло мне в свое время поступить на Физтех. Но эта штука не очень масштабировалась, а наше обучение в рамках Тинькофф Поколения сможет охватить больше направлений и помочь большему количеству школьников получить актуальные и полезные знания и навыки. В общем, я считаю, что наши программы обучения - это топчик:)

#Math #Courses #SelfDevelopment #ForKids #Science

Откуда я беру интересные whitepapers (Рубрика #RnD)

Я люблю изучать научные статьи и уделяю этому много времени. Меня часто спрашивают где я их нахожу и я постоянно отвечают, что самые интересные статьи есть на сайтах bigtech компаний
1) Google Research. Основные области исследований Google включают машинное обучение, алгоритмы, квантовые вычисления, вычислительные системы, а также исследования в области науки, общества и ответственных технологий.
2) Amazon Science. В Amazon фокусируются на машинном обучении, компьютерном зрении, обработке естественного языка, квантовых вычислениях, автоматизации логистики и устойчивом развитии.
3) Meta Research*. Исследования охватывают искусственный интеллект, дополненную и виртуальную реальность, обработку естественного языка и социальные взаимодействия.
4) Mircosoft Research. Microsoft фокусируется на следующих областях: искусственный интеллект, машинное обучение, квантовые вычисления, компьютерное зрение, безопасность, взаимодействие человека и компьютера и технологии для социальных благ.
5) Netflix Research. Основные направления у Netflix сфокусированы на нужных для них темах: персонализация контента, оптимизация потоковой передачи, анализ данных и улучшение качества контента с использованием NLP и компьютерного зрения

Также есть общие библиотеки крупных ассоциаций
1) ACM Digital Library (ACM - Association for Computing Machinery)
2) IEEE Publications (IEEE - Institute of Electrical and Electronics Engineers)

P.S.
Я уже как-то рассказывал про свое увлечение whitepapers
1) Мое выступление на Techlead Conf "Как RnD появляется в крупных IТ-компаниях"
2) Новогодный выпуск "Code of Architecture" по white paper «Google's Hybrid Approach to Research»
3) Перечень изученных и разобранных за 1+ год whitepapers
4) Мой подкаст "Research Insights Made Simple" с разбором whitepapers (пока 5 эпизодов, что доступны на Youtube, Yandex Music)

P.P.S.
Meta - это запрещенная в России организация.

#Whitepaper #Architecture #Management #Science

Когнитивные науки и технологии: от нейрона к познанию (Рубрика #Brain)

Недавно я общался с женой на тему мозга, психологии, искууственного интеллекта. Мы обсуждали эти темы в разрезе ее магистерской программы по психоаналитическому бизнес-консультированию, а также моему желанию совмещать практическую деятельность и начать какую-то научную (есть у меня тут незакрытый гештальт). В итоге, она предложила мне глянуть на магистерскую программу "Когнитивные науки и технологии: от нейрона к познанию" от Высшей Школы Экономики. По-факту, ребята экспериментально изучают очень интересные о том, как работают когнитивные процессы в нашем мозге, а программа фокусируется на исследованиях восприятия, контроля внимания, формирования умственных репрезентаций, динамике извлечения информации, обучения, механизмов рассуждения, языка и решения задач. В общем, все звучит очень интересно.
А в общем когнитивные науки и методы исследования описываются в программе так

Когнитивные нейронауки изучают субстрат и механизмы, стоящие за такими формами сложного поведения, как эмоции, язык, внимание, память и т.д. Таким образом, когнитивные нейронауки интегрирует психологию и нейробиологию. Методы, используемые когнитивными нейронауками, включают в себя экспериментальные парадигмы экспериментальной психологии, неврологии, нейроимиджинговые исследования нервной системы, а также безусловно актуальные в настоящее время подходы поведенческой генетики. Научный прорыв в области сканирования мозга позволил исследователям в области когнитивных нейронаук исследовать работу мозга в режиме реального времени при использовании таких методов, как функциональная магнитно-резонансная томография (ФМРТ), магнитная и электроэнцефалография (МЭГ, ЭЭГ), и инфракрасная спектроскопия.

Поступление будет следущим летом и если у меня не исчезнет интерес к этой теме, то я попробую поступить на эту программу:)

#Brain #SelfDevelopment #Science

Exclusive: the most-cited papers of the twenty-first century (Рубрика #Science)

Интересная статья от Nature, в которой авторы попробовали подсчитать самые цитируемые статьи 21 века. Точно подсчитать было довольно сложно, так как существует целая пачка ресурсов, что считают цитирования по своему, но авторы взяли взвешенный подход. Кроме того, в области computer science и ML довольно часто авторы сначала публикуют препринты, а потом эти же статьи публикуются по итогам конференций, в итоге, часто ссылки на препринт версии не учитываются при расчетах цитируемости основной статьи.

Из интересного можно отметить, что в 25 лучших статей попало много ML статей, вот их список с занимаемыми ими местами
1. Deep Residual Learning for Image Recognition (ResNet), (2016), He, K., Zhang, X., Ren, S., & Sun, J.
Эта статья описывает архитектуру ResNet, которая описывает архитектуру нейросетей с примерно 150 слоями - примерно в 5 раз больше, чем было принято ранее. Эта архитектура позволила преодолеть проблему затухания сигнала при увеличении числа слоев, что стало прорывом для развития глубокого обучения и последующих достижений в ИИ, таких как AlphaGo, AlphaFold и ChatGPT.
6. Random forests ,(2001), Leo Breiman
Эта работа представляет алгоритм машинного обучения, который существенно улучшил предыдущие методы ансамблей деревьев решений. В этой работе описан новый способ построения ансамбля: множество независимых деревьев решений обучаются на случайных подвыборках данных и случайных подмножествах признаков, а итоговое решение принимается большинством голосов (для классификации) или усреднением (для регрессии)
7. Attention Is All You Need, (2017), Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin
В этой статье исследователи из Google представили архитектуру Transformer, которая произвела революцию в обработке естественного языка и других последовательных данных. Главной инновацией стал отказ от рекуррентных нейронных сетей в пользу механизма self-attention (самовнимания), позволяющего модели определять важность каждого элемента последовательности относительно других и учитывать контекст на любом расстоянии.
8. ImageNet Classification with Deep Convolutional Neural Networks (2012), Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton
В этой статье описывалась архитектура AlexNet - глубокая сверточная нейронная сеть (CNN), которая совершила прорыв в компьютерном зрении, победив в конкурсе ILSVRC-2012 с ошибкой top-5 в 15.3% против 26.2% у ближайшего конкурента. AlexNet продемонстрировал, что глубокие CNN, обученные на больших данных, способны распознавать объекты с высокой точностью даже без ручной настройки признаков, заложив основы современного глубокого обучения
12. U-Net: Convolutional Networks for Biomedical Image Segmentation (2015), Olaf Ronneberger, Philipp Fischer, Thomas Brox
Эта статья представила революционную архитектуру для сегментации биомедицинских изображений, сочетающую кодирующий путь (свёрточные слои для извлечения признаков) и симметричный декодирующий путь (транспонированные свёртки для восстановления разрешения), соединённые skip-связями для сохранения пространственной информаци
16. Deep learning (2015), Yann LeCun, Yoshua Bengio, Geoffrey Hinton
Обзорная статья про глубокое обучение от корифеев этой темы
24. ImageNet: A large-scale hierarchical image database (2009), Jia Deng; Wei Dong; Richard Socher; Li-Jia Li; Kai Li; Li Fei-Fei
Статья описывает создание масштабной базы данных изображений ImageNet, организованной по иерархии WordNet. Цель проекта - собрать для большинства из 80 000 синсетов WordNet по 500–1000 полноразмерных и тщательно размеченных изображений, что обеспечивает десятки миллионов аннотированных примеров. Интересно, что в 8 статье AlexNet показывала свои топ-результаты как раз обучаясь на ImageNet.

P.S.
Кстати, если посмотреть на остальные топ-статьи, то там много статей про медицину в общем и рак в частности, а также про софт, который использовался для ведения исследований.

#Science #ML #AI #Software #Engineering

Генетическая селекция эмбрионов: От научной фантастики к коммерческой реальности (Рубрика #Science)

Наткнулся вчера на пост про стартап Nucleus Genomic, что презентовал революционную платформу Nucleus Embryo, которая позволяет родителям анализировать генетические профили эмбрионов при ЭКО и выбирать наиболее подходящие для имплантации. Это мне напомнили дистопический мир, изображенный в культовом фильме "Гаттака" 1997 года. Но давайте сначала поговорим про продукт, а дальше вспомним Гаттаку

Nucleus Embryo — это софт для генетической оптимизации, который позволяет родителям проанализировать до 20 эмбрионов по более чем 900 наследственным заболеваниям, а также по 40 дополнительным параметрам, включающим риски развития рака, хронических заболеваний, физические характеристики, когнитивные способности и даже цвет глаз. Это решение основано на полногеномном секвенировании (WGS) с глубиной покрытия 30x, что обеспечивает анализ 100% ДНК по сравнению с менее чем 0,1% у конкурентов вроде 23andMe. Компания утверждает, что секвенирует в 1000 раз больше ДНК, чем традиционные потребительские тесты, обеспечивая беспрецедентную точность генетического анализа. Если говорить про сам подход, то это полигенный скриннинг эмбрионов (PES), что основан на вычислении полигенных оценок риска (PRS) для каждого эмбриона. Оценки рассчитываются путем суммирования эффектов сотен, тысяч или даже миллионов вариантов ДНК, которые различаются между индивидуумами. Современные исследования показывают, что эффективность такой селекции ограничена, т.к. большинство выборов происходит между эмбрионами одних и тех же родителей, что существенно ограничивает как генетическую, так и средовую вариабельность.

А теперь проведем параллели с фильмом "Гаттака", в котором показано как может выглядеть социальная стратификация на основе генетики. В этом мире общество было разделено на "валидных" (генетически усовершенствованных) и "инвалидных" (естественно рожденных), при этом последние ограничены в доступе к образованию, работе и даже браку. Главынй герой фильма, Винсент Фримен, как раз человек второго сорта. Он близорук, имеет врождённый порок сердца, а генетический тест сулит ему примерно 30 лет жизни. Но у Винсента есть мечта — полететь в космос. И мы весь фильм наблюдаем как он идет к своей мечте, преодолевая ограничения окружающего мира за счет своей воли и работы над собой.

Если экстраполировать современные технологии (аля Nucleus Embryo), то видно, что они создают предпосылки для аналогичной стратификации. Хотя генетическая дискриминация формально запрещена, экономические барьеры доступа к генетической помощи могут привести к тому, что привилегированные слои общества смогут передавать свои преимущества детям через биологические механизмы. Как отмечают исследователи, это может привести к натурализации привилегий, оправданных научными предсказаниями. Интересно, что услуги полигенной селекции эмбрионов уже предлагаются потребителям как минимум четырьмя компаниями, а 5 лет назад родлился первый ребенок, прошедший через PES. Правда, существующие технологии имеют значительные ограничения. Исследования показывают, что полигенная селекция в целом не очень полезна при нацеливании на сложные характеристики здоровья — возникает проблема с оптимизацией по множеству критериев (генетические риски роста, IQ, цвета глаз и различных заболеваний), а значит принятие решения становится сложным. Думаю, что мы придем к созданию аля профилей вида: "спортсмен", "ученый", "поэт", "долгожитель", в которых будут зашиты комбинации критериев, а также будет отдельно возможность поиграться с фильтрами:))

В заключение хочу сказать, что мир Гаттаки почти здесь, хотя текущие технологии еще и не достигли уровня точности и всеобъемлющего контроля, но они уже позволяют значительное вмешательство в генетический состав будущих поколений. С учетом этого, интересно следить за обсуждением этических рамок развития этих технологий, которое легко может опережать социальные и этические дискуссии вокруг генетических модификаций.

#Science #PopularScience #Engineering

Meteorite. The Stones From Outer Space (Метеориты. Космические камни, создавшие наш мир) (Рубрика #PopularScience)

До прочтеиня этой книги Тима Грегори я никогда не воспринимал метеориты особенно серьезно. Но Тим, геолог и космохимик, в захватывающей манере превращает сухие научные факты о метеоритах в увлекательный детектив о происхождении Вселенной, где под обугленными корками небесных странников скрываются тайны, которые меняют наше понимание времени и пространства. Ниже я пробегаюсь по ключевым моментам кнги.

Революция Клэра Паттерсона: Когда камни заговорили
До середины XX века возраст Земли оставался предметом споров. Религиозные теологи настаивали на нескольких тысячах лет, основываясь на библейских текстах, в то время как ученые предлагали различные, часто противоречивые теории. Революционный прорыв произошел в 1953 году, когда американский геохимик Клэр Паттерсон применил к метеоритам новый метод радиоизотопного датирования. Он работал с фрагментами метеорита Каньон-Дьябло, упавшего в Аризоне около 50 000 лет назад. Используя соотношение изотопов урана и свинца, Паттерсон определил возраст этого космического камня — и, следовательно, возраст всей Солнечной системы — в 4,55 миллиарда лет. Эта оценка была настолько точной, что с тех пор практически не изменилась.

Хондриты: Капсулы времени из протопланетного диска
Особое место в космической хронологии занимают хондриты — самый распространенный тип метеоритов, составляющий около 85% всех падений на Землю. Эти древние каменные свидетели образовались практически одновременно с Солнцем из того же протопланетного облака газа и пыли. Хондриты получили свое название от характерных сферических образований — хондр, которые сформировались при плавлении силикатной пыли в раскаленном протопланетном диске. Эти крошечные шарики, размером обычно менее миллиметра, представляют собой застывшие капли расплавленного камня, возникшие в условиях экстремальных температур — от 1370 до 1270 Кельвинов.

Наиболее примитивными среди хондритов считаются углистые хондриты, и самый известный из них — метеорит Альенде, упавший в Мексике в 1969 году. Этот космический гость массой около 2 тонн содержит самые древние из известных твердых веществ Солнечной системы — кальций-алюминиевые включения (CAI), возраст которых составляет 4,567 миллиарда лет.

Досолнечные зерна: Звездная пыль древнее Солнца
Но метеориты хранят в себе еще более древние сокровища — досолнечные зерна, частицы звездной пыли, которые старше самой Солнечной системы. Эти микроскопические крупинки, размером от нанометров до микрометров, образовались в атмосферах умирающих звезд или в выбросах сверхновых задолго до рождения нашего Солнца. Самое крупное из обнаруженных досолнечных зерен — «Bonanza», найденное в Мурчисонском метеорите, имеет размер 30 микрометров и возраст 5-7 миллиардов лет. Это самые древние твердые вещества на Земле, буквально звездная пыль из далекого космического прошлого.

Современные методы космической археологии
Современные технологии позволяют извлекать из метеоритов все больше информации о далеком прошлом. Масс-спектрометрия высокого разрешения дает возможность анализировать отдельные зерна размером в доли микрометра. Ионные микрозонды позволяют измерять изотопные соотношения с невероятной точностью — сопоставимой с измерением роста человека с точностью до толщины волоса.

В общем, Тим говорит про изучение метеоритов как про "эпос, с которым нельзя сравниться". Ведь каждый упавший на Землю космический камень несет в себе историю звездных взрывов, межзвездных странствий и рождения планетных систем. Эти древние артефакты не только рассказывают нам о прошлом, но и продолжают открывать новые страницы в книге космической эволюции.

#PopularScience #Physics #Science

Когда мы перестали понимать мир (Un Verdor Terrible) (Рубрика #PopularScience)

Эта книга Бенхамина Лабатута, чилийского писателя, показалась мне крайне интересной. Сегодня утром я снял ее с полки и оторвался только дочитав:) Этот роман из уникального жанра, что автор определил как "художественное произведение, основанное на реальных событиях". Она переведена на 22 языка и стала финалистом Международной Букеровской премии в 2021 году. Речь в книге про реальные события из жизни великих математиков и физиков, среди которых
- Фриц Габер - химик, создатель химического оружия и азотных удобрений
- Карл Шварцшильд - астроном, теоретически предсказавший существование черных дыр
- Нильс Бор - один из основателей квантовой механики
- Вернер Гейзенберг - физик-теоретик, автор принципа неопределенности
- Эрвин Шрёдингер - создатель волновой механики
- Александр Гротендик - выдающийся математик XX века с широкомасштабным влиянием на всю математику
- Синъити Мотидзуки - японский математик, доказавший abc-гипотезу

Бенхамин так закручивает свое повествование, что оно читается как динамичнейший триллер о науке и гранях безумия. Его стиль описывают как многослойный и сложный, создающий ощущение, что он сам по себе - отдельный жанр. Ученые, вышедшие из под его пера, кажутся живыми и эмоциональным. Автор показывает не только их открытия, но и сны, галлюцинации, внутренние переживания. В итоге мы видим разные грани, включающие
- Тревога и страх, сопутствующие великим открытиям
- Психические страдания ученых, сталкивающихся с непознаваемым
- Трагические судьбы: самоубийство жены Фрица Габера, безумие Александра Гротендика
- Экзистенциальный ужас от понимания последствий своих открытий

В итоге, титаны науки предстают перед нами глубоко несчастными людьми, которые сталкиваются с темной стороной великих научных открытий, например,
- Гейзенберг "словно выколол себе оба глаза, чтобы видеть дальше"
- Александр Гротендик, "возможно, самый важный математик XX века", закончил жизнь отшельником, считая математику "величайшей угрозой человеческому существованию"

В книге есть философская глубина и она как бы задает вопрос о том, а есть ли вещи, которые нам не стоит знать.
Итого, это дейтсвительно стоящее произведение, которое демонстрирует не просто великих ученых, а страдающих людей, которым открытия даются дорогой ценой - ценой психического здоровья, человеческих отношений, а иногда и жизни самих ученых.

#PopularScience #Physics #Math #Science

Next-Gen AI for Science (Рубрика #Science)

Интересный доклад Джона Джампера, нобелевского лауреата по химии, на AI Startup School Y Combinator. Интересно, что Джон получил нобелевскую премию вместе с Демисом Хассабисом, который сильно известнее, так как исполнял роль CEO Google DeepMind (я как-то рассказывал про его выступление о AI решафле в Google). Но вот про Джона я знал не очень много, а этот доклад дал чуть больше информации. Научный путь Джона начался с физики, но после разочарования в академической карьере он перешёл в вычислительную биологию, работая над применением машинного обучения для изучения белков.

Ниже представлены ключевые идеи
1. Революция в предсказании структуры белков
Главным достижением команды Джона стала разработка AlphaFold - системы искусственного интеллекта, которая решила 50-летнюю проблему предсказания трёхмерной структуры белков по их аминокислотной последовательности. На конкурсе CASP14 в 2020 году AlphaFold 2 продемонстрировал точность, сопоставимую с экспериментальными методами, достигнув показателя GDT-TS более 90 для большинства белков. Кстати, я уже говорио про сложность предсказания белков при обзоре книги "От оргазма до бессмертия. Записки драг-дизайнера"
2. Важность исследований в машинном обучении
Джон подчеркнул критическую роль научных исследований наряду с данными и вычислительными мощностями. Как он отметил в докладе, команда смогла показать, что AlphaFold 2, обученная на 1% доступных данных, была столь же точной, как предыдущая версия AlphaFold 1, обученная на полном наборе. Это демонстрирует, что новые идеи и исследования могут быть в 100 раз более ценными, чем простое увеличение объёма данных.
3. Компоненты успеха
По словам Джона, три ключевых компонента привели к прорыву:
- Данные: 200,000 известных структур белков из открытой базы данных PDB
- Вычислительные ресурсы: 128 TPU v3 ядер в течение двух недель для финальной модели
- Исследования: небольшая команда (около двух основных исследователей), разработавшая новые архитектурные решения
4. Открытость и доступность
Критически важным решением стало открытие исходного кода AlphaFold и создание базы данных с предсказаниями структур белков. К 2022 году база данных AlphaFold содержала более 200 миллионов предсказаний структур белков, охватывая практически все известные белки. Эта открытость привела к массовому принятию инструмента научным сообществом.
5. Влияние и применения
AlphaFold уже используется более чем 2 миллионами исследователей в 190 странах. Джон привёл пример специального выпуска журнала Science, посвящённого комплексу ядерных пор, где три из четырёх статей активно использовали AlphaFold, при этом команда DeepMind не участвовала в этих исследованиях напрямую. Пользователи нашли способы применения AlphaFold, которые команда не предвидела. Например, исследователь Йошитаки Мориваки через два дня после выпуска кода показал, как AlphaFold можно использовать для предсказания взаимодействий между белками, что стало лучшим методом предсказания белковых взаимодействий. Джон также рассказал о работе лаборатории MIT, которая использовала AlphaFold для реинжиниринга "молекулярного шприца" - белковой системы, способной доставлять целевые белки в конкретные клетки. Исследователи смогли модифицировать белок для таргетированной доставки лекарств в клетки мозга мыши.

Если подводить итоги, то видно, что такие работы ускоряют научный прогресс в целой области. AlphaFold демонстрирует, как ИИ может работать как усилитель для экспериментальных исследователей, заполняя пробелы в научных знаниях. Наиболее интригующим вопросом, по мнению Джампера, остаётся степень общности применения ИИ в науке. Будет ли это несколько узких областей с трансформационным воздействием или очень широкие системы? Он ожидает, что в конечном итоге будут созданы широкие системы, способные революционизировать науку в целом.

#AI #Science #Architecture #ML #Software #Engineering #Startup

Quantifying large language model usage in scientific papers (Рубрика #Science)

Интересный whitepaper про использование LLM в написании научных статей. Я наткнулся на него через рассылку для членов ACM (Association for Computing Machinery), где была ссылка на новость в Science о том, что что примерно одна пятая научных статей в области компьютерных наук включает в себя тексты, сгенерированные при помощи ИИ. Я решил заглянуть в оригинальную статью, чтобы понять как выглядела методология и какие были результаты. В итоге, получилось примерно следующее

- Это был масштабный анализ ~1.1M препринтов и опубликованных статей с января 2020 по сентябрь 2024 (arXiv, bioRxiv, журналы Nature)
- По результатам анализа найден стабильный рост использования LLM, особенно в области компьютерных наук — до 22 % статей содержат AI‑модифицированный текст
- А вот с математикой не все так гладко - AI модификаций примерно в 2 раза ниже
- Модифицированные статьи имеют общие черты - они короткие, написаны в популярных исследовательских доменах, а также их авторы активно публикуют препринты (что не проходят ревью)

Если поразмышлять об этом, то последствия видятся такими
1. Научные работы будут появляться быстрее, но будут как близняшки - авторы, использующие LLM, выбирают разработанные области, в которых уже много наработок и проще получать статьи похожие на настоящие. По итогу, предвижу падение соотношения сигнал/шум в таких доменах
2. Для повышения доверия можно легализовать использование AI, если договориться о правилах использования и разметки частей, к которым LLM приложили свои ручки
3. Давление на инфраструктуру публикаций будет увеличиваться и ручные ревьюверы публикаций справляться не будут - вангую, что скоро автоматизируют ревью и поручат их особо умным LLM, которые смогут готовить анализ новых whitepaper в рецензируемых научных журналах. В лучшем случае тут останутся scientists in the loop, чтобы ревьювить ревью агентов-ревьюверов. А может получиться так, что и статьи и рецензии будут писать LLM агенты:)

#Science #AI #Whitepaper #Humor

The ‘godfather of AI’ reveals the only way humanity can survive superintelligent AI (Рубрика #AI)

Джеффри Хинтон, лауреат Нобелевской премии, последние два года активно говорит про риски AI. И вот в августе он выступил на конференции Ai4 в Лас-Вегасе с радикальным предложением по обеспечению безопасности искусственного интеллекта. Он предлагает встроить в ИИ-системы "материнские инстинкты", чтобы они заботились о людях, даже став сверхразумными. Мне показались разумными его предупреждения и я решил глянуть, а когда из техно-оптимиста, развивающего технологии он поменял концепт. Если говорить про хронологию последних лет, то она выглядела так
- До 2023 он говорил про AGI как отдаленную перспективу (30-50 лет)
- В марте 2023 заявил, что AGI может появиться менее чем через 20 лет
- В мае 2023 покинул Google для открытого обсуждения рисков ИИ (после 10 лет в компании)
- В 2024-2025 он усилил предупреждения и предложил концепцию "материнских инстинктов"

Собственно, его ключевые предупреждения звучат так
- Существует риск вымирания человечества, где 10-20% вероятность того, что ИИ уничтожит человечество
- Сверхразумный ИИ может появиться через 5-20 лет (ранее прогнозы были консервативнымии)
- Текущие попытки "techno bros" держать ИИ в подчинении обречены на провал, поскольку ИИ будет намного умнее людей

Но у Джеффри есть концепция об использовании модели "мать-ребенок" - единственный известный пример контроля менее разумного существа над более разумным. Он считает, что ИИ с "материнскими инстинктами" не захочет избавляться от этого качества, поскольку не будет желать смерти людей.

#AI #Engineering #Science #Software

Code of Leadership #51 - Interview with Alexey Fyodorov about Management & Conferences (Рубрика #Management)

В очередном выпуске подкаста ко мне пришел интересный гость, Алексей Федоров, один из основателей компании JUG.RU, что проводит крутые конференции по различным технологиям на российском рынке. Мы с Алексеем поговорили про его интересный путь через науку в технологии, а потом к организации конференций. Отдельно мы поговорили про первую конференцию для менеджеров, которая называется InBetween, про которую я уже рассказывал отдельно. Краем мы задели даже ICPC, финал которого с 31 августа по 5 сентября - мы записывали этот выпуск, когда Леша уже прилетел в Баку, чтобы помочь в организации финала чемпионата мира по программированию. В общем, за два часа мы успели обсудить много тем

- Введение и знакомство с гостем
- Принципы и традиции выбора названий конференций от JUG.RU
- Биография Алексея Фёдорова, академический путь, переход в ИТ
- Особенности работы с Java и интеграция в мировое комьюнити
- Размышления о роли и подготовке спикеров, критика качества выступлений, путь к евангелизму
- Рост и стандартизация вендерских конференций, примеры крупных ивентов от компаний
- Ощущения участников от повторных посещений конференций, скорость изменений
- Появление и специфика менеджерских конференций, развитие треков по управлению, вопросы специализации
- Влияние Agile на рынок, книги как источники знаний
- Коллаборации между российскими ИТ-компаниями, опыт совместных академий и стажировок, проблема отсутствия обмена экспертизой
- Фронтирные модели: стоимость, доступность, дилемма заключённого и борьба за ресурсы между компаниями
- Роль государства, эволюция рыночных механизмов и регулирование
- Менеджмент, прозрачность и доверие в командах, контроль результатов, анализ мотивов через вопросы и рефлексию
- Влияние платформенной инженерии и формализации процессов на скорость и предсказуемость разработки, инертность крупных систем
- Обзор онлайн активностей на конференции InBetween, что уже прошли в августе
- Примеры докладов с оффлайн части конференции, что будет 8 сентября
- Предполагаемая аудитория конференции
- Влияние кризисов на менеджмент
- Экосистемы и их устойчивость к кризисам
- Конкуренция в экосистемах
- Анонс финала ICPC, где Алексей помогает проведению этих соревнований по программированию

Рекомендации для чтения от Алексея
- Джоэл о программировании
- Серия «Профессионально (Символ)»
Также Леша упоминал про Академию современного программирования

Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music.

#Software #Engineering #Management #Career #Science #Conference #Leadership

Code of Leadership #52 - Interview with Alexander Chernikov about Management and IC Track (Staff +)

В очередном выпуске подкаста ко мне пришел интересный гость, Александр Черников, staff+ engineer в Т-Банке. Мы с Александром поговорили про его интересный путь через увлечение технологиями после фильма "Хакеры", а дальше попадание в IT, развитие по менеджерскому треку в разных российских бигтехах, а потом попадание в Т-Банк. Именно здесь Саша перешел из ветки engineering managers в ветку staff+ engineers и это ему понравилось. Больше историй про стафф инженеров можно услышать в подкасте, причем за полтора часа мы успели обсудить много тем

- Введение и знакомство с гостем
- Переход от инженера к менеджеру: кейсы, страхи, структура карьерных путей IC и менеджера
- Роли и вызовы Staff+ IC: ключевые компетенции, драйверы мотивации
- Взаимодействие между Staff+ IC и менеджерами: ожидания, конфликты, преодоление барьеров
- Стратегическое влияние инженеров высокого уровня: как IC влияют на архитектуру и бизнес
- Ошибки и ловушки развития сотрудников: что мешает росту, способы выхода из тупика
- Советы по выбору трека (IC или менеджмент), разбор типичных сценариев
- Заключение и рекомендации для роста как инженерам и менеджерам

Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music.

#Software #Engineering #Management #Career #Science #Conference #Leadership

Творчество Стругацких глазами инженера и технического директора (Рубрика #SciFi)

Недавно внутри компании мне предложили рассказать про свое отношение к Стругацким, что было приурочено к 100-летию рождения Аркадия Натановича, старшего из братьев. Я с удовольствием согласился поделиться своими мыслями, сделал презентацию и за часик рассказал
1. Тандем братьев: распределение ролей и стиль совместного письма и почему это похоже на парное программирование
2. Про Мир Полудня - утопию от братьев, где были подняты многие социальные диллемы, а также присутствовали фантастические идеи, что превратились в реальные технологии
3. Про "Понедельник начинается в субботу" как научно-фантастическую сказку, описывающую RnD организацию и увлеченных ученых - чем-то напоминает лабыы, что сейчас стремятся создать магический AGI
4. Про прямые праллели с инженерной и исследовательской реальностью - научные идеалы, метрики, бюрократия
5. Зачем читать Стругацких сегодня и чем хороша научная фантастика для инженеров
6. В каком порядке можно начинать чтение

Выпуск доступен на Youtube и VK&

#Science #Software #RnD #Future

Не всё ли равно, что думают другие? (What Do You Care What Other People Think?) (Рубрика #Science)

Я люблю читать книги за авторством Фейнмана, а этот сборник автобиографических историй понравился мне особо. Возможно, это обусловлено названием, в которое вынесен риторический вопрос:) Кстати, я ее прикупил в прошлое посещение Физтеха:)

Если говорить про саму книгу, то она состоит из двух больших частей
1. «Пытливый характер» - тёплые и местами очень личные истории о человеке и учёном: отец и его уроки любознательности, первая любовь и жена Арлин (именно её фраза дала книге название), радость открытия и пр. В русскоязычных изданиях эта часть так и обозначена; в конце помещена речь Фейнмана «Ценность науки».
2. «Мистер Фейнман едет в Вашингтон» - хроника работы в комиссии Роджерса по расследованию катастрофы «Челленджера» (1986): от уличного эксперимента с резиновым O‑ring в стакане со льдом до анализа культуры безопасности и честности в отчётности. В книгу включён и его знаменитый Аппендикс F к отчёту комиссии.

Если говорить про основные идеи книги, то они такие
1. Независимость мышления. Тут мысль про то, что не стоит не позволять чужим ожиданиям подменять собственное мышление и ценности (история Арлин).
2. Реальность важнее статуса и PR. В деле «Челленджера» Фейнман болезненно показывает разрыв между тем, как вещи устроены на самом деле, и тем, как об этом говорят. Его финальная фраза из Аппендикса F стала девизом инженерной честности:

Для успеха технологии реальность должна преобладать над пиаром, потому что природу не обманешь

3. Честная оценка риска. Фейнман сопоставляет инженерные оценки вероятности отказа (порядка 1 к 100) с "верой‑в‑совершенство" у менеджмента (1 к 100 000) и объясняет, почему такая пропасть опасна. В общем, тут про правильный риск менеджмент
4. Думать руками. Простые наглядные эксперименты (как с охлаждённым O‑ring) порой важнее многословных совещаний: правильно поставленный эксперимент делает проблему очевидной для всех. Тут видно, что нужна связь между инженинирингом и менеджментом - когда она теряется, то презентации и отчеты скрывают от людей в высоких кабинетах реальность:)
5. «Ценность науки». Наука - это не каталог истин, а культура сомнения, проверяемости и интеллектуальной честности. Эта речь замыкает книгу и резюмирует этический стержень Фейнмана.

Кажется, что эта книга как никогда актуальна во времена AI-хайпа и снижения критичности мышления у тех, кто слишком доверяет AI-инструментам, а также верит в надежность и безопасность, но не проверяет это на практике:)

P.S.
Книга отправилась в букшеринговый уголок, что у нас есть в нашем офисе - надеюсь, что она найдет новых читателей и поможет им оценить научный подход.

#Science #Engineering #Brain #Thinking #PopularScience #Physics