Опрос, который изменил опросы (Рубрика #Math)

Интересная научная статья о почтовом опросе 1936 года, проведенного крупной и уважаемой газетой "The Literary Digest" среди своих двух миллионов подписчиков. Данный опрос был проведен перед очередными выборами президента США и подписчики просто должны были выбрать кандидата, которого они будут поддерживать на выборах. Результаты опроса предсказывали уверенную победу республиканского кандидата, а реальность выдала противоположный результат - а именно победу демократа с полуторным преимуществом. Такое расхождение в прогнозе и фактах в итоге привело к закрытию газеты, а причина была всего лишь в том, что журнал не принимал во внимание факт того, что на точность прогноза критически влияет репрезентативность выборки из генеральной совокупности:)) А если по простому, то для получения правдоподобных результатов надо правильно формировать множество тех, кто будет проходить опрос.

P.S.
После таких историй почему-то вспоминается крылатая фраза

Есть три вида лжи: ложь, наглая ложь и статистика.

которую больше 100 лет назад Марк Твен приписал премьер-министру Великобритании Бенджамину Дизраэли.

#Math #Data #Statistics

How to Make the World Add Up (Ложь, наглая ложь и статистика) - Part II (Рубрика #Math)

Продолжая рассказ про книгу Тима Харфорда "How to Make the World Add Up", закончу списком оставшихся правил:

4. Чтобы увидеть всю картину, отступите на шаг назад. Важно уметь видеть информацию в контексте, тогда утверждения вида "случился еще один ужасный инцидент" могут заслонять тенденцию, что "в целом количество инцидентов снизилось":) То есть нам необходимы сравнения и контекст, чтобы понять как тезисы согласуются между собой.
5. Узнайте предысторию. Когда мы видим интригующие результаты исследований, то это часто связано с эффектом публикации (publication bias). Если смотреть шире, то нам нужно определить источник статистических данных и изучить, а все ли данные были учтены.
6. Спросите, кого не хватает. Надо всегда задавать себе вопрос, а все ли группы людей были учтены в исследованиях и если не все, то как бы поменялось исследование. В большинстве старых классических психологических исследованиях участниками были студенты колледжей, а не репрезентативная выборка всего населения. Одновременно, там не хватало даже студенток, которых можно было относительно легко привлекать к исследованиям, но об этом как-то не думали раньше. Про это подробнее можно прочитать в посте про "Опрос, что изменил опросы"
7. Требуйте прозрачности от компьютера. Этот пункт особенно актуален в наше время, когда у нас много больших данных и сложных алгоритмов. Важно не бояться задавать неудобные вопросы о том, что это за данные и как именно работает алгоритм. Интересно, что условный perplexity.ai сразу вместе со сгенерированным ответом дает ссылки на источники, откуда он брал информацию. Это не всегда спасает от галлюцинаций, но вы хотя бы можете сделать факт-чекинг.
8. Цените краеугольный камень статистики. Автор предлагает ориентироваться на официальную статистику, особенно в тех странах, где ей не принято манипулировать в угоду политическому курсу.
9. Помните, что дезинформация тоже бывает привлекательной. Если вам показывают красивую визуализацию, график или дашборд, то надо не стесняться и задавать вопросы о том, а что стоит за такой красотой:)
10. Не бойтесь изменить свое мнение. Автор говорит о том, что надо уметь менять свое мнение при появлении нового опыта или доступной информации. То есть надо рефлексировать относительно того, а не заблуждаемся ли мы, настаивая на старой точке зрения.
11. Золотое правило. Сохраняйте любознательность. В общем, автор предлагает копать глубже и задавать больше вопросов. Он выдвигает гипотезу, что любознательность можно прокачивать ...

Я не знаю можно ли прокачивать любознательность, но у меня она с детства была где-то на уровне 10 из 10. Помню как я доставал родителей, воспитателей, тренеров и учителей своими вопросами "А почему все работает именно так":) Походу, любознательность действительно дает хорошие плоды. Развивайте любознательность у себя и своих детей и изучайте с интересом мир вокруг вас!

P.S.
В своей книге автор упоминает и другие книги про статистику
1) Как лгать при помощи статистики (How to Lie with Statistics) - книга, где на пальцах объясняется как врут с помощью статистики. Собственно, автор книги зарабатывал на жизнь тем, что тасовал данные, убеждая в том числе, что курение не приводит к раковым заболеваниям
2) Темные данные (Dark Data. Why What We Don’t Know Is Even More Important Than What We Do) - книга про то, как можно облажаться с данными и что с этим можно сделать
3) The Tyranny of Metrics (Тирания показателей) - эта интересная книга, название которой идет наперекор стандартному подходу к измерению всего и вся:) Она напоминает по структуре научную статью и классно описывает проблемы, которые во многом рождены из закона Гудхарта "Когда мера становится целью, она перестает быть хорошей мерой".

#Math #Management #Statistics

100 мерный арбуз или пару слов про определение успеха (Рубрика #Management)

Чуть раньше я уже рассказывал про научную статью "Assessing IT Project Success: Perception vs. Reality", что была посвящена рассмотрению изменяющегося понимания успеха IT проектов. Раньше эту тему активно педалировали ребята из Standish Group, еще в 1994 году рассказывая в "The CHAOS Report" о том, что большая часть IT проектов проваливается. Они рассматривали успех с точки зрения не просто проекта, а проектного управления, а точнее попадания в проектный треугольник: сроки, бюджет и scope в виде всех заранее определенных фичей.

The project is completed on time and on budget, with all features and functions as initially specified.

Новая статья мне понравилась, а вот старая изначально была с огромным багом в размышлениях. Я этот баг люблю демонстрировать на примере 100 мерного арбуза и оценки того, сколько в нем занимает мякоть, а сколько корочка:) Собственно мякоть - это то, что в Chaos report считается успехом, а корочка - это то, что считается неудачей. Представим, что в условном проекте, что рассматривали в Chaos report 98 фичей, а также отдельно сроки и бюджет. Получается, что у нас сто параметров в многомерном пространстве и прикольно было бы просто представить, а сколько мякоти в 100-мерном арбузе, но его представить себе очень сложно, поэтому давайте начнем разбор с чего-то простого

1) Представим, что у нас одномерный арбуз, а это просто отрезок на линии и его центр точка слева. Причем давайте договоримся, что крайние крайние десять процентов отрезка справа - это корочка. Тогда мякотью будет 90% нашего арбуза
2) Теперь перейдем в двухмерное пространство и здесь арбузом будет круг с радиусом R, причем дальние от центра 10% этого радиуса занимает корочка. Количество арбуза (в двухмерном пространстве это площадь) теперь квадратично зависит от радиуса и получается, что мякоти всего 0.9*0.9 = 81%
3) В привычном трехмерном пространстве арбуз - это шар, количество арбуза (здесь это объем) кубически зависит от радиуса и получается, что мякоти 0.9*0.9*0.9 = 0.729 ~ 73%
4) Продолжая эти размышления мы доходим до 100 мерного арбуза, где мякоти будет уже в гомеопатических количествах, а точнее 0.9^100 = 0.000027 ~ 0.0027%
5) Если же расслабить требования к каждому из критериев в этом стомерном пространстве и сделать так, чтобы мы считали любое отклонение меньше 1% по любому из критериев нормальным, то мы получим мякоти гораздо больше, а точнее 0.99^100 ~ 36,6% (то есть успех будет в 36.6% случаев)

По итогам этих размышлений об арбузах видно, что изначальное определение успеха проекта от Standish Group

The project is completed on time and on budget, with all features and functions as initially specified.

Имело мало смысла и способствовало только нагнетанию страха о том, как плохо управляются IT проекты.
В новом исследовании "Assessing IT Project Success: Perception vs. Reality" с этой точки зрения все сделано гораздо лучше - авторы отделяют оценку успеха по 7 критериям, использую шкалу Лайкерта, а также отдельно спрашивают про глобальный успех проекта. Это позволяет им отслеживать отдельные корреляции между глобальным успехом и остальными критериями.

Если подводить итог, то рекомендую при чтении статьей разбираться с тем, как авторы построили свою модель размышлений и насколько она применима к вашей задаче:)

#Management #Math #Leadership #SystemDesign #CriticalThinking

Enabling efficient analysis of biobank-scale data with genotype representation graphs (Рубрика #Data)

Наткнулся тут в рассылке от ACM (Association of Computing Machinery) на новость, что отлично демонстрирует то, что большие данные уже не такие большие:) Собственно, в генетике данных было всегда много после того, как ученые научились расшифровывать геном. Но эти данные надо было уметь где-то хранить и быстро лопатить для того, чтобы извлекать инсайты. И теперь ученые-исследователи из Корнелла разработали новый метод сжатия данных, который позволяет хранить большие геномные наборы данных на локальных компьютерах. Раньше эти данные весили сотни террабайт, а теперь они жмутся в гигабайты. Этот метод, названный Genotype Representation Graph (GRG), описан в статье, опубликованной 5 декабря 2024 года в Nature Computational Science. GRG использует графы для представления генотипов, что позволяет компактно и интуитивно кодировать информацию о геномах, а также выполнять вычисления без необходимости разжатия данных. Это делает анализ биобанковских данных более эффективным и менее затратным. В отличие от традиционных матричных представлений, GRG фиксирует связи между индивидами через общие мутации в их геномах. Метод был разработан для решения проблемы роста объема данных, который теперь может достигать петабайтов из-за увеличения доступности полногеномных последовательностей. GRG обеспечивает масштабируемость и точное представление данных, позволяя проводить сложные анализы, которые ранее были недоступны из-за высокой вычислительной стоимости.

Исследование уже привлекло внимание научного сообщества, и другие ученые начали тестировать метод на различных наборах данных. Работа поддержана грантом Национального института здравоохранения США.

#Data #Math #Software #Whitepaper

Majorana 1 Explained: The Path to a Million Qubits (Рубрика #PopScience)

Интересное видео от Microsoft про квантовые вычисления и их прорыв в этой области. В общем, квантовые вычисления с нами уже давно, но обычно это здоровенная сильно охлажденная штука в которой несколько десятков кубитов (квантовых битов). А тут ребята из Microsoft рассказывают, что они 17 лет исследовали исследовали и наисследовали новый материал, что помогает организовать топологические кубиты (надо будет отдельно изучить что это и как работает). Этот материал позволяет получить миллион топологических кубитов при комнатной температуре, но пока получено всего восемь. Но это proof of concept, где мы получили 2^3, а обещают, что будет 2^20. Всего лишь надо от 3 до 20 дойти в степени двойки:) Но если вернуться к тому, а почему все так ждали квантовый компьютер, то такие вычисления в перспективе позволят гораздо проще моделировать поведение субатомных частиц, что очень хорошо повлияет на материаловедение, создание новых лекарств и так далее. В общем, на все те области, что сейчас слишком сложно точно считать на классических компьютерах с архитектурой фон Неймана.

Отдельно интересно почитать биографию ученого, в честь которого назван чит. Этторе Майорана был гениальным физиком-теоретиком, что публиковал работы в 30-е годы и предсказал существование особого типа фермионов, которые являются своей собственной античастицей. А лет 15 назад физики наметили путь реализации этих частиц на практике, дальше прошло еще сколько-то лет и Microsoft выпустило этот чип Majorana 1. Интересно, что сам Этторе не стремился к славе - он пропал без вести в 1938 году, но есть документальные подвтерждения, что с 1955 до 1959 он жил в Вэнесуэле, а потом его следы потерялись.

#PopularScience #Physics #Math #Engineering #Software

Программирование. Математические основы, средства, теория (Рубрика #Math)

Сегодня я решил вспомнить книгу Святослава Сергеевича Лаврова 2001 года издания, которая была выпущена в качестве фундаментального учебника по программированию. Автор был ученым, член-корреспондентом АН СССР и одним из пионеров советского программирования. Эта книга стала его последней работой. Честно говоря, я ее купил себе на первом курсе больше 20 лет назад и она мне тогда показалось сложноватой, но я честно пытался ее прочесть. Сейчас, пересматривая этот учебник, я понял почему она тогда показалась мне такой - автор решил в одной книге на 300 страниц дать основы математики и программирования, чтобы показать фундаментальную связь между этими дисциплинами. Зацените список дисцплин, что излогает автор в первой части с математическими основами
- Формальные языки и логические формальные теории
- Propositional and predicate logic
- Теория множеств, а заодно про графы и деревья
- Вероятности, немного про измерение информации и случайные процессы
- Теория вычислимости с lisp и Машиной Тьюринга
Каждая из этих тем тянет на отдельный семестровый курс, а то и больше:) И теперь, когда я пролистывал эту книгу, то мне все кажется достаточно понятным, а 20+ лет назад все казалось не таким ясным
Во второй части автор переходит к основным понятиям и конструкциям языков программирования, где все начинается с дружелюбного использования формы Бэкуса — Наура для описания синтаксиса языка, дальше продолжается описанием структур данных, структуры действий, работы с процедурами, а дальше новыми веяниями в виде объектно-ориентированного и функционального программирования.
В третьей части речь идет про анализ свойств программ, где автор рассказывает про оценку сложности алгоритмов, доказательство свойств программ, формализацию семантики языков программирования и так далее.

В общем, автор написал книгу, в которой программирование рассматривается с математической точки зрения, а не с инженерной. Это сильно отличается от доминирующего подхода в наше время, но имеет свое право на жизнь. Мне в свое время книга понравилась как раз своей математической составляющей, но программировать я решил учиться по другим книгам:)

P.S.
А тем, кто интересуется основами программирования, но хочет почитать про них в научно-популярном формате, я рекомендую книгу "Код: тайный язык информатики" ("Code: The Hidden Language of Computer Hardware and Software"), про которую я уже рассказывал. У нее, кстати, относительно недавно вышло второе издание.

#Math #Engineering #Software

ACM A.M. Turing Award для Эндрю Барто и Ричард Саттон (Рубрика #AI)

ACM A.M. Turing Award получили в этом году Эндрю Барто и Ричард Саттон. Эту награду часто называют "Нобелевской премией в области информатики" и им ее дали за их новаторский вклад в reinforcement learning (обучение с подкреплением). Их сотрудничество, начавшееся в 1980-х годах, ввело ключевые концепции, математические основы и влиятельные алгоритмы, которые стали фундаментальными для современных систем ИИ. Reinforcement learning позволяет машинам обучаться оптимальному поведению путем взаимодействия с окружающей средой через метод проб и ошибок, руководствуясь наградами и штрафами.

Среди их наиболее значимых достижений:
- Развитие концепции temporal-difference learning, а точнее TD-Lambda, позволяющей системам учиться на основе разницы между последовательными предсказаниями
- Создание математических основ обучения с подкреплением с использованием марковских процессов принятия решений
- Разработка методов градиента политики (policy-gradient methods)
- Концепция временной абстракции, позволяющая ИИ учиться поэтапно, что критически важно для систем, которым необходимо рассуждать на длительных временных горизонтах
- Использование нейронных сетей для представления изученных функций

Краеугольным камнем их наследия является влиятельный учебник "Reinforcement Learning: An Introduction", впервые опубликованный в 1998 году, со значительно расширенным вторым изданием, выпущенным в 2018 году. Эта книга широко признана определяющим руководством по reinforcement learning, четко излагающим ключевые идеи и алгоритмы. Кстати, я заказал себе как раз второе издание книги на английском, к концу марта оно доедет ко мне и дальше я попробую ее почитать:)

#AI #Math #Engineering #ML #Software

Глубокое обучение. Погружение в мир нейронных сетей (Рубрика #AI)

Наконец-то у меня дошли руки прочитать эту книгу, что уже лет пять лежала у меня на полке:) Эта книга вышла в 2018 году в издательстве Питер, ас тех пор много воды утекло в мире глубокого обучения, но книга интересна и сейчас. Мне она понравилась тем, что написана российскими авторами, которые хорошо управляются с юмором и математическими основами и нет проблем с переводом:) В книге три части и десять глав, названия которых дают понять насколько интересна книга (добавлю, что каждая часть, глава и подглава сопровождаются забавными эпиграфами)

Часть 1. Как обучать нейронные сети
Глава 1. От биологии к информатике, или We need to go deeper
Глава 2. Предварительные сведения, или Курс молодого бойца
Глава 3. Перцептрон, или Эмбрион мудрого компьютера
Часть 2. Основные архитектуры
Глава 4. Быстрее, глубже, сильнее, или Об оврагах, долинах и трамплинах
Глава 5. Сверточные нейронные сети и автокодировщики, или Не верь глазам своим
Глава 6. Рекуррентные нейронные сети, или Как правильно кусать себя за хвост
Часть 3. Новые архитектуры и применения
Глава 7. Как научить компьютер читать, или Математик - Мужчина + Женщина = ...
Глава 8. Современные архитектуры, или Как в споре рождается истина
Глава 9. Глубокое обучение с подкреплением, или Удивительно происшествие с чемпионом
Глава 10. Нейробаевские методы, или Прошлое и будущее машинного обучения

В общем, книга рассматривает примерно все, что происходило в глубоком обучении до 2018 года, включая, отсылки к работе мозга, теорвер и матстаты, градиентный спуск, сверточные и рекуррентные нейронные сети, распределенные представления слов (word2vec), модели с вниманием и encoder-decoder, глубокое обучение с подкреплением и нейробаесовские методы. Для чтения книги очень полезно быть подкованным в математике на уровне университетского курса - это поволит лучше улавлить магию, происходящую внутри моделей и понимать почему она так работает, а не просто фигачить код в Tensorflow или Keras.

P.S.
Я бы с удовольствием прочитал обновленное переиздание книги с разбором того, что случилось за последние 5+ лет, особенно, если бы авторы сохранили свою теоретико-практическую подачу и юмор.

#AI #Math #Software #ML #Humor

Все формулы мира (Рубрика #PopularScience)

Прочитал с большим удовольствием эту книгу Сергея Попова, современного российского астрофизика, популяризатоар науки,который известен своим умением объяснять сложнейшие концепции физики и математики на доступном, живом языке. Собственно, эта книга написана живым языком и является приглашением взглянуть на математику не как на скучный набор уравнений, а как на универсальный язык природы и инструмент для проникновения в самую суть физических явлений. Сергей показывает, что математические методы не только позволяют строить мосты и запускать спутники, но и лежат в основе самых смелых теорий о рождении Вселенной, черных дырах и квантовых эффектах.

Книга разделена на 4 части и приложения
1) Новый язык
В первой части Попов объясняет, почему математика - это не просто инструмент, а новый язык для описания природы. Он показывает, как идеи проходят путь от смутных, "газообразных" фантазий и философских концепций к "жидким" гипотезам и, наконец, к "кристаллам" научных теорий, выраженных в формулах. Этот процесс похож на фазовые переходы: только на стадии "кристаллизации" идея становится пригодной для строгой проверки и применения. Математика здесь выступает не только средством выражения, но и фильтром, который отделяет реализуемое от невозможного. Например, попытка перенести законы тяготения в четырехмерное пространство приводит к невозможности существования устойчивых орбит - и это ограничение накладывает сама математика, а не физический эксперимент
2) Эволюция
Вторая часть посвящена эволюции идей и научных теорий. Попов сравнивает развитие научных концепций с биологической эволюцией: случайные мутации (новые гипотезы) проходят отбор, и только самые устойчивые и приспособленные выживают. В науке, как и в природе, "отбор" - это не случайный процесс, а мощная организующая сила, формирующая из хаоса закономерный результат. При этом "ландшафт приспособленности" научных идей постоянно меняется: новое открытие в одной области может изменить требования к теориям в другой, и даже небольшое изменение "окружения" приводит к перестройке всей системы знаний
3) Метаморфозы и варианты
В этой части рассматривается, как одна и та же идея может преобразовываться, порождать разные варианты и модификации в зависимости от условий и новых данных. Научные концепции, как и живые организмы, склонны к метаморфозам: меняются детали, уточняются формулировки, появляются альтернативные подходы. Попов подчеркивает, что наука - это не статичная система, а динамичный процесс, в котором даже устоявшиеся формулы могут быть пересмотрены или заменены по мере накопления новых фактов и развития методов.
4) Предвидение
Четвертая часть посвящена предсказательной силе науки. Повов показывает, что одна из главных задач научной теории - делать количественные предсказания, которые можно проверить экспериментально. Именно формулы позволяют заглядывать за горизонт известных фактов, предсказывать новые явления и даже открывать ранее неизвестные объекты. Однако автор отмечает, что предвидение в науке всегда связано с риском: иногда теория предсказывает невозможное или сталкивается с пределами применимости математики. В таких случаях приходится либо пересматривать исходные предпосылки, либо искать новые математические инструменты.
5) Приложения
В заключительной части Сергей Попов приводит примеры из разных областей науки и техники, где математика становится ключом к решению практических задач. Здесь обсуждаются реальные кейсы из астрономии, физики, инженерии.

Если суммировать, то эта небольшая научно-популярная книга отлично подходит для всех, кто хочет понять, как устроена Вселенная и причем здесь математика.

#PopularScience #Cosmos #Physics #Math

AlphaEvolve: A Gemini-powered coding agent for designing advanced algorithms (Рубрика #AI)

В середине мая Google выпустила интересную статью про своего агента AlphaEvolve, который способен разрабатывать продвинутые алгоритмы для решения задач оптимизации. По-факту, это эволюционирующий coding agent на базе пары LLM от Google. Более подробный рассказ о внутренностях этого агента доступен в отдельной научной статье (на 44 страницы). Этот алгоритм AlphaEvolve – результат коллективной работы команды Google DeepMind под руководством восьми ведущих исследователей, внесших равный вклад: Alexander Novikov, Ngân Vũ, Marvin Eisenberger, Emilien Dupont, Po-Sen Huang, Adam Zsolt Wagner, Sergey Shirobokov и Borislav Kozlovskii. Среди других авторов: Francisco J. R. Ruiz, Abbas Mehrabian, M. Pawan Kumar, Abigail See, Swarat Chaudhuri, George Holland, Alex Davies, Sebastian Nowozin, Pushmeet Kohli и Matej Balog. Данный коллектив объединил специалистов в области машинного обучения, алгоритмической оптимизации и математического моделирования.

Если говорить про схему работы агента, то ключевые моменты следующие
1. В системе используется два типа моделей
- Gemini Flash – более быстрая и эффективная модель с низкой задержкой, максимизирующая объем генерируемых идей за единицу времени
- Gemini Pro – более мощная модель, обеспечивающая периодические высококачественные предложения для прорывных решений
2. Система использует эволюционный подход к модификации кода
AlphaEvolve использует эволюционную структуру, где агенты предлагают программы, реализующие алгоритмические решения в виде кода. Эти решения автоматически оцениваются при помощи чего-то типа fitness functions
3.Автоматизированная оценка
Система включает автоматизированные оценщики, которые проверяют, запускают и оценивают предложенные программы по объективным метрикам. Это обеспечивает количественную оценку точности и качества каждого решения, делая систему особенно эффективной в областях, где прогресс может быть четко и систематически измерен. Вот цитата из научной статьи, на которую я давал ссылку выше

The LLM-directed evolution process is grounded using code execution and automatic evaluation

В статье ребята рассказывают про крутые результаты модели
- Повышение эффективности дата-центров: AlphaEvolve разработал эвристику для оркестратора Borg, которая непрерывно восстанавливает в среднем 0,7% мировых вычислительных ресурсов Google.
- Оптимизация чипов: система предложила переписать код Verilog для удаления избыточных битов в арифметической схеме умножения матриц, что было интегрировано в новую версию TPU.
- Ускорение обучения LLM моделей: AlphaEvolve ускорил ключевой компонент архитектуры Gemini на 23%, что привело к сокращению времени обучения Gemini на 1%
- Новый алгоритм умножения матриц: AlphaEvolve обнаружил алгоритм для умножения комплексных матриц 4×4 с использованием всего 48 скалярных умножений, что превосходит алгоритм Штрассена 1969 года, что был топовым раньше.

Эти достижения базируются на предудыщих исследованиях
- AI Co-scientist (2025) - мультиагентная система на базе Gemini 2.0, предназначенная для помощи ученым в генерации новых гипотез и исследовательских предложений.
- AlphaTensor (2022) - система от DeepMind, специализирующаяся на автоматическом обнаружении новых алгоритмов умножения матриц с использованием глубокого обучения с подкреплением.
- AlphaZero (2018) - Технология глубокого обучения с подкреплением, лежащая в основе этих систем, берет свое начало от AlphaZero – самообучающейся системы DeepMind, которая освоила настольные игры, такие как го, шахматы и сёги.

В итоге, у авторов этой агентской системы большие планы на ее дальнейшее развитие, но уже в текущем состоянии результаты выглядят очень круто и применимо для широкого круга задач. По-факту, авторы показали как можно перейти от специализированных систем к более гибким агентам.

#AI #Software #Engineering #Architecture #Agents #Math #Software #ML

Moving Faster and Reducing Risk: Using LLMs in Release Deployment (Рубрика #AI)

Интересный lighting talk с DPE Summit 2024 от Руи Абреу из Meta на тему повышения надежности релизов при помощи LLMs (Meta признана экстремисткой организацией и ее деятельность запрещена на территории России).

Основные моменты из этого выступления представлены ниже

1. Проблема масштаба в релизной инженерии - на масштабах Meta невозможно централизованно решать, что выпускать в продакшн. Ответственность передается разработчикам, пишущим и ревьюящим код.
2. Треугольник продуктивности - для ребят продуктивность является балансом между тремя измерениями: скорость (velocity), надежность (reliability) и читаемость кода (readability). Оптимизация одного параметра влияет на остальные.
3. Система оценки рисков диффов - ребята разработали модели для предсказания вероятности того, что diff вызовет серьезный сбой, влияющий на пользователей
4. Эволюция практик code freeze - ребята перешли от полной блокировки изменений к интеллектуальному гейтингу на основе оценки рисков.
5. Многоуровневое гейтирование - ввели четыре типа ограничений: зеленый (без ограничений), выходные дни (5%), средний риск (10%) и высокий риск (50% самых рискованных диффов).
6. Сравнение подходов к ML - проверяли модели на базе логистической регрессии, BERT-based моделей (StarBERT) и генеративных LLM для предсказания рисков.
7. Превосходство risk-aligned LLM - по результатам тестов победили risk-aligned модели iDiffLlama-13B
8. Упрощение feature engineering - для LLM моделей потребовались только три входных параметра: название изменений , план тестирования и сами изменения кода (интересно, что summary изменений в модель не подаются, так как они позволяют манипуляции).
9. Практические применения - по итогу внедрения этих рисковых моделей ребята смогли прийти к рекомендациям ревьюеров для рискованных диффов, автоматическому одобрению низкорискованных изменений, ну и общему улучшению процесса релизов.
10. Баланс скорости и качества - появилась возможность "разморозить" некоторые диффы во время code freeze, не блокируя все изменения на 100%, что повышает продуктивность инженеров.

В итоге, это интересный подход для повышения качества через гибкое управление рисками релизов. Интересно, насколько это реально работает в Meta и раскатано ли на все продукты/проекты.

#AI #Software #Engineering #Architecture #Agents #Math #Software #ML

[2/2] What's the Use?: The Unreasonable Effectiveness of Mathematics (Это база. Зачем нужна математика в повседневной жизни) (Рубрика #Math)

Продолжая рассказ, об этой научно-популярной книге, расскажу содержание оставшихся глав

4. Почки Кенигсберга - все начинается с задачи о мостах Кёнигсберга, появления теории графов, а дальше их применения для трансплантации органов в UK.
5. Будьте осторожны в киберпространстве - здесь по классике идет речь про шифрование, дальше про ассиметричное шифрование, использование для этого разложения на простые числа, а потом переход к эллиптическим кривым
6. Числовая плоскость - здесь автор рассказывает про натуральные числа, рациональные, иррациональные и комплексные. Он рассказывает как появились комплексные числа и что их представление - это уже не числовая прямая, а числовая плоскость, где интерпретация связана с синусами и косинусами. Интересно, что для многих физических задач использование комплексных чисел позволяет проще описывать и решать задать задачи
7. Папа, ты научился перемножать триплеты - рассказ про квартернионы Гамильтона, которые позволяют проще описывать и решать задачи преобразования положения объектов в трехмерном пространстве. Это очень пригождается в трехмерной графике.
8. Вот это отскок - интересная глава, где автор переходит от расчета параметров пружин к аттракторам Лоренца и теории хаоса
9. Верь мне, я ряд Фурье - здесь автор рассказывает про разложение в ряд Фурье, дальше про преобразование Родона и как все это используется в условных КТ аппаратах для восстановления трехмерного изображения по большому количеству двумерных проекций с разных направлений
10. Улыбнитесь, пожалуйста! - коротенькая глава про сохранение изображений, где есть рассказ про jpeg, а также про использование вейвлетов для хранения изображений отпечатков пальцев в архиве ФБР
11. Мы уже почти приехали? - автор рассказывает про то, как работает GPS и какие области физики и математики нужны для работы геопозиционирования
12. Оттаивание Арктики - рассказ как модель для магнитов была переиспользована для анализа таяния прудов на поверхности льдин. Очень интересный и нетривиальный пример
13. Позовите тополога - базовый рассказ, что начинается с ленты Мебиуса, бутылки Клейна и быстро переходит к инвариантам и рассказом про гомологиям, когомологиям, а также к прикладной топологии, где автор рассказывает про постоянные гомологии, что можно использовать для анализа покрытия некоторой территории датчиками. В общем, эту главу не так уж и просто читать.
14. Лиса и еж - эта глава завершает книгу и в ней автор размышляет о природе математического мышления и его роли в человеческой цивилизации, используя метафору лисы и ежа, а также фантастический образ математикоядных инопланетян. Стюарт опирается на знаменитое высказывание: «Лиса знает много разных вещей, а ёж — одну, но большую». Для иллюстрации он вводит образ «математикоядных инопланетян». Представьте себе цивилизацию, которая охотится на математику, чтобы выжить, и потому вынуждена искать новые математические идеи везде, где только можно. Тут она прилетает в гости к нам и начинает есть нашу математику, начиная с изысков высшей математики. Дальше у нас начинают исчезать общепринятые вещи - телефоны, компьютеры, интернет, геопозиционирование, ... Эти инопланетяне останавливаются, но у нас остается только арифметика, которой они побрезговали, а также каменный век вокруг нас.

Через эту историю Иэн показывает принципиальное значение математики для окружающего нас мира, хотя большая часть людей не знает об этом. Иэн предлагает популяризировать это и увеличивать количество людей занимающихся математикой, где она воспринимается как насыщенная творческая дисциплина, а не примитивная карикатура, какой ее нередко представляют. И завершается книга фразой
Да, лиса знает много секретов, а математики - всего один, но очень большой. Он называется математикой, и он преобразует наш мир.
#PopularScience #Math #Physics

GitHub CEO predicts the future of programming (AI)

Посмотрел на выходных интервью Thomas Dohmk, CEO GitHub, которое у него брал Matthew Berman, известный AI-блогер. Само общение состоялось уже после MS Build, где GitHub анонсировал open source для своего чата внутри VSCode "GitHub Copilot Chat". Основные мысли интервью ниже

1. Влияние GPT и начало Copilot
Генеральный директор GitHub признаёт, что изначально сомневался в работоспособности GPT, но был впечатлён результатами: GPT изменил подход к разработке ПО навсегда. Copilot стал первым массовым инструментом, который завершает код за пользователя, и это оказалось крайне востребованным
2. Статистика и пользовательский опыт
Copilot пишет 25% кода в файлах, где он включён, а уровень удовлетворённости пользователей очень высок (NPS — 72). Интеграция с редакторами (VS Code) и code completion стали точкой входа AI в ежедневную работу разработчика
3. Образование и значимость программирования
Программирование остаётся важным навыком для понимания современного мира, его нужно преподавать детям и взрослым. Основы информатики и умение читать код — это универсальная грамотность будущего.
4. Роль и ответственность разработчика
Даже с появлением copilot агентов инженер должен проверять и подтверждать изменения, чтобы избежать ошибок и проблем с безопасностью. Важно понимать, что делает ИИ-агент, и не терять контроль над кодом
5. Эволюция индустрии и открытый исходный код
Открытый исходный код стал стандартом индустрии, а Copilot теперь доступен как open source для интеграции и доработки сообществом (речь идет про расширение для чата). GitHub и Microsoft делают ставку на использование нескольких моделей ИИ для разных задач, а не на одну универсальную (одну для code completion из-за требований к latency, другую для агентских workflow, где latency не так важно и можно использовать модель поумнее и помедленнее)
6. Будущее разработки: агенты и микро-приложения
Интересная идея о том, что в будущем персональные агенты могут создавать мини-приложения "на лету" для конкретных задач, а операционная система будет скрыта за ИИ-интерфейсом. Пример: автоматизация семейных задач (управление карманными деньгами детей) с помощью Copilot и персонализированных приложений
7. Vibe Coding и ограничения ИИ
Vibe Coding — подход, при котором ИИ помогает быстро воплощать идеи в прототипы, но для серьёзных задач нужны ревью, безопасность и стандарты. ИИ-агенты пока ограничены по объёму обрабатываемого кода, но в будущем смогут работать с большими проектами и тогда вайбкодить станет еще проще.
8. Интеграция и экосистема ИИ-агентов
Ожидается появление экосистемы персональных ИИ-агентов, интегрированных с работой и личной жизнью пользователя. Знания, связанные с работой, будут принадлежать компании, а личные — останутся у пользователя. Чем-то этот концепт напоминает сериал "Разделение", который я не смотрел, но про который слышал.
9. Влияние на рынок труда и новые профессии
ИИ автоматизирует рутинные задачи, но открывает новые профессии и возможности, даже для тех, кто не владеет английским языком. Как и в прошлые технологические революции, часть профессий исчезнет, но появятся новые роли и специализации.
10. Оптимизм в отношении ИИ
Томас выражает оптимизм: ИИ не заменит людей, а поможет решать больше задач, повысит продуктивность и создаст новые возможности для разработчиков

В общем, интервью неплохо показывает как быстро развивается сфера AI-assisted programming и какую роль в этом играет GitHub как лидер индустрии. Основной посыл: AI не заменяет программистов, а делает их более продуктивными, позволяя сосредоточиться на креативных и стратегических аспектах разработки.

#AI #Software #Engineering #Architecture #Agents #Math #Software #ML #Leadership

Когда мы перестали понимать мир (Un Verdor Terrible) (Рубрика #PopularScience)

Эта книга Бенхамина Лабатута, чилийского писателя, показалась мне крайне интересной. Сегодня утром я снял ее с полки и оторвался только дочитав:) Этот роман из уникального жанра, что автор определил как "художественное произведение, основанное на реальных событиях". Она переведена на 22 языка и стала финалистом Международной Букеровской премии в 2021 году. Речь в книге про реальные события из жизни великих математиков и физиков, среди которых
- Фриц Габер - химик, создатель химического оружия и азотных удобрений
- Карл Шварцшильд - астроном, теоретически предсказавший существование черных дыр
- Нильс Бор - один из основателей квантовой механики
- Вернер Гейзенберг - физик-теоретик, автор принципа неопределенности
- Эрвин Шрёдингер - создатель волновой механики
- Александр Гротендик - выдающийся математик XX века с широкомасштабным влиянием на всю математику
- Синъити Мотидзуки - японский математик, доказавший abc-гипотезу

Бенхамин так закручивает свое повествование, что оно читается как динамичнейший триллер о науке и гранях безумия. Его стиль описывают как многослойный и сложный, создающий ощущение, что он сам по себе - отдельный жанр. Ученые, вышедшие из под его пера, кажутся живыми и эмоциональным. Автор показывает не только их открытия, но и сны, галлюцинации, внутренние переживания. В итоге мы видим разные грани, включающие
- Тревога и страх, сопутствующие великим открытиям
- Психические страдания ученых, сталкивающихся с непознаваемым
- Трагические судьбы: самоубийство жены Фрица Габера, безумие Александра Гротендика
- Экзистенциальный ужас от понимания последствий своих открытий

В итоге, титаны науки предстают перед нами глубоко несчастными людьми, которые сталкиваются с темной стороной великих научных открытий, например,
- Гейзенберг "словно выколол себе оба глаза, чтобы видеть дальше"
- Александр Гротендик, "возможно, самый важный математик XX века", закончил жизнь отшельником, считая математику "величайшей угрозой человеческому существованию"

В книге есть философская глубина и она как бы задает вопрос о том, а есть ли вещи, которые нам не стоит знать.
Итого, это дейтсвительно стоящее произведение, которое демонстрирует не просто великих ученых, а страдающих людей, которым открытия даются дорогой ценой - ценой психического здоровья, человеческих отношений, а иногда и жизни самих ученых.

#PopularScience #Physics #Math #Science

Охота на электроовец: большая книга искусственного интеллекта (Рубрика #AI)

За квартал я справился с первым томом этой книги Сергея Маркова, в которой он решил описать откуда взялись нейросети, как они устроены и куда всё идёт:) Отмечу, что многие истории из книги я уже знал, но в более сокращенном варианте (из-за чего часто история воспринималась более плоско и в черно-белом стиле). Интересно, что за время моего чтения по вечерам этой книги ей присудили Беляевскую премию 2025 года в номинации «за лучшую оригинальную научно‑популярную/научно‑художественную книгу на русском языке». Если попробовать фрагментарно описать за что ее стоит прочитать, то за
- За глубокое погружение в анналы истории: от античных механизмов и первых вычислительных устройств до компьютерных шахмат, AlexNet и «революции глубокого обучения».
- За рассказ о людях, что стояли за нейросетями: от Мак‑Каллока и Питтса и перцептрона Розенблатта до бэкпропа, Хинтона и современного DL
- За отличные иллюстрации и дизайн книги - в цветном издании это все смотрится превосходно
- За изложение математических основ понятно и без зубодробительных формул
- За историю «думающих машин», где игры выступали как двигатель ИИ (шахматы/го)

Книга есть в электронном виде бесплатно на сайте автора, а также можно купить бумажное издание от ДМК Пресс.

#PopularScience #AI #DS #Data #Math #History #Economics

The Thinking Game (Рубрика #AI)

Я очень люблю смотреть документальные фильмы про технологии и ученых, поэтому с большим интересом посмотрел этот фильм режиссёра Greg Kohs про AGI, DeepMind и персонально Demis Hassabis. На самом деле "The Thinking Game" создавался на протяжении пяти лет той же самой командой, которая ранее получила признание за документальный фильм "AlphaGo", о котором я уже рассказывал. Фильм показывали на фестивалях в 2024 году, а в конце ноября 2025 года он вышел на Youtube.

Для меня название этого фильма перекликается с фильмом "The imitation game" про Алана Тьюринга и его классическим whitepaper "Computing machinery and intelligence", про который я уже рассказывал. Но если фильм про Алана только основан на реальных событиях, то фильм про Демиса документальныйы и погружает нас в реальную атмосферу лондонской лаборатории DeepMind и показывает, как команда работает над AGI. Фильм сочетает повествование о научных прорывах DeepMind с элементами биографии самого Хассабиса. Мы узнаём о ранних годах Демиса: его детском увлечении шахматами и видеоиграми, победах в турнирах и становлении как одарённого программиста. Эти личные истории переплетены с историей компании, демонстрируя, как юношеская страсть Хассабиса к играм и интерес к работе мозга переросли в амбициозный проект по созданию разумных алгоритмов.

В документальной ленте задействованы реальные люди
- Демис Хассабис - сооснователь и генеральный директор DeepMind, вокруг которого крутится сюжет
- Шейн Легг (Shane Legg) – сооснователь DeepMind и давний коллега Хассабиса, который вспоминает о старте компании
- Ведущие ученые: David Silver - ведущий разработчик программы AlphaGo, Корай Кавуккуоглу (Koray Kavukcuoglu) - один из руководителей исследований DeepMind, Рая Хадселл (Raia Hadsell) - специалиста по робототехнике, Джон Джампер - лид проекта AlphaFold, что разделил с Демисом Нобелевскую премию по химии за 2024 год.
- Эрик Шмидт (Eric Schmidt) - бывший генеральный директор Google, который освещает связь Google с DeepMind и значение их разработок
- Стюарт Рассел (Stuart J. Russell), известный эксперт по ИИ и соавтор классического учебника по AI (в этом учебнике его соавтором был Питер Норвиг, экс director of research and search quality в Google, автор статьи 2012 года "Google's Hybrid Approach to Research", которую я разбирал )

В фильме рассматривались следующие ключевые моменты
- Создание DeepMind в 2010 году совместно Демисом Хассабисом, Шейном Леггом и Мустафой Сулейманом
- Google в 2014 покупает компанию за 400 млн долларов. С этого момента DeepMind стала частью Google (ныне Google DeepMind), получив доступ к огромным вычислительным ресурсам для своих исследований
- Прорывы в играх: AlphaGo и AlphaZero. AlphaGo обыграла легендарного чемпиона мира Ли Седоля в 2016 году, а в 2017 году и китайского чемпиона Кэ Цзе, сильнейшего в мире игрока в го. Матч транслировался в Китае в прямом эфире, но дальше эфир был прерван, когда компьютер победил. Дальше был уход в сторону от партий людей и улучшенная версию AlphaGo Zero уже обучалась играть самостоятельно без данных от человеческих партий.
- Прорывы в науке: AlphaFold и другие проекты. Фильм подробно освещает проект AlphaFold, направленный на предсказание пространственной структуры белка по его аминокислотной последовательности - проблему, над которой учёные безуспешно бились десятилетиями. Кстати, про эту проблему есть интересная научно-популярная книга "От оргазма до бессмертия. Записки драг-дизайнера", о которой я уже рассказывал. Именно за AlphaFold Демис и Джон Джампер получили Нобелевку, кстати, выступление Джона "Next-Gen AI for Science" я уже разбирал раньше.

Кстати, фильм вышел на экраны кинофестивалей в 2024 году, поэтому дальнейшая история в нем не упоминается. Но уже в 2025 году вышло продолжение исследований команды в виде AlphaEvolve - агента для решения оптимизационных задач через написание кода. Я рассказывал об этом прорыве раньше.

Итого, фильм мне понравился, рекомендую его к просмотру.

#AI #Software #Engineering #Architecture #Agents #Math #Software #ML #Documentary