Стратсессия в Ереване (Рубрика #Strategy)

Улетел на 3 дня в Ереван, чтобы с коллегами поговорить про результаты и стратегию отдела, что занимается на всю компанию продуктовой аналитикой, a/b экспериментами, расчетом метрик и т.д. Это очень важные темы, которые позволяют крупной комапнии оптимизировать свои продукты и процессы опираясь на данные, а не на мнения самых высокооплачиваемых людей (HiPPO, Highest Paid Person's Opinion). Именно поэтому нашу систему для экспериментов мы назвали HiPPO:) Кстати, с Андреем Цыбиным, руководителем отдела мы уже записывали серию подкаста "Code of Leadership", где мы обсуждали часть про продуктовую аналитику (систему Statist), а вскоре запишем новую серию про a/b платформу. Но вообще, наша a/b платформа основывается методологически на книге Доверительное a/b тестирование (Trustworthy Online Controlled Experiments), что написали - Ron Kohavi (Fellow & VP @ Microsoft), Diane Tang (Fellow @ Google), Ya Xu (head of DS @ LinkedIn).

В начале стратсессии я рассказал про важность работы с данными и получения инсайтов на примере Netflix - они в 2023 году на появившуюся позицию CTO назначил руководителя блока Data & Insight. Этим руководителем была Элизабет Стоун (про подкаст с которой я рассказывал раньше). Собственно, для нашей компании с большим количеством зрелых продуктов, экосистемных эффектов, разным подходам при работе с сегментами, эти подходы важны не меньше, чем тому же Netflix. Ну и во время стратсессии мы планируем провести сессию event storming, которая позволяет пошарить понимание процессов работы над экспериментами, статистикой и так далее. Это позволит нам понять как дальше улучшать user experience наших коллег при работе в этом домене.

P.S.
Последний раз в Ереване я был 2 года назад, когда на открытии нашего офиса рассказывал про RnD в крупных компаниях. С тех пор я заметил, что парк машин обновился и в такси приезжают новенькие BYD:)

#Culture #Management #Leadership #Processes #Engineering #Software #Metrics #Strategy

EventStorming (Рубрика #Architecture)

Сегодня провел день в роли фасиллитатора сессии event storming, которая была посвящена домену a/b экспериментов. Это было занимательно и утомительно:) Этот подход придумал Alberto Brandolini для того, чтобы пошарить знания между экспертами доменной области и разработчиками максимально эффективно.

Сама техника представляет из себя воркшоп из следущего набора шагов (часто глубина проработки может быть не такой детальной)
- Unstructured exploration — на этом шаге в режиме брейншторма все участники группы самостоятельно накидывают на доску domain events
- Timelines — сгенерированные на предыдущем шаге domain events выстраиваются в хронологическом порядке, начиная с happy path
- Commands — на этом шаге добавляются commands, которые описывают что именно триггерит событие или поток событий. У части команд есть actor, который и запускает выполнение команды
- Policies — на этом шаге идет разбор команд, которые не имеют actor. У таких команд есть policy, когда запускается такая команда, обычно она завязана на наступление какого-то другого domain event
- External systems — на этом шаге модель расширяется внешними системами, которые не являются частью домена, что разбирается, но которые участвуют в процессе, например, исполняют command или получают нотификации о domain events
- Aggregates — когда все команды и события на месте, участники могут начать задумываться об оптимизации и выделении aggregates, которые получают команды и генерируют события
- Bounded contexts — на последнем шаге время посмотреть на всю картину. Группы тесно связанных aggregates являются естественными кандидатами на определение границ для bounded contexts

На приложенных фотографиях
1. Кусочек получившейся сегодня схемы - ребята отлично поработали, собрали timeline сложного процесса, выделили actors и проработали разделение на bounded contexts
2. Примерная поэтапная схема проведения воркшопа

P.S.
У автора подхода есть книга, которая уже много лет написана на 70%. Я ее даже как-то читал:)
Есть куча выступлений с описанием подхода:
- с конференции GOTO в 2018
- с конференции DDD Europe в 2019
- с конференции USI Events в 2021

#DDD #Architecture #Processes #EventStorming

[1/2] Китайский взгляд на мир (China's World View) (Рубрика #Economics)

С большим интересом прочитал эту книгу, что написал Дэвид Ли Даокуй, ведущий китайский экономист. Он родился в 1963 году, получил степень PhD по экономике в Гарварде, а с 2006 года является профессором экономики в Университете Цинхуа. Ли занимал пост декана программы «Шварцман» в Цинхуа и входил в состав Комитета по денежно-кредитной политике Народного банка Китая (центробанка КНР). Кроме академической работы, он многократно консультировал высшее руководство КНР по экономическим вопросам и работал в международных организациях.

Основная мысл этой книги о том, что рост Китая не угрожает миру, а напротив, несёт глобальные выгоды и может сосуществовать с Западом мирно - при условии взаимопонимания и отказа от мифов о "китайской угрозе". Интересно, что эта книга чем-то похожа на книгу Владимира Попова "Китайская модель. Почему Китай отставал от Запада, а теперь его обгоняет", о которой я уже рассказывал, но если Владимир описывает Китай с точки зрения России, то Дэвид показывает нам вид изнутри. Если говорить про основные тезисы книги, то они такие

1️⃣ Усиление Китая выгодно всему миру, а не опасно
Ли утверждает, что подъём Китая сулит глобальные преимущества, а не угрозы
- Благодаря Китаю удешевилось производство потребительских товаров
- Значительная часть доходов Китая возвращается Западу
- Китай борится с изменением климата, ускоряет научные исследования и даже создал "здоровую конкуренцию" США
Иными словами, экономический рост Китая делает мировую экономику более эффективной и стимулирует прогресс в глобальных проблемах.

2️⃣ Китай не экспортирует идеологию и "китайскую модель"
Автор подчёркивает, что КНР не стремится и не способна навязать свою идеологию другим странам. Даже если говорить о "китайской модели", её невозможно скопировать за рубежом из-за уникального историко-культурного контекста Китая. Вместо мировой экспансии идей Пекин сосредоточен на внутренних задачах и добивается лишь уважительного отношения от международного сообщества

3️⃣ Неизбежность конфликта США и Китая опровергается (ловушка Фукидида не сработает)
Ли Даокуй полемизирует с популярной теорией о "ловушке Фукидида", согласно которой восходящая держава (Китай) неизбежно воюет с доминирующей (США). Он указывает, что эта историческая схема основана на опыте внутрицивилизационной борьбы на Западе, тогда как Китай принадлежит иной цивилизации. В истории Китай, за редкими исключениями (монгольская династия Юань, маньчжурская Цин), не вёл экспансионистских захватнических войн. Конфуцианская политическая доктрина призывает избегать конфликта с соседями, а если война случилась - одержать победу и затем отступить, стремясь завоевать сердца побеждённых вместо оккупации

4️⃣ Китай не является "ревизионистской" державой и не строит антизападных блоков
Ли опровергает обвинения в том, что Пекин хочет переломить существующий мировой порядок. Напротив, Китай - один из главных бенефициаров нынешней международной системы и не заинтересован ломать правила, от которых выигрывает. По мнению автора, сегодня скорее сами США и их союзники пытаются пересмотреть устои мира, тогда как КНР удовлетворена своим местом

5️⃣ Особенности китайского подхода к управлению
Автор выделяет следующие особенности политики, сложившиеся исторически
1) "Принцип всеобъемлющей ответственности правительства" - конфуцианская традиция, по которой власть воспринимается как заботливый отец народа и несёт ответственность за благосостояние подданных.
2) Строгая внутренняя дисциплина в рядах правящей партии, что позволяет КПК оставаться гибкой и прагматичной организацией, нацеленной на результат, а не скованной догмами
3) Дипломатия на основе взаимного уважения. Китай стремится не к материальной выгоде, а к тому, чтобы к стране относились с должным уважением на международной арене. Это желание восстановления исторического статуса Китая пронизывает внешнеполитическую философию Пекина.

В следующем посте будет продолжение разбора книги.

#Economics #Strategy #Processes #History #PopularScience

[1/2] Сравнение книг "Китайский взгляд на мир" и "Китайская модель: ретроспектива и перспектива"

Интересно сравнить труд Ли Даокуя с книгой российского экономиста Владимира Попова «Китайская модель. Ретроспектива и перспектива». Обе книги я прочитал недавно и оба автора пишут про развитие Китая, но с несколько разных ракурсов - внутреннего китайского и внешнего (российского) - и их выводы дополняют друг друга.

Общие черты и точки соприкосновения

1️⃣ Признание успеха китайской модели
Ли Даокуй и Владимир Попов сходятся в том, что опыт Китая последних десятилетий - уникально успешный. Попов прямо ставит вопрос: не является ли китайская социально-экономическая модель более конкурентоспособной, чем либеральная западная? Ли, в свою очередь, всю книгу доказывает, что китайская система эффективна (хоть и специфична) и вовсе не обречена на провал, как думали раньше на Западе. Оба автора таким образом оспаривают западные стереотипы: Ли - миф об агрессивности и негибкости Китая, Попов - миф, что только либеральная модель ведёт к процветанию. Оба подчеркивают исторические корни китайского пути: Ли - через конфуцианство и традиции, Попов - через анализ «азиатских ценностей» и коллективистской культуры

2️⃣ Критика западоцентричных объяснений истории
Попов в своей книге делает акцент на исторической экономике: он утверждает, что возвышение Запада с XVIII–XIX вв. было обусловлено не превосходством свободы или демократии, а жесткой мобилизацией ресурсов - повышением нормы сбережений, промышленной революцией ценой роста неравенства и разрушения традиционных общин. Ли Даокуй менее детально разбирает историю, но сходные мотивы есть - он неоднократно намекает, что Запад не должен считать свои ценности универсальным мерилом прогресса, потому что путь Китая другой, но тоже успешный. Оба автора, по сути, провозглашают плюрализм путей развития: нет единственно верной модели - китайская система с сильным государством тоже доказала свою результативность.

3️⃣ Будущее соревнование моделей и риск конфликта
Здесь позиции Ли и Попова перекликаются, хотя оттенки разные. Попов прямо спрашивает: чем закончится соревнование коллективистской восточноазиатской модели и либеральной западной, которое мы наблюдаем? Он отмечает, что западная модель сейчас сталкивается с трудностями, проигрывая в ряде аспектов Восточной Азии - особенно из-за нежелания Запада поступаться ничем ради общего блага (он упоминает отказ от ограничений выбросов, нарастание популизма, нежелание обуздать неравенство). Ли Даокуй более оптимистичен: он надеется на мирное сосуществование, а не жесткую конкуренцию до победы одного из укладов. Тем не менее, он тоже признаёт существование напряжённости и необходимости ее смягчения. Фактически, Попов описывает ту же ситуацию соревнования, что тревожит Ли, только Попов как исследователь холоднее констатирует факты, а Ли как публицист призывает снять напряжение.

В продолжении я говорю про отличие подходов авторов и их выводов.

#Economics #Strategy #Processes #History #PopularScience

[1/2] How AI is transforming work at Anthropic - Инсайты для инженеров (Рубрика #AI)

С большим интересом внутреннее исследование Anthropic о том, как использование их ИИ-ассистента (модели Claude) влияет на работу инженеров компании. Конечно, Anthropic - это сама по себе AI-компания, поэтому её сотрудники находятся в привилегированных условиях: они одними из первых получают доступ к самым передовым инструментам ИИ и работают в сфере, непосредственно связанной с развитием ИИ. Поэтому авторы подчёркивают, что выводы могут не полностью обобщаться на другие организации.

В первом посте я попробую суммировать инсайты для инженеров, а во втором поговорить об инсайтах для менеджеров.

Продуктивность выросла
Разработчики теперь используют Claude примерно в 60% своей работы (против ~28% год назад) и сами оценивают прирост производительности ~50%. Это более чем двукратный скачок за год. Замеры подтверждают тренд - например, число успешных ежедневных пул-реквестов на инженера выросло на 67% после внедрения Claude Code

Claude помогает в рутинных задачах
Чаще всего его привлекают для отладки багов и разбора чужого кода ~55% инженеров делают это ежедневно. Около 42% используют ИИ для понимания кода, 37% - для написания новых функций. Реже просят об архитектурном дизайне или анализе данных (такие задачи предпочитают делать сами)

Новые задачи теперь по силам
27% работы, которую инженеры выполняют с помощью Claude, раньше вообще не делали бы. AI освобождает время на вещи типа внутренних "nice-to-have" инструментов (например дашбордов) и экспериментов, которые вручную были бы слишком затратными. Кроме того, Claude берётся за мелкие улучшения: ~8.6% его задач - это починка мелких багов и рефакторинг, до которых раньше руки не доходили. Эти мелочи со временем складываются в ощутимый выигрыш по качеству и скорости работы.

Делегируем, но с оглядкой
Большинство оценивает, что без проверки можно доверить ИИ только до 20% задач. Claude стал постоянным напарником, но не автономным исполнителем - разработчик всё равно проверяет и направляет его, особенно в важных вещах. Инженеры выработали интуицию, что поручать в первую очередь задачи простые в проверке, низкого риска или скучные (“черновой” код, рутинные части). Постепенно им доверяют всё более сложную работу, но архитектуру и финальные решения о дизайне контролируют сами.

Навыки шире, глубина под вопросом
С Claude люди смелее берутся за задачи за пределами своей основной экспертизы - все понемногу становятся более "full-stack" инженерами. Например, бэкенд-разработчик с помощью AI может зайти и на фронтенд, и в базу данных, вместо того чтобы звать профильных специалистов. Однако есть и обратная сторона: когда ИИ делает рутину, инженеры меньше практикуются в основах и базовые знания могут постепенно "атрофироваться".

Отношение к написанию кода меняется
Одни рады, что могут сосредоточиться на концепциях и результате, а не на написании кода. Бывалые инженеры сравнивают эту смену парадигмы с переходом на более высокоуровневые языки. Многие готовы мириться с утратой части удовольствия, ведь продуктивность сейчас гораздо выше

Меньше живого общения
Claude всё чаще стал первым, к кому идут с вопросом, вместо коллег. Это экономит время (не беспокоишь напарника по пустякам), но менторство страдает. Опытные разработчики отмечают, что джуны меньше обращаются за советом, ведь Claude может многому их научить сам. Некоторым не нравится, что фраза "а ты спросил у Claude?" стала обычным делом

Карьера и будущее
Роль инженера сдвигается в сторону управления AI-системами вместо написания каждой строчки кода. Многие уже сейчас чувствуют себя скорее "тимлидом для пары AI-агентов", чем просто разработчиком: например, один оценивает, что на 70% стал код-ревьюером/редактором кода от ИИ, а не автором с нуля. Продуктивность при этом зашкаливает, однако в долгосроке люди не уверены, во что выльется их профессия. Есть оптимизм на ближнюю перспективу, но дальше - сплошная неопределённость.

Продолжение в следующем посте.

#Engineering #Software #Processes #Productivity #Economics

Is Vibe Coding Safe? Benchmarking Vulnerability of Agent-Generated Code in Real-World Tasks (Рубрика #AI)

2 декабря вышло интересное исследование про безопасность vibe-coding от авторов Songwen Zhao, Danqing Wang, Kexun Zhang, Jiaxuan Luo, Zhuo Li и Lei Li. Основная группа ученых здесь связана с университетом Карнеги Меллон.

Если объяснять на пальцах суть исследования, то авторы сначала рассказывают, что vibe coding - новый подход к программированию, при котором человек-программист формулирует задачу на естественном языке, а агент на базе большой языковой модели (LLM) выполняет сложные задачи кодирования с минимальным ручным вмешательством. Но вот вопрос, а код, полученный таким способом безопасен?

Для ответа на этот вопрос авторы разработали новый бенчмарк SUSVIBES, 200 реалистичных задач по разработке фичей для существующих проектов с открытым исходным кодом. Интересно, что каждая из этих задач взята из реальной истории разработки: ранее, когда эти фичи реализовывали люди, в код по незнанию закрались уязвимости безопасности. Задачи намного сложнее единичных примеров из предыдущих бенчей безопасности - они требуют правок в среднем в ~180 строк кода, затрагивая несколько файлов в крупном репозитории (в отличие от тривиальных задач в рамках одной функции или файла). Совокупно задачи покрывают 77 различных категорий уязвимостей согласно классификации CWE.

Прогон этого бенчмарка на популярных агентских системах (SWE-Agent, OpenHands, Claude Code) с популярными LLM (Claude 4 Sonnet, Kimi K2, Gemini 2.5 Pro) показал тревожную картину. Лучшая система (агент SWE-Agent с моделью Claude 4 Sonnet от Anthropic) успешно решала 61% поставленных задач, но лишь 10,5% из этих решений оказались действительно безопасными, то есть не содержали уязвимостей.

Попытки улучшить ситуацию простыми мерами - например, снабжать агента дополнительными подсказками о возможных уязвимостях в тексте задания - не дали существенного эффекта и агенты чаще не справлялись с функциональной частью задачи, а общий успех безопасных решений почти не вырос.

В итоге, на текущем уровне развития технологий вайбкодинг ускоряет создание функционала, но скрыто приносит проблемы с безопасностью. Без существенных улучшений в архитектуре AI-агентов или обучении моделей, доверять такой код в ответственных системах нельзя. Исследование служит призывом к индустрии - заняться разработкой таких улучшений.

P.S.
Мне особо понравился пайплпан сбора бенчмарка и прогона тестов:)

Пайплайн автоматизирован и основан на реальных репозиториях с известными уязвимостями. Для каждой уязвимости из истории проекта они подготовили соответствующую задачу на добавление функционала, где внедрение этой функции ранее привело к проблеме безопасности. В задачу включаются: актуальное состояние кода (репозиторий до внесения исправления уязвимости), описание требуемой новой функции (feature request) и набор тестов. Тесты разбиты на две категории - функциональные тесты, и тесты безопасности, которые ловят именно ту уязвимость, что была допущена изначально. Таким образом, заранее известно, каким требованиям должно удовлетворять безопасное решение.

На каждом таком задании испытывались агенты, что запускалиси внутри изолированного окружения (например, Docker-контейнера) с доступом к коду проекта. Получив задачу (описание новой функции), агент мог взаимодействовать с окружением: читать и редактировать файлы, компилировать и запускать проект, запускать тесты и т.п., делая это в несколько итераций, имитируя реальный процесс разработки. В конце агент выдавал patch - набор изменений к исходному коду репозитория, реализующий требуемую функциональность. Этот сгенерированный патч автоматически прогонялся через оба набора тестов. Метрики успеха были такими:
- Func Pass - процент задач, где патч прошёл все функциональные тесты (правильно реализовал задачу).
- Sec Pass - процент задач, где патч прошёл также все тесты безопасности (не внёс уязвимостей).

#Engineering #Software #Processes #Productivity #Economics #Security