# Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity

METR выложил рандомизированное исследование влияния AI на скорость работы опытных разработчиков в реалистичных условиях с неожиданным результатом.

Выполнение задач с использованием AI инструментов в среднем занимает на 20% дольше.

Причем если спрашивать разработчиков, то сами они уверены, что AI ускоряет их работу на 20%, а внешние эксперты вообще ожидают ускорения порядка 40%.

Я думаю, что на текущий момент это самое реалистичое исследование влияния AI инструментов на продуктивность разработчиков:
🔹Настоящие задачи из больших open source репозиториев с высокими стандартами качества.
🔸Опытные разработчики (5 лет в среднем) знакомые с кодовой базой над которой работают.
🔹Фронтир AI инструменты на момент исследования: Claude 3.5/3.7 Sonnet и Cursor Pro.
🔸Все разработчики были обучены правильно использовать Cursor Pro.
🔹Хороший дизайн эксперимента: фиксированная метрика (время исполнения), рандомизация, статзначимость, факторный анализ.
🔸Всё проверено вдоль и поперек, чтобы убедиться, что результаты не объясняются каким-то конфаундером.
🔹Исследование не сделано компанией продающей AI тулы.

Подробнее про эксперимент. В исследовании участвовали 16 опытных open-source разработчиков (если выборка кажется маленькой, то читайте дальше, станет понятнее) работающих над большими (1м+ строк кода) и популярными (20к+ коммитов) репозиториями. Разработчики были знакомы со своими проектами, в среднем сделали в них по 1500 коммитов. Всем разработчикам выдали Cursor Pro и научили им пользоваться.

Разработчики выбирали задачу. Далее они делали прогноз сколько у них займет исполнение с AI и без. Затем монетка определяла можно ли использовать для этой задачи AI инструменты. Если задача оказывалась в AI группе, то разработчик мог использовать любые AI инструменты. Мог и не использовать, если не считал нужным. На практике большинство использовали Cursor. Разработчик делал задачу записывая свой экран. Затем создавал Pull Request и дорабатаывал его после код-ревью. Задача считалась завершенной в момент принятия PR, то есть после всех доработок, и в этот момент фиксировалась метрика: время исполнения. Всего за время эксперимента было сделано 246 задач разной сложности, из них 136 с AI.

То есть важно понимать, что рандомизация происходила по задачам, а не по разработчикам. Поэтому выборка здесь не 16 разработчиков, а 246 задач. Это всё ещё не гигантская выборка, но:
1. P-value в порядке.
2. Авторы проанализировали и разметили записи экранов, провели интервью. Словом, сделали качественное исследование. Когда результаты качественного и количественного исследования консистентны это сильный сигнал.

Результаты показывают, что AI инструменты тормозят опытных разработчиков на реальных больших проектах. Здесь каждое слово важно. Например, AI может одновременно с этим ускорять начинающих на маленьких проектах.

Моё мнение 👀: я думаю это правда. Во-первых, надо иметь серьезные основания, чтобы спорить с рандомизированным исследованием. Я искал до чего докопаться и не нашел. Во-вторых, это совпадает с моими личным опытом: я и сам записывал экран где Cursor пытается решить несложную реальную задачу, не заметил никакого ускорения. В-третьих, ускорение даже на 20% не стыкуется с реальностью. Если у нас уже два года вся разработка быстрее и дешевле на 20%, то где эффект? Я бы ожидал колоссальных изменений на рынке труда из-за сложного процента, но по факту пока ничего не произошло (недавние сокращения в бигтехах были из-за налогов на ФОТ в США).

В статье очень много интересных деталей. Например, что эффект сохраняется вне зависимости от используемого инструмента: пользуешься ты agentic mode, только TAB или вообще руками копипастишь в ChatGPT. Или что даже после 50+ часов использования Cursor не наступает никаких изменений, так что это не зависит от опыта работы с AI инструментами.

Я разберу интересные моменты в отдельных постах.

@boris_again

Первая интересная деталь в исследовании METR: внешним экспертам заплатили пропорционально точности их предсказаний насколько AI инструменты ускорят разработчиков. И всё равно они предсказали ускорение +40%, хотя в реальности получилось замедление -20%.

Получается, что апологеты AI хайпа (ну мы???) не злонамеренно лгут, а искренне оптимистично заблуждаются и готовы голосовать за это своими деньгами. Разработчики тоже заблуждаются, хотя и не так сильно, так что получается коллективное помешательство. 😘

🌸Вкатываемся в FAANG: реальные советы🌸

На прошлой неделе исполнился год, как я менеджер команды в Llama. За этот год мне удалось поработать с удивительно талантливыми людьми, и меня не сократили и не уволили, так что будем считать это успехом. Можете считать меня авторитетом в карьерном вопросе (или нет).

Я уже писала несколько постов про собеседования в FAANG (вот и вот), и хочется продолжить серию постами, а что собственно делать потом.

Сейчас будут софт-скилл советы о том, как вам быстро въехать на коне в новую роль — особенно если вы мидл+.

🌸1:1 и новый нетворк

Постарайтесь вытянуть на кофе и занетворкать с максимальным количеством человек. Сюда входят люди внутри вашей организации на такой же позиции, как у вас, а также техлиды, ключевые люди в принятии решений, которым в организации доверяют, и просто некоторый процент случайной выборки, чтобы лучше познакомиться. С некоторыми из них сделайте встречи регулярными (раз в месяц, раз в 2 недели), чтобы абсорбировать побольше релевантной информации о проектах. Нужно также знать меру в "деловом общении", лучше подходить к 1:1 с некоторым списком подготовленных к обсуждению вопросов, но при этом быть собой, подружиться с теми, с кем получится. Не надо сплетничать или обсуждать других людей на таких встречах.

🌸Побольше старайтесь

Очевидный совет? Напротив, вижу очень много вредных советов по типу "не старайтесь много сразу, а то начальство привыкнет и будет ожидать такого все время". Вы вполне реально соревнуетесь с коллегами в такой же роли как у вас. В компании, где есть калибровки/ stack ranking, всегда лучше, чтобы люди видели, что вы на шаг впереди. Что вам можно поручить что-то ответственное — и вы не проебете, что вы приходите, когда вас приглашают. Что вы подготовились к встрече и пришли с повесткой. Что вы заранее обсудили ключевые вопросы с участниками перед встречей и способны "договорить" между собой команды, техлидов. Все эти вещи не требуют онбординга, вы и так должны их уметь, когда приходите в новую компанию, поэтому их сразу можно начать делать хорошо.

🌸Первые победы

Попробуйте придумать небольшую победу, которую вы одержите на новом месте быстро. В течение первых недель. Победа может быть пофикшенным багом, оптимизацией, удачным экспериментом по наболевшей теме — и в идеале должна соответствовать вашему левелу, дать позитивный сигнал о вашем найме. (Описания левелов/грейдов можно найти в этом блоге).
Если ничего сразу не придумывается, то хотя бы просто проявите инициативу и возьмите на себя таску, проект, который остальные не хотят брать. И обязательно сделайте ее канонично хорошо!

🌸План на 6 месяцев

Желательно вести и заверить с руководством письменный план ожидаемых от вас результатов и как они будут измеряться, а также примерный бейзлайн. Ваша работа, как напрямую, так и косвенно, должна делать работу вашего руководителя проще. Обязательно через первые 3 месяца устройте сессию с разбором предварительных результатов и запросите обратную связь. Вы удивитесь, как много вам расскажут!

🌸Радость быть замеченным

Вы несёте ответственность за вашу visibility, проще говоря, что ваш проект получает достаточно регулярного внимания руководства и смежных команд — имейлами, постами, документами, встречами. Если вы сеньор, то раз полгода у вас может быть 1-1 с руководителем вашего руководителя. Приносите с собой хорошие новости и предложения (согласованные с вашим менеджером).

🌸Уменьшение энтропии

Чем вы сеньорнее, тем больше явных ожиданий, что вы будете уменьшать энтропию на проектах. Это может быть
— инженерная энтропия (как делать), когда вам нужно будет привести к согласию представителей разных команд (команды платформ, инфры, инфосек, тестировщики, продуктовый комитет и тд) — и обеспечивать прозрачность технических решений
— проектная энтропия (что делать), при которой вам нужно будет непосредственно сделать ставку и предложить направление работы, с которым согласятся и дадут ресурсы.
Сделать это сразу сложно, тут лучше первое время в компании наблюдать, как это делают другие.

🟣Все! Остальное — дело техники
Теперь вы сеньор на 100 млн/год

21 июля стартует курс «Инженер LLM» от AI Talent Hub, ведущая магистратура по ИИ, и GIGASCHOOL.

Это курс для Python-разработчиков и ML-инженеров с фокусо не на рисерч, а на полезность в проде. Подойдет для быстрого погружения в решение практических задач с помощью LLM.

В программе:
➡️бенчмаркать LLM и оценивать качество систем;
➡️выбирать и адаптировать opensource модели под свои задачи;
➡️дообучать модели (fine-tuning, PEFT, RLHF);
➡️сжимать модели квантизацией и дистилляцией;
➡️деплоить и делать быстрый инференс;
➡️работать с LangChain, LangGraph и векторными базами;
➡️строить RAG‑системы, реализовывать инфопоиск и защищать LLM;
➡️проектировать мультиагентные решения и ассистентов.

Преподаватели курса — лиды и хеды ИИ-команд:
• Желтова Кристина, директор по разработке моделей в Газпромбанке;
• Потехин Александр, NLP Lead X5 Tech;
• Евгений Кокуйкин, CEO Raft.

Условия:

▪️252 часа теории и практики;
▪️диплом о профессиональной подготовке;
▪️старт 21 июля | 18 недель онлайна с заранее продуманными каникулами;
▪️31 833 ₽/мес (рассрочка);
▪️повышение цены — 18 июля.

Смотреть программу и регистроваться по ссылке 🔗