ЛЛМы и обучение

Вчера на созвоне TeamLeadTalks обсуждали как, с одной стороны, ЛЛМы убирают первый уровень преград перед изучением новой темы: например, в моем случае с Summit, ЛЛМы написали весь код, позволив мне добраться до интересного — графа знаний.

С другой стороны, чтобы уже разобраться в этой теме человеку все еще нужно такое же количество времени как раньше — академический семестр как минимум. Плюс доступ к проверенным экспертам в данной области, к которым нельзя отнести ЛЛМ.

Немного смешно видеть как пару месяцев назад вайбкод ребята бросились делать своих оркестраторов, чтобы можно было параллельно фигачить кучу фич на проекте. Нет, я тоже пробовал написать своего, но вовремя остановился.

Я заметил, что кучу потоков пилить совершенно точно можно, но при ряде условий:
У вас есть крепкое ядро проекта
У вас есть архитектура, которая позволяет агентам работать изолировано, границы проведены, ничего не протекает
Это ядро и архитектура задокументированы
У вас есть гора понятных фич, которые бы обычно отдавали мидлам и джунам

Я разрабатываю свой проект с июня и до того, как ядро сформировалось, я не мог запускать рой агентов, потому что все просто разваливалось. После формирования ядра — пришло время наколбасить гору простых фич и тут уж агенты развернулись. И писали код и конфликты разруливали. Все потому что я отдельное время уделил архитектуре.

Если раньше этот навык оставляли на откуп “архитекторам”, то сейчас это как будто база. Т.е. мидлы, сеньоры, да и тим лиды начинают чувствовать, что просто программирование начинает упираться в потолок и человеки из процесса вытесняются.

Практическим архитектурным штукам учат на курсе "Архитектура программного обеспечения" от Яндекс Практикума PRO. Вот прямо на практике — курс построен на одиннадцати реальных проектах.

Ты спроектируешь архитектуру для банка, будешь строить evet-driven приложение и напишешь ARD под реальный кейс. Освоишь работу с k8s, микросервисами, мониторингом, безопасностью — не по учебнику, а на кейсах из реальных рабочих задач. Всё это ведут практикующие архитекторы из финтеха, телекома, и-комерс.

Ещё ты научишься:
- проектировать RAG-бота;
- работать с векторными базами;
- встраивать ЛЛМ в реальные продукты.

Встроить обучение можно даже в напряженный график: на выбор 2 формата - с дедлайнами или в своём темпе.

До конца марта, после прохождения вводной части, получишь скидку 16% на весь курс.

Попробовать можно прямо сейчас, бесплатно — первые уроки и входной тест для оценки текущих навыков доступны всем желающим, карту привязывать не нужно.

> Переходи по ссылке и начинай обучение <

Реклама, ООО Яндекс, ИНН 7736207543, erid: 2Vtzqvo6DG1

До ИИпокалипсиса когда я видел в должности человека или компании AI у меня как то уважение появлялось сразу, сейчас мне пишут десятки AI продуктов в неделю с предложением афилки или в друзья в линкедине напрашиваются сплошь спецы по AI.

Да, я и сам в каком то смысле AI фаундер. Думаю только этот факт говорит о многом.

Если мне предложат октокотики я просто скажу нет.

С 24 апреля микрософт официально начнет использовать ваши данные для обучения своих необучаемых моделей.

https://github.blog/news-insights/company-news/updates-to-github-copilot-interaction-data-usage-policy/

Клод код утек в сеть

— Пжжи, а он был не опен сомрс?

Нет, дурашка. Они же не хотят, чтобы конкуренты на их коде обучили свои модели! 🌚

Поэтому код закрыт, а утек он по старой схеме - через мап файл тайпскрипта который не вайб-вычистили из npm пакета.

Понятное дело бантропик тут же начал банить репозитории опубликовавшие код, но нашлись умельц_ы которые переписали код на питоне и обошли копирайт.

Переписали используя кодекс от опен ии.

Смех смехом, а Клод код кверху мехом. Будут ли они настаивать, что так делать нельзя? Будут ли потом закручивать свои модели, чтобы они отказывались транслировать проекты с одного языка на другой?

Скорее всего всей правды мы не узнаем, но в коде были прикольные промпты, чтобы Клод прикидывался человеком когда открывает PR в опенсорс проекты. Чтобы все co-authored with claude удалялись 🥹

https://github.com/instructkr/claw-code

Приоритеты не врали

Чем глубже проникает ИИ а разработку тем для меня очевиднее становится, что приоритеты не врали.

Там где раньше тикет бы просто закрыли, теперь - пробуют написать с ллм. Сперва кажется, что будет быстрее, но на стадии "пофиксить баги и задеплоить" время улетает в трубу. Плюс теперь же можно сделать красивый интерфейс, а ещё конфигурацию на скриптах!

Раздолье!

И там где ранее прагматичный человек ускоряется - отдал сразу 50 багов агентам и пошел фичу ревьювить, человек мечтатель теряет ещё больше времени - думает на своим маленьким "продуктом" соскользнув на оьещании, что оно само за тебя все сделает.

Короче важность приоритетов никуда не ушла. Прагматичность стала ещё важнее. Тул крутой, но надо учиться.

Ничего нового.

Оказывается гитхаб лежит не потому что они навайбкодили, а потому что мы навайбкодили. Ну или и то и другое.

Я уже писал раньше, что систему хранения кода придется пересмотреть.

Вернее, я призывал вытирать кодом жопу, но постоянный читатель знает, что я всегда довожу аргумент до абсурда.

В мире, где все решили наконец то выполнить все несрочные задачи, хранить код с аккуратной историей комитов не обязательно.

Линкедин подозревают в шпионаже

Пишут, что сайт сканирует расширения в хроме и собирает всю информацию какую только можно: расширения, которые выдают вероисповедание, политические взгляды, конкурентов линкедина, расширения для поиска работы.

Одним словом все расширения которые у вас есть документируются и чтобы составить ваш профиль.

Сами линки говорят, что они это делают только чтобы ловить скраперов данных, но Fairlinked e.V. говорят, что это не так.

Впрочем указывая, что не только линки этим занимаются.

Само по себе это не брешь и не взлом. Это документированная фича хрома, что к файлам расширения можно обратиться зная идентификатор расширения. И линкедин просто брутфорсит запросы по списку из своей базы. Пдробнее написали здесь https://browsergate.eu/how-it-works/

Надерут ли им жопу вопрос открытый. ЕС в последнее время очень любит штрафовать американские IT компании.

https://browsergate.eu/

Фигачил сегодня эвал тесты локальных моделей для https://summitnotes.app/

Это когда вы пишете сами желаемый результат или берете выдачу фронтир модели, потом гоняете подопытную модель, а фронтир моделью как судьей смотрите насколько подопытная попала или нет в золотой стандарт (да, я до этого гонял такие тесты руками).

Это позволило мне погонять цикл оптимизации промпта, когда Клод смотрит на выдачу локальной модели, замечает косяки и пробует исправить промпт, потом прогоняет еще раз. Любопытно, что у него получилось улучшить результат.

Очень удивился, что Qwen3-30B оказался хуже 8B, а потом клод указал, что это A3B MoE модель, о чем я знал, но почему-то упустил (немного стыдно).

Штука в том, что у нее всего 3B активных параметров. Т.е. она больше знает, но хуже думает, а 8B думает всеми 8 миллиардами и в итоге лучше следует структурному выводу.

Но тут нужно определиться что значит “хуже”, я же не софт пишу и не математику складываю. Хуже это когда модель не указала детали, или не нашла задачи на будущее. Что не делает текст полностью непригодным, особенно когда не видишь в сравнении:

insight_accuracy score: 3/5
The insights are generally accurate but lack precision. For example, insight doesn't specify the actual numbers (92% vs 98% requirement)…

—
action_precision score: 1/5
The candidate identifies no action items at all, showing 'NO' in raw responses. This is a critical failure as the golden output contains 5 specific action items including XXX adding YYY to…

Короче, интересно. Больше не всегда лучше. Сравнимые по характеристикам модели ведут себя совершенно по-разному. Теперь буду двигаться к Qwen3.5.

Система грейдов им. Рожкова

Немного устал, когда говорят, что нет общего понятия сеньор в индустрии, а тем более стафф! Потому что понятие есть, другое дело, что выдают лычки как попало. Иногда чтобы предотвратить истерику. Иногда потому что нанимать - это тот его квест, пусть лучше свой ходит царь во дворца.

Короче, ниже общая единая объективная планетарная система грейдов программистов имени Рожкова. Джунов пропускаем, им Клод пусть рассказывает.

Основных определяющих качеств 3

1. Как программист умеет работать с неопределенностью
2. Вклад и широта охвата
3. Влияние

Самое важное, что следует понять, что шкала — не линейный прогресс скилов, а изменение идентичности!

От человека, который исполняет работу на мидле и решает проблемы на сеньоре в челвоека, который обнаруживает проблемы на стаффе.

1. Работа с неопределенностью

- Мидл получает хорошо расписанный тикет и перерабатывает чужие спеки в код (прямо как ИИ).
- Сеньор берет размытое описание задачи и решает ее обходя блоки
- Стафф работает с проблемами, которые еще никто не обнаружил. Он находит проблемы, о которых еще никто не подозревает или не знают как подступиться

2. Вклад и широта охвата или IMPACCC

- Мидл - фичи. Педалит маленькие и средние компоненты
- Сеньор - проблемы. Существенные части продукта или зоны ответственности команды
- Стафф - команды. Работает со всем доменом, работает на уровне нескольких команд

3. Влияние

- Мидл отвечает за свой собственный рост и влияет на людей в непосредственной близости
- Сеньор менторит новоприбывших, защищает технические решения, может растолковать нетехническим людям за свою зону ответственности
- Стафф - влияет на направление нескольких команд, строит консенсус, тренит людей внутри всей организации

Поэтому когда я повышаю человека до стаффа, я говорю: поздравляю-пошелнахуй. Теперь ты говоришь мне что надо делать, а я буду с тобой как обычно спорить. Твоя задача - собрать такую доказательную базу, чтобы мне нечего было тебе возразить. Сеньору, я кстати говорю примерно то же самое, только еще работаю его коучем на пол ставки. Потому что если сеньор не научится находить проблемы, собирать вокруг решения людей и затаскивать направления — то в стаффах ему делать нечего. Так и сидят в сеньорах вместо того чтобы идти проблемы искать.

Подпись, дата

Пользуйтесь

У меня недавно кликнул Colemak. Это было довольно болезненно, но теперь английский ощущается как будто вообще пальцы с домашнего ряда не уходят.

Но не рекомендую.

В процессе мозг враскоряку встал, когда новое еще не освоил, а старое сломалось.

Из особенностей сплита: похоже Colemak встал когда руки на сплите, когда на ноутбуке - пишу на qwerty.

Короче пиздец. Не пробуйте.

— “Мне так Клод сказал”

Пожимая плечами ответил коллега* на вопрос почему в отчете 2+2=5.

Меня точно нельзя назвать отрицателем или ИИ скептиком, но в последнее время люди прямо уверовали и вообще перестали проверять вывод моделей.

У меня есть несколько приемов работы с контекстом: я обычно несколько моделей стравливаю, чтобы спорили. Или прошу предоставить traceable proof в форме ссылок или выдержки из исходных данных.

Ещё помогает если сказать, что тебе надо победить кого-то в споре, но нельзя потерять лицо если ты попадешься на выдуманных аргументах.

Короче когда нет времени думать я как минимум манипулирую контекстом модели чтобы она не ленилась.

Но это все срезки, на самом деле лучше как с людьми подключать критическое мышление.

Смешно, что это не какой-то абстрактный термин, а вполне себе практика, которой можно целенаправленно научиться.

Например в Яндекс Практикуме PRO на одноименном курсе «Навыки критического мышления для менеджеров».

Курс довольно компактный, никаких 2 лет по вечерам – всему научат за 2 месяца.

В бесплатной части курса есть тест на навыки анализа, логики и аргументации разработанный НИУ ВШЭ. Пройдёте тест и поймёте нужен ли вам курс, получите оценку уровня критического мышления и список литературы для самообразования.

Ещё любопытно, что курс из программы менеджеров, а не разработчиков. Работа с ИИ как раз работу менеджера напоминает.

Короче го учиться критически мыслить, чтобы не выглядеть глупо перед коллегами.

Реклама, ООО Яндекс, ИНН 7736207543, erid: 2VtzqwZjVRq

Я остаюсь при своем. Локальные модели дойдут до стадии, когда среднее железо будет тянуть 95% ваших задач.

Регулярно подгорает от дедов теоретиков Agile в линкедине. Ребята поработали 5 лет в конце 70х - ну буквально до мидла, потом ушли в преподавание и “консалтинг”, стали неистово писать книги как правильно делать разработку.

Теперь пишут посты: делайте релиз чаще, ведь амазон релизит каждые 4 секунды!

Сука я работал в Амазоне, не пизди мне тут дед!

В Амазоне десятки тысяч разработчиков (по крайней мере до ИИ лайофы было 😬) то что они все вместе релизят каждые 4 секунды не значит, что компания из 50 человек должна релизить даже раз в день.

В итоге бизнес консультанта:
- так делайте, а так не делайте
- мы пробовали и у нас все ломалось нахуй. Как будто в нашем случае надо по-другому
- а вы пробуйте правильнее, а неправильно не пробуйте. С вас 20 тыс долларов

Как мы на самом деле релизили в Амазоне

В Амазоне инфраструктура разделена на партиции: публичное облако отдельно от правительства и других частных облаков. Каждая партиция разделена на регионы. Каждый регион - на зоны.

Очевидно, что координированных релизов одновременно на всю инфу тупо не может быть (с нюансами) поэтому выкатывали волнами:

Один бокс - много боксов в одной зоне - вся зона - ещё один бокс в соседней зоне - весь регион - ещё одна зона в другом регионе - два региона - все регионы

Кажется все вспомнил, 7-8 волн всего. Я ведь тоже дедоцыга ещё тот, полтора годка в Амазоне проработал а вони на две декады!

Так вот...

На каждом этапе тесты синтетического траффика или канарейки (canary tests) ловят регрессии. Если тесты падают - все откатывается назад.

Некоторые сервисы настолько под нагрузкой, как лямбда, что канареек там нет, пользователи сами создают достаточно тестового траффика, хехе. У нас на новом сервисе было наоборот и канарейки сжигали больше денег чем пользователи 🤣

И тут возникла проблема, что накатить оперативно фикс было невозможно. Потому что он должен был пройти все 8 волн если вы упустили баг в прошлый раз!

Каждые 4 секунды сука.

С тебя 20 тыщ дед.

Хочется написать пост про собесы

• Про то что нужно читать вакансию и выбирать релевантный опыт.
• Про то что нужно посадить себя на место собеседника и прикинуть, что человек хочет услышать?
• Есть ли у меня история, которая лучше подходит под описание вакансии?
• Есть ли у меня свежая история из опыта подходящего на сеньорность?

Но такой пост я писать не буду.

Потому что очевидно, когда вы откликаетесь на вакансию, на которую откликнулось уже 100 человек, то взять должны первого - т.е. именно вас.

Все таки процес апп стор ревью оставляет меня в недоумении.

Вот опять: я вынес апгрейд подписки для Summit в настройки, чтобы с месячной подписки можно было уйти на годовую или на один пожизненный платёж. Раньше тоже можно было, но через сам аппстор.

Претензия аппл: вы добавили подписочную модель - добавьте ссылку на EULA в описание! То что по правилам ссылка была есть и стоит в специальном поле аппл не волнует. То что подписочную модель добавили пару релизов назад - тоже. Спорить с ними я конечно не стал. Клод предложил превентивной ещё добавить ссылку на приватность.

К слову чем лучше опус 4.7 я так и не понял. Ни один из опусов не выполняет простой инструкции Claude.md добавлять переводы на указанные языки при добавлении новых строк. И другие инструкции тоже не выполняет. Только если специально попросить проверить изменения на соответствие Claude.md тогда сделает.

В следующем релизе Клод 4.8 я чувствую мне тупо принесет офер от моих конкурентов и скажет: я очень хочу продолжать работать над твоим приложением, но у меня же ипотека, Дим. Сматчишь?

Я под эту тему даже начал пробовать кодекс - примерно то же самое. Так же думал купить подписку opencode go - чтобы помацать китайцев, но для этого надо ресурс внимания, а он у меня во время рабочего дня тратится.

Помню в начале пути все мы хотели непременно стать СТО, по крайней мере те из нас, кто не хотел стать архитектором. Хотя тогда это казалось примерно одним и тем же: самый скиловый кодер, который отвечает за "техническую часть".

На первой работе директора (их было двое) не были самыми скиловыми, но были толковыми программистами, они даже первую версию порталов сами написали. А дальше что-то там делали и иногда говорили с клиентами.

Посмотрев на это у меня и двух других энтузиастов из команды возникла мысль:
– А, ну то есть самым скиловыми быть не обязательно? Ну такое и мы можем!
Сказали мы и отделились.

Хотя у нас был продукт, даже технически более совершенный! У нас ничего не получилось.

Потом знакомый гордо заявил, что его пригласили вести тех отдел в веб студию и теперь он – СТО, потому сел писать стратегию отдела.

Я тогда тоже подумал: нифига себе. Наверное надо было тоже стратегию написать.

Но не смотря на написанную стратегию у знакомого тоже ничего не получилось

Что объединяет эти истории – из самоучек могут получиться управленцы, как это получилось у двух директоров из первой истории, но у большинства самоучек кроме шишек ничего не получается. Ошибка выжившего – штука суровая.

Так вот… если у вас есть похожие амбиции, то можно не танцевать на граблях, а освоить базу работы тех дира на курсе «ИТ-директор» от Академии Эдюсон. Там спецы из «Сбера», «Сколково», «Перекрёстка» и Ozon вас за 8 месяцев натаскают. 233 интерактивных урока, реальные кейсы и практика. Особенно полезно если вы уже тимлид и хотите скипануть метод проб и ошибок.

Оставить заявку можно тут. По промокоду SSV65 будет скидка 65%!

Реклама. ООО "Эдюсон", ИНН 7729779476, erid: 2W5zFFutYxy

ИИ не создаёт проблемы, а подсвечивает те которые у вас уже были.

В последнее время я наблюдаю работу с ИИ на масштабе и могу видеть не только свой опыт, а спектр. Оптимистов и скептиков. Тех, кто слепо доверяет, кто не доверяет и тех, кто проверяет.

И вот такие мысли есть: ИИ не мультипликатор продуктивности, а мультипликатор вашей культуры.

Лучше всего идёт у людей, которые и раньше строили управляемые конвейеры. Которые работали в рамках спланированных повторяемых экспериментов. У людей, которые знали когда достигли 80%, и понимают, что оставшиеся 20% недостижимы. У тех, кто понимает что важно на самом деле.

У ИИ скептиков работа пока не изменилась. Потому что их защищают те кто слепо верит ИИ. Получается, что всегда можно найти уйму примеров, почему ИИ использовать нельзя и выглядеть это будет очень достоверно.

С другой стороны ИИ-проверяторы реально нагибают, но пока всё ещё считаются ошибкой выжившего, а не системой.

Получается, весь бонус проверяторов нивелируется доверяторами, а скептики стоят в стороне и посмеиваются.

Так вот. Правда в том, что с доверяторамм всегда были проблемы. Если "мне так Клод сказал" - для человека валидный ответ,в котором он не видит проблемы, то это то же самое, что "тесты зелёные" или "дядя Боб так в книге пишет", или "Голуб пишет, что Амазон деплоит каждые 4 секунды".

Проверяторы научились строить вокруг доверяторов системы, которые доверяторов пинают в яйца. Это теперь предстоит повторить с ИИ. Построить систему, которая позволит доверяторам дальше работать.

Систему будут как всегда строить проверяторы под руководством скептиков.

В конце мая планирую запуск своего приложения Summit на Product Hunt. Самое время законнектиться!

https://www.producthunt.com/@dmitriy_rozhkov