Использование связки Data aggregation + LLM + vector database для агрегирования разных внутренних источников информации и предоставления пользователям интерфейса к ним, потихоньку переходит из разряда диковинки в разряд обычных помогающих инструментов. Uber запустили внутреннего бота который помогает on-call инженерам быстрее выдавать ответы из внутренних вики и прочих систем документации, в ответ на запросы.

https://www.uber.com/en-IN/blog/genie-ubers-gen-ai-on-call-copilot/

В приватных беседах про мощь и силу LLM/AI мои друзья из software безопасности жалуются, что в порыве всеобщей эйфории от открывшихся возможностей все прогрессивное человечество стало направо и налево внедрять все инструменты где упомянуто AI, при этом напрочь забыв про безопасность. По последним постам могло показаться что и я так агитирую делать. Но нет, безопасность хоть и не мое второе имя но я стараюсь учитывать ее как могу/умею. Поэтому сегодня будет пост про Security в AI/LLM. И база которую всем стоит почитать это конечно-же OWASP. Сообщество OWASP уже имеет отдельный раздел genai.owasp.org где есть много всего интересного. Но первое что рекомендую это OWASP Top 10 for LLMs and Generative AI Apps.
Аналогично классическому OWASP это список базовых 10 уязвимостей с описанием их опасности и примерами атак. Признаю я знал только половину, очень интересное и полезное чтиво. Вообщем почитайте пожалуйста, пошарьте тем кто занимается внедрением.

Недавно озаботился вопросом, а как используются данные которые я ввожу в OpenAI/ChatGPT. Быстрый поиск дал ответы:

Как обстоит дело для обычных пользователей:

https://openai.com/policies/privacy-policy/

As noted above, we may use Content you provide us to improve our Services, for example to train the models that power ChatGPT.

Отправить запрет/исключение на использование своих данных можно здесь
https://privacy.openai.com/policies -> Make a Privacy request.

Для энтерпрайз пользователей и пользователей API все проще.

https://openai.com/enterprise-privacy/

By default, we do not use your business data for training our models.

- ChatGPT Team or ChatGPT Enterprise

We do not train our models on inputs and outputs through our API.

- OpenAI API Platform

Правда про fine-tuning models все таки есть нюанс.

Q: "Who can view stored API inputs, outputs, and fine-tuning data?"
A: Our access to API business data stored on our systems is limited to (1) authorized employees that require access for engineering support, investigating potential platform abuse, and legal compliance and (2) specialized third-party contractors who are bound by confidentiality and security obligations, solely to review for abuse and misuse.

Старый код не умирает вам нужно его убить. - Grady Booch

На канале The Pragmatic Engineer вышло интервью с живой легендой Software архитектуры Grady Booch!

И на мой взгляд оно получилось мега крутым! Очень интересные рассуждения про историю развития архитектуры и программирования в целом, его мысли на текущее положение вещей и LLM/AI в целом. Кратко законспектировал как менялось история разработки именно в контексте архитектуры.

60-70 - Маинфреймы, компьютеры в лабораториях. Осознание разработки и языков программирования в целом.
70-80 - Появляются мини компьютеры, первое появление распределенных систем. Бурный рост терминалов и терминальных систем. Так появляется потребность понимания как будут связываться такие системы и как они будут работать.
1980 - 1990 - Восхождение ООП, Рождение Rational Software где участвовал Буч и Которую потом купит IBM. Рост темпов разработки корпоративного ПО и как следствие потребности в best practices.
90 - 00 - Рождение и бурный рост интернета, HTML, TCP/IP. В 94-95 в Rational Software создали UML. До середины 00 MS/IBM и прочие гиганты несут знамя корпоративной разработки в массы. Системы становятся еще сложнее.
00 - 10 - 2001 год создание Agile манифеста. Появляется альтернатива корпоративной разработке. Развитие XP практик.
10 - present - Первое появление Solution Architect как роли в cloud компаниях. Строительные блоки становятся крупнее, и появляется потребность продавать клиентам решения созданные из этих блоков.

Ну и пара фраз от Гради Буча которые очень зацепили.

Про Легаси:

"У всех есть легаси, Facebook, Google, даже у OpenAI есть легаси. Как только вы написали строчку кода она становится легаси. Старый код не умирает вам нужно его убить. Если у вас нет саморазрушающегося кода вам прийдется работать с легаси."

Про OpenAI/LLM Гради Буч очень критичен):

"They allow us to build global scale bu...it generator"

Я настоятельно рекомендую посмотреть все интервью, возможно даже не один раз, потому что интересных мыслей действительно много!

https://www.youtube.com/watch?v=u7WaC429YcU

Попался очень крутой плейлист в youtube. IBM делают хороший обучающий материал на своем канале, среди прочего серия про Cybersecurity Architecture. 10 роликов каждый по 15-20 минут. В среднем у вас уйдет часа 3-4 на просмотр всех роликов. Материал очень концентрирован и просто очень круто подан. Рассказывает его Jeff Crume очень крутой чел в IBM по cubersecurity (профиль на linkedin). Я просто на одном дыхании посмотрел все ролики чего и вам советую, очень круто добавляет контекста про security и понимания как все части безопасности на разных уровнях связаны между собой.

https://www.youtube.com/watch?v=jq_LZ1RFPfU&list=PLOspHqNVtKADkWLFt9OcziQF7EatuANSY&index=1

Gen AI уже становится де-факто, а значит потихоньку начинают образовываться паттерны использования AI в приложениях. Хорошая статья у Мартина Фаулера. Emerging Patterns in Building GenAI Products

Первая статья из серии, обещают продолжение.

https://martinfowler.com/articles/gen-ai-patterns/

Интересный пост про построение AI системы код ревью. Автор поста - опытный разработчик в прошлом, сейчас консалтер с 17+ лет опыта. Много деталей нет, скорее интересен общий подход и архитектура. И самое главное на что я обратил внимание в посте. "LLM в этом продукте была самая простая часть, очень много усилий уходит хорошо интегрировать LLM в окружение" - и эту идею можно распространить на большую часть крупных продуктов. AI/LLM просто еще один компонент в вашей архитектуре.

https://theburningmonk.com/2025/01/how-we-built-an-ai-code-reviewer-with-serverless-and-bedrock/

OpenAI опубликовали интересное исследование/анонс. Почему это интересно? Потому что в результатах модели OpenAI — не победители. Это как минимум даёт намёк на справедливость оценки. В исследовании анонсирован новый бенчмарк для LLM-моделей — назвали его SWE-Lancer.

SWE-Lancer включает в себя более 1400 фриланс-задач по разработке программного обеспечения от Upwork, общая стоимость которых составляет более $1 млн. Задачи SWE-Lancer охватывают весь инженерный стек — от UI/UX до проектирования систем — и включают ряд типов задач: от исправления ошибок ($50) до реализации фичей ($32 000). SWE-Lancer включает как инженерные задачи (кодинг), так и менеджерские задачи.

На выполнение похожих комплексных задач фрилансерам требовалось в среднем 21 день. Стоимость задач отражает реальную стоимость задач на Upwork. По сути, OpenAI довольно здраво предлагают оценивать модели по реальной работе разработчика и ценности выполненных задач. В исследование очень много деталей об исследовании, его стоит почитать.

Ну и результаты: большинство моделей не могут решить даже половины задач(по ценности а не по количеству). Максимум был у Claude 3.5 Sonet. Но зато теперь есть новая планка и, что самое главное, моментальное подтверждение ценности для бизнеса, выраженное в $$$. А значит, как только стоимость решаемых задач новой модели превысит среднюю зарплату разработчика, пока кожаные , нас ждёт новый виток развития software-индустрии.

Mock coding interview - новое видео от команды Google

https://www.youtube.com/watch?v=Ti5vfu9arXQ

OpenAI добавляет поддержку протокола MCP в свои SDK.

Почему это важная новость? Протокол MCP был предложен компанией Anthropic(конкурент OpenAI) как протокол для интеграции AI агентов с другими системами. Теперь спустя почти полгода, OpenAI адаптирует его. В интеграции с AI постепенно появляется все больше стандартов.

Для чего нужен протокол MCP? По сути это мост между LLM и любой системой (API, база данных, внешняя система). Чем это лучше API? В случае с API каждому разработчику надо будет писать обертку вокруг API для своего агента/LLM, учитывать формат и методы которые имплементированы в API. MCP же предоставляет протокол адаптированный под AI приложения, который гораздо проще интегрировать в свои сервисы. Он уже был включен в SDK Anthropic и вот теперь включается в SDK OpenAI.

Для разработчиков AI приложений это означает больше возможностей для интеграций. Для пользователей - больше разных продуктов.

Можно сопротивляться новой реальности а можно использовать ее на пользу. Это я про новую эру AI кодинга конечно же.

Claude выпустили свой сборник рекомендаций по использованию Claude Code который они использовали внутри. Очень полезная штука. И Хотя Claude Code все еще в бета, он уже показывает хороший результаты.

https://www.anthropic.com/engineering/claude-code-best-practices

Когда у меня появился компьютер, интернета еще толком небыло и все знания вперемешку с легендами передавались только лично. Ну например: Если двигать мышку при загрузке windows, то компьютер загрузится быстрее (похоже на легенду). Ну или: Не ставь на обои картинки, они сожрут много оперативки (логично, для того времени когда оперативка измерялась единицами MB :) ). Как же я был удивлен, когда я увидел сегодняшнюю статью. По заголовку тоже очень была похожа на легенду.

"Why did Windows 7, for a few months, log on slower if you have a solid color background?"

Вообщем в Windows 7 пару месяцев был баг, если у вас не установлены обои, то welcome screen мог отображаться 30 секунд не зависимо от того за сколько времени загрузился рабочий стол. В статье разбирается почему так случилось. Если коротко, не учли edge case что не все устанавливают обои.

https://devblogs.microsoft.com/oldnewthing/20250428-00/?p=111121

Недавно во время продажи билетов на концерт JLo в Казахстане у сервиса Тикетон случился масштабный сбой. Он наделал много шума в соц. сетях. В одном из технических чатов в том числе много обсуждали отсутствие публичного постмортема. Круто что команда таки сделала и опубликовала его. Респект.

https://freedomlabs.kz/analiz-intsidienta-s-prodazhiei-bilietov-na-jlo-na-tikietonie/

OpenAI предложила новый бенчмарк для оценки моделей в медицине - HealthBench

Оценили корректность ответов моделей по 7 направлениям. Далее ответы моделей оценивали врачи. В конце посчитали уровень согласия с ответами моделей. Вообщем если кратко, то по многим направлениям модели уже отвечают так, что врачи согласны с их мнением. Стран откуда были медики довольно много. Получается ждем новых интеграций и внедрений.

P.S. Это не рекомендация не ходить к врачам а просто комментарий новости. Помните что модели склонны ошибаться, перепроверяйте ответы!

https://openai.com/index/healthbench/

OpenRewrite - инструмент массового "автоматического" рефакторинга.

И так, типичная проблема где инструмент может пригодится. У вас большая однообразная (не в смысле скучная а в смысле стандартизированная) кодовая база. Вам нужно массово обновить все проекты. Поднять версию фреймворка или зависимостей. Можно конечно писать самодельные скрипты, ну или взять OpenRewrite, записываем "рецепт" что нам нужно поменять и запускаем где-нибудь. OpenRewrite - OpenSource решение от компании Moderne (у них есть платное решение)

У проекта интересная история, Jonathan Schneider работал в Netflix на инструментами для разработчиков и разработал там Rewrite. Команды и код в Netflix очень распределенные и инструмент помогал командам обновлять свои зависимости. Спустя несколько лет Jonathan основал компанию Moderne и разработал OpenRewrite.

На офсайте есть много готовых скриптов для решения разных проьлем. Обновления версии спринга, версии jUnit, переименование методов.

И вот попалась статья про реальный кейс, Allegro обновляли свои проекты с помощью OpenRewrite, но они сделали еще вокруг него свою автоматизацию на базе gihub бота Dependabot. Это решение теперь у них работает на постоянку (например для критичных уязвимостей, когда нужен срочный апдейт)

https://blog.allegro.tech/2024/09/automating-code-migrations-at-scale.html

Jonathan Schneider, Co-founder, Moderne
https://www.youtube.com/watch?v=bQgO33LLfAs

Интересный пост в блоге Gitlab о том, как они обнаружили supply chain attack в модуле для GO. В компании есть своя комбинированная система обнаружения таких атак. Это смесь песочницы, анализа работы кода подключаемого модуля + ревью модуля человеком. Всегда впечатляет когда такие системы конструируются и создаются в компании самостоятельно, это ли не из показатель развитой инженерной культуры.

https://about.gitlab.com/blog/gitlab-catches-mongodb-go-module-supply-chain-attack/

Просто фантастическое интервью от Gergely Orosz с крутым спикером. Farhan Thawar - Head of Engineering Shopify.

В видео много примеров как Shopify адаптирует AI внутри, не буду их все перечислять просто посмотрите видео. По большей части для разработчиков но есть и другие примеры. И их примеры конечно очень круто вдохновляют.
- Локальный Chat AI like интерфейс на базе librechat dot ai. Благодаря этому можно снимать статистику, кто, как и сколько использует AI + добавлять privacy и прочие элементы поверх если надо.
- MCP для всего что есть в компании и потом выводится в тот же AI Chat (long term strategy)
- AI Lab - пробуют новые выходящие модели в pair coding sessions.

Ну и пара интересных идей из видео с пояснением контекста:

"Вам не нужно быть 100% AI разработчиком, достаточно 90%-95%. " - спикер рассказал что они на интервью разрешают использование copilot и смотрят на то как разработчик взаимодействует с инструментом и (самое главное!) как он дает оценку cгенерированному коду! Хороший он или плохой? И это очень крутой взгляд на всю эту AI шумиху. Не будьте 100% AI разработчиком - достаточно 90%-95%.

В компании есть кодинг интервью для достаточно высоких ролей типа VP of Eng. или Director of Eng. Потому что они верят что от программирования не уходят и даже крутые Tech менеджеры все равно пишут код.

Так что похоже виральное письмо CEO Shopify о том что AI обязателен для использования всем сотрудникам это не просто для корпоративного красного словца, в компании есть для этого вся база, глупо этого не делать.

Видео в первом комментарии.

https://www.youtube.com/watch?v=u-3IILWQPRM

Очень интересная статья вышла в блоге anthropic. Это use cases использования Claude Code внутри компании, т.е. командами которые ее разрабатывают (разработчики, дизайнеры, юристы, маркетологи). Вообщем чистый dogfooding. Статья конечно же не про конкретные промпты а про подходы в первую очередь. Очень полезно.

https://www.anthropic.com/news/how-anthropic-teams-use-claude-code

Anthropic опубликовали отчёт о том, как используют AI в криминальных целях. В отчёте подробно описываются различные примеры того, как хакеры обходят меры безопасности Anthropic и используют Claude в своих атаках. Читается как хороший детектив, рекомендую почитать полную версию.

Оказывается, уже давно гуляет термин "Vibe hacking", думаю аналогии понятны :)

Кейсы:
Vibe hacking: Claude Code был использован для проведения операции по вымогательству данных. AI автоматизировал разведку, сбор учётных данных, проникновение в сети и даже принимал стратегические и тактические решения, например анализировал данные для определения размеров выкупа и сгенерировал разные варианты писем о требовании выкупа(!), чтобы они максимально "давили" на пользователя. В результате пострадали как минимум 17 организаций, а суммы выкупа достигали $500,000.
Remote worker fraud: Северокорейские разработчики активно использовали Claude Code для того, чтобы сгенерировать фейковую личность, пройти собеседование и собственно работать на удалённых вакансиях. Судя по примерам диалогов которые приводились в отчете уровень знаний там был минимальный(вывод авторов отчета). И тут AI - это мультипликатор знаний.
No-code malware: Пользователь-непрофессионал в разработке malware использовал Claude Code, чтобы разработать и продавать вариации уже существующих malware. Claude Code тут заменил технического эксперта, целиком генерируя код и давая рекомендации.

В итоге:

AI понижает уровень входа в сложные киберпреступления - пользователи с минимальным опытом могут делать сложные вещи, например генерацию ransomware, что раньше потребовало бы годы тренировок.
Agentic AI-системы уже используются как инструмент атак, а не только как консультант о том, как эти атаки провести.
Киберпреступники встраивают AI на всех этапах своих операций - сбор данных, исследование, анализ данных.
AI уже используется на всех стадиях фрод-операций - создание фальшивых личностей, анализ украденных логов, кража данных кредитных карт.

Практически по всем пользователям, которые пытаются использовать Claude Code таким образом, Anthropic блокируют доступ, ищут связанные аккаунты, а где-то передают информацию властям. Ну и конечно улучшают свои внутренние процессы по обнаружению такого использования.

https://www.anthropic.com/news/detecting-countering-misuse-aug-2025

Недели три назад вышел новый DORA report и там очень много интересного. ИИ тему конечно же не прошли стороной.

Отчет проводился в период с 13 июня по 21 июля 2025 года. На опрос ответило 4867 человек!

- 95% респондентов полагаются на ИИ и более 80% считают, что он повысил их продуктивность. В то же время 30% респондентов говорит о низком или полном отсутствии доверия к коду, сгенерированному ИИ.
- Platform engineering является почти must have, внедрено у 90% - 94% организаций. Более того внутренние платформы являются одним из ключевых факторов для успешности внедрения ИИ. Единое окно, легче внедрять, легче контролировать. Больше влияние. Кстати в отчете есть целый раздел про Platform engineering и про популярные стратегии их разработки. Рекомендую.
- ИИ увеличивает скорость доставки но добавляет нестабильности в качество (уже не первый источник про это пишет). Сэкономленное время (генерация/написание коде) просто перешло в проверку/ревью. Выигрывают те компании, у которых процесс проверки качества настроен.
- По результатам опроса, с 78% вероятностью, авторы утверждают что использование ИИ не лишает разработчика чувства владения кода. Т.е. разработчики воспринимают ИИ как продвинутого ассистента, нежели как абсолютно автономного агента который полностью ответственен за авторство кода.
- Очень интересные данные в главе "Understanding your software delivery performance". Авторы исследования кластеризовали команды по разным признакам и примерно обозначали их характеристики. Ну например, скорость релизов - медленная, качество - высокое. Выгорание - среднее. Так вы можете например посмотреть и примерить на свои команды ну и понять куда улучшаться. Впечатлили кластеры 6 и 7. В этом кластере команды которые одновременно быстро и качественно деливерят. Т.е. например для таких команд внедрение ИИ будет офигенным мультипликатором. И таких порядка 40% от всей выборки.

В общем рекомендую к чтению
https://services.google.com/fh/files/misc/2025_state_of_ai_assisted_software_development.pdf

50 способов использовать Claude code. Первые 18 доступны открыто (для остальных нужна подписка).

https://www.lennysnewsletter.com/p/everyone-should-be-using-claude-code