Не знаю, на сколько можно доверять таким "инсайтам", но ничуть не удивлюсь.
А мораль в том, что вся эта красивая чистая архитектура не стоит ничего, если стартап не смог заработать на жизнь, проект потерял доверие руководства, а компания не успела откусить кусок рынка.

https://xn--r1a.website/llm_under_hood/676

#карьера

Неделю назад на Flow слушал очередную вдохновляющую историю о том, как сисаналитику стать техпродактом. А сегодня гетматч прислал сообщение.

Не ходите, дети, в продакты гулять. Денег будет меньше, а жизнь хуже.

Возможно так выглядит будущее аналитиков в одной из веток мультивселенной?

• Самостоятельно анализировать и выяснять требования и ожидания к задачам от менеджера проекта и формировать техническое описание, в том числе с применением GPT
• Тестирование и отладка разработанного кода

• Сможете разрабатывать и внедрять новый функционал от идеи до релиза
• Имеете коммерческий опыт генерации кода и создания сервисов с применением Cursor AI, LLM-инструментов и prompt engineering; при этом ответственность за качество — на разработчике
• Умеете оценивать сроки выполнения задач с учетом применения LLM-инструментов и затем эффективно применять их

#AI #агенты #API

Вел на выхах занятие об использовании AI-инструментов для работы с апи, в том числе анализа существующих. Например, мне нужно подключить эквайринговый сервис для приема платежей.

1) Скармливаю модельке ссылку и краткое описание бизнес-языком, чего хочу.

2) Прошу сгенерить схему взаимодействий между участниками системы в puml.
— ChatGPT выдает корректную схему, предлагает несколько вариантов интеграции, иногда ошибается в синтаксисе puml, но легко исправляет
— Deepseek допускает логические ошибки на самой схеме, за 2-3 итерации получается исправить

3) Прошу построить пошаговый сценарий с указанием методов, которые нужно вызвать, необходимыми заголовками и телом запроса
— ChatGPT косячит в некоторых полях, но исправляется, если казать на конкретный метод
— Deepseek порывается сам придумать, что передавать в запросе, нужно заставлять брать инфу из доков

4) Прошу сгенерить коллекцию, чтобы импортировать в постман. Обе модельки справляются.

5) Протыкиваю запросы в постмане, иногда получаю ошибки из-за формата, заставляю модель переделать запрос.

6) Добиваю до состояния, когда вся цепочка отрабатывает корректно, отдаю обратно в LLM.

7) Прошу сгенерить мне спеку с описанием сценария, схемой, примерами запросов. Делают страшную примитвную пдф, но я и требований не прописывал.

Итого, примерно за час ленивого промптинга я получил интеграционный сценарий, набросок спеки, коллекцию для тестирования. Что важно - результат проверен на реальных запросах.

Уже неплохо, но можно пойти дальше:

Запросить у модельки скрипт, который последовательно дергает методы, и выдает результат для обработки LLM, чтобы не кликать самому. Немного проще но мало.

Можно локально или в облаке развернуть микро-агента, которому даешь на вход доку, ключики от апи, описание бизнес-сценария. Он генерит цепочку вызовов и сам проходит ее. Если получает ошибку, самостоятельно перепроверяет корректность запроса и сценария и пробует заново. На выходе выдает протестированный сценарий, спеку, коллекцию для тестирования. Либо останавливается по ограничению итераций.

Примерно так должна выглядеть работа над типовой задачей интеграции в AI-мире. А инженер должен распознавать такие возможности автоматизации в своей работе и быстро клепать под них инструментики.

#архитектура

Тут опубликовали плейлист с хайлоад джуниор, про базовые вопросы проектирования ситем: хранилища, инфра, сети.
Темы важные, спикеры интересные, кто вкатывается в сисдизайн не ради собесов, не проходите мимо.

Кому мало, у них же есть текстовый курс, нарезанный на основе выступлений основной конфы. Уже не первой свежести, но фундаментальные вещи не особо меняются.

Можно шлефануть курсом Бунина, который он вел на физтехе, там живые лекции со студентами, но думать придется активнее.

А вечером заходите на наш стрим про отказоустойчивость в хайлоад системах, 18:00 мск.

Тут запись агентских паттернов подвезли

🔥Опубликовали запись вебинара Сергея Поляшева с разбором паттернов проектирования AI-агентов.

Что внутри:
— Базовые паттерны
— Когнитивные расширения, чтобы агент мог думать и учиться
— Взаимодействия с людьми, инструментами, другими агентами
— Продвинутые архитектуры, чтобы сделать агента гибким, масштабируемым, безопасным

Полезные ссылки:
• Каталог паттернов AI-агентов
• Agentic Design Patterns: A Hands-On Guide to Building Intelligent Systems
• LLM и агентские системы: от хайпа до рабочих практик

P.S. Через неделю будем ковырять MCP и интеграционную архитектуру в агентских системах. Подписывайтесь, не пропускайте

#манагерское

Интересно, как у людей в голове одновременно уживаются идеи «финансовая мотивация не работает» и «нужны четкие KPI, по которым будем штрафовать и премировать»?

Это ситуативные манипуляции, шизофрения, или правда существует какая-то логически непротиворечивая конструкция?

Ну что, подключайтесь, а то зря я что ли лицензию зума докупил?

#AI #агенты #интеграция

В таком подходе к подключению к чужому апи силами LLM появлись проблемы:

1) Если методов много, а доки подробные, может терять часть шагов — ожидаемо, заставляем перепроверять.

2) Теряется, если нужно активно использовать коллбеки и вебхуки — внезапно, пробуем лечить доп инструкциями: проверь наличие асинхронщины в доке, определи участников взаимодействия, явно указывай направление вызовов.

3) Если сервис популярный, то периодически пытается анализировать аналогичные сервисы и подсовывать сценарии на их основе — не ожидал, но логично. Явно требуем работать только по спеке.

Это все на голой гпт-5, продолжаем наблюдение.

#AI

Последний год слышу от ребят из бигтехов, что руководство дало установку внедрить ИИ, неважно зачем, неважно куда, неважно как, лишь бы было. Многие закатывают глаза, мол топы ведутся на хайп и пускают пыль в глаза инвесторам.

Звучит удобно, но есть нюанс. Сейчас мы в мире дикого запада, где непонятны области и границы применения иишечки, но есть чувство большого потенциала. Что делать? Да просто пробовать воткнуть везде. В компаниях на десятки тысяч человек найдутся удачные кейсы просто за счет масштаба. А уже дальше их анализировать и масштабировать при желании.

Такое могут позволить себе бигтехи и частные лица. В середине, скорее всего, не будет хватать денег или масштабов.

И что?
Выгоднее не закатывать глаза, а пользоваться моментом, когда можно за чужой счет тестить новые инструменты на реальном бизнесе, набирать экспертизу, может даже стать первопроходцем в чем-нибудь.

Всегда бы жить в эпоху перемен

Что делает 200 человек в субботу утром

#оффтоп

Знаете, за что люблю собесы по систем дизайну? Частенько самих интервьюеров не подпускают к таким задачам на практике.

Итоги стрима

Очереди не завезли, топики-партиции остаются все теми же.

Теперь для чтения топика можно создать не только обычную Consumer Group, но и Shared Group, в чем отличия:

• распределением партиций между консьюмерами занимается сама кафка

• одной партиции могут назначить сразу несколько консьюмеров, ради равномерности потребления

• пока реализован только один алгоритм балансировки, который этой равномерности не дает, но можно пилить свои

• важно: эта механика не обеспечивает порядок чтения сообщений даже в рамках одной партиции

Главная мотивация — обеспечить большую скорость обработки потока, за счет более эффективного распределения консьюмеров по партициям в случаях, когда не важен порядок сообщений. Но пока под это реализован только протокол, а не сама логика.

Лично у меня сложилось впечатление, что это штука больше для аналитики и логов, но будем посмотреть.

Ссылки и видосы будут в @nextway_news

А тут Андрей пишет про кафку, брокеры и всякие стриминги: @data_rivers

#брокеры

Такая картинка возникает у меня после общения с людьми на конференциях и тренингах. Справедливости ради, это относится не только к аналитикам. Всех интересует примерно одно: как выбирать технологии, покажи универсальные паттерны, дай алгоритмов и чеклистов для проектирования всего.

“Чем больше паттернов, тем лучше!” — реальное высказывание участника одного из воркшопов. Штош, внесем безумия в рабочие будни.

Не нужно выбирать технологии, эта задача встречается в реальной жизни крайне редко, и решает ее пара человек в компании/юните. Куда важнее разобраться в нюансах технологии, которую вы используете в проекте-продукте-компании.

Чем больше паттернов, тем хуже. Как-то запускали продукт, где разработку лидировал разраб, который незадолго прочитал книгу о паттернах для конкретного стека. Так вот, он реализовал там ВСЕ паттерны. Зачем?

Не существует универсальных алгоритмов, чек-листов и принципов, потому что все они выводятся из контекста и опыта авторов. Если что-то “работало” у них, не значит, что будет “работать” у вас. И не факт, что будет “работать” у этих же гурей в будущем. Это еще не затрагиваем вопрос вкусовщины и личной предвзятости.

Тогда что делать?
Хорошо бы понять, чем мы все же занимаемся. Мы проектируем распределенные системы, в которых постоянно нужно решать задачи согласования состояний, обеспечение порядка, потери данных, синхронизации версий и времени. Это все скучно, абстрактно, и непонятно, как положить на практику, правда?

Только есть проблемка — без них попытки использования паттернов, технологий и прочих базвордов равносильны блужданию в темной комнате с молотком и микроскопом. Повезет — забьем гвоздь, нет — засыпем пол осколками. Еще в окно можно выйти.

И наоборот, скучные базовые концепции позволяют самостоятельно выводить паттерны в нужных ситуациях. Обратное намного сложнее.
Можно смотреть на проектирование снизу вверх, в надежде угадать нужный инструмент под задачу, суть которой не понимаешь. Либо научиться видеть задачу и находить под нее инструменты.

Вообще, пост задумывался как нативочка к обновленному курсу по интеграции и архитектуре но рефлексировать интереснее, чем продавать. Зато сформулировал для себя, зачем делаю его. Мы учимся видеть задачу, самостоятельно изобретать решения и мыслить трейд-оффами. А еще добавили блоки про хранилища данных и работу с докером-кубером-мешами, начинаем в воскресенье.

Балансировка трафика

Вчера на AD делал воркшоп по основам балансировки, который из-за технических проблем превратился в ит-стендап. Но будто под вечер такое аудитории даже лучше зашло.

Выкладываю ссылки, которые обещал.

Введение в проблему с наглядной визуализацией

Более серьезное погружение в алгоритмы и архитектуру балансировки

Простой пример про балансировку веб-трафика, который приходит из голых интернетов

Хардкорный разбор работы HTTP/2

Разбор работы TLS: раз, два

#интеграция

#архитектура #хранилища

Вы могли заметить, что каждую неделю (почти) мы проводим что-то интересное техническое в NextWay Еще вы могли заметить, что записи мы выкладываем долго и лениво. Поэтому лучше приходить вживую.

Завтра, например, мы будем обсуждать графовые хранилища — это как ГрафКЛ, только ГрафБД. Тема особенно актуальная в контексте агентов и RAGов.

Кто пропустит, я не виноват. Придется ждать записей, они будут в ютубе. Когда-нибудь.

Люблю токсичные каналы, хотя градуса замеса пока не хватает. Но все же