Только недавно заметил, что подписчиков стало больше 4к. А ведь помню, как пару месяцев назад было всего 700. Сначала подумал: «Зачем мистер Андерсон вас столько?!», а потом подумал, как типичный капиталист, воспользоваться вами и похантить, так как знаю, что среди вас много крутанов.

В связи с этим - пачка горячих и крутых вакансий ко мне в команду делать лучшее, что можно вообще делать сейчас (да-да, это не обман). В AI-центре Т-Банка мы работаем над задачами, которые находятся на переднем краю мирового продуктового AI прогресса. Здесь есть сложные проблемы, которые нельзя решить просто накрутив промпт к GPT - нужно думать головой и строить собственные и нетривиальные решения. У нас есть ресурсы для экспериментов, свои LLM и главное - задачи, над которыми реально интересно работать, и возможность видеть результат этой работы в продуктах, которыми пользуются люди прямо сейчас.

Group EM во Вселенную Ассистентов - возглавить команду (20+ человек) и их EM'ов , чтобы строить AI-ассистентов, которые изменят то, как люди взаимодействуют с банком и не только
Staff MLE во Вселенную Ассистентов - делать серьезное машинное обучение для ассистентов, которые реально понимают пользователей и помогают им решать их ежедневные задачи
Lead Product Manager в Поиск - трансформировать поиск в экосистеме Т с командой 40+ человек
Analytics Lead в Поиск - копать данные и находить инсайты, которые покажут, как люди на самом деле ищут информацию в банке
Product Manager в Поиск - взять кусок поиска в свои руки и довести его до ума, работая с конкретной вертикалью
Product Manager CallsAI - создавать AI, который понимает контекст каждого звонка в Т-Мобайл и помогает решать задачи клиентов быстрее и точнее

Если хотите работать над нетривиальными AI-задачами, где нужно думать, а не копировать чужие решения - пишите. У нас классная команда, интересные задачи, которые заставляют расти, и нет времени на бессмысленную суету.

Зря вас что ли 18к здесь, тоже поханчу ))

Первых двух людей (group EM и staff MLE) я лично очень жду, вселенной вас не хватает! Если вы таких знаете, покажите им пост или познакомьте меня. Наш текущий СРО, Адам, так и нашелся 😏

Разбирайте

Самый умный модель завезли

Посоветовала мне искать мужа на дне физкультурника в воскресенье. Идём? ))

На самом деле, не успела ещё ни презу посмотреть, ни нормально потыкать. Займусь вечером. И вам советую своё мнение сформировать — пишут разное.

Ввели у себя во вселенной систему “грейдирования” ассистентов. Сравниваем, на каком уровне работает ассистент: человек, эксперт или топ-эксперт. Чем выше грейд, тем больше ценности получает пользователь от ассистента.

Простой пример. Есть тревел-ассистент, одна из задач которого — подбирать авиабилеты под задачу пользователя (“когда в октябре и дешевле лететь в Испанию из мск с минимальным количеством пересадок”). Для него есть 3 грейда:
1. Обычный человек — с каким качеством человек сам для себя подберёт билеты (человек не всегда может найти лучшее предложение — заленится долго искать или просто просмотрит)
2. Консьерж-сервис / обычный ассистент — человек, на которого могут делегировать такую задачу
3. Турагент — человек, для которого это является основной работой

Если ассистент работает на уровне обычного человека, пользователь получает ценность в виде экономии времени — ему не надо самостоятельно делать кучу поисков и просматривать миллион билетов, сравнивать и выбирать лучший. Ассистент сделает это за него с таким же уровнем ошибки, как сделал бы сам пользователь.

Если ассистент работает на более высоком грейде, пользователь начинает экономить время и деньги, которые отдал бы эксперту за решение его задачи.

Как сравнивать
Придумали грейды — как понять, до какого из них “дорос” ассистент?

Глобально есть 2 варианта:
⁃ Абсолютный скоринг — ставим оценку каждому варианту решения задачи по какой-то шкале, потом сравниваем оценки. Например, человек подобрал на троечку, ассистент на 3,5, консьерж — 4, турагент — 5 => ассистент перебил человека, но не перебил остальные грейды.
⁃ Sbs (side-by-side) — попарно сравниваем ответы каждого варианта решения задачи, строим рейтинг на основе win-rate таблицы (как в спортивных турнирах). Сравниваем: человек vs ассистент, человек vs консьерж, человек vs турагент итд. Собираем победы в табличку и строим рейтинг, например, по количеству побед.

Чаще используют sbs, потому что меньше искажений от шкалирования — даже людям сложно одинаково оценить один и тот же ответ по шкале. А ещё sbs позволяет понять, какой ответ предпочтительнее, даже если по абсолютному скорингу они равны.

В итоге
У ассистента есть грейд (всё как на работе, да). А мы понимаем, какую ценность получат пользователи от нашего продукта. И можем её грамотно транслировать.

—

Вообще, я собрала целый доклад, где структурировала всю базу про создание LLM-based продуктов. Эвалы, бенчи, корзинки, LLM as a judge и другие умные слова, суть которых надо понимать, чтобы создать качественный LLM-продукт. Буду рассказывать на онлайн-конференции WANNABE AI GENIUS.
Сразу после меня будет доклад Севы Викулина из Яндекса, который расскажет, как довести до прода прототип, который выбил хорошие метрики качества — как делать на своих моделях, сжимать/ускорять их, чтобы они стоили не как самолёт… Супер полезно и интересно!

30 августа с 11 до 17 по мск
Онлайн
Билеты тут

Ачивка посветиться секунду на телеке ✅

Позвали поучаствовать в съёмках рекламного ролика про Т-команду. Ну а мне так нравится закулисье театра, съёмок и прочих креативно-творческих профессий, что я, конечно, согласилась.

Сколько было дублей я не смогла посчитать — фразу “А давайте” мы засняли в ~40 вариациях. На подготовку и съёмку двух сцен ушло пол дня. Жёстко. Но мне всё равно зашло — интересно посмотреть на чужие будни изнутри )

Проблема в полноте

Я часто использую LLM для изучения новых штук, в которых не разбираюсь. Уже давно привыкла перепроверять факты — это не сложно. Гораздо сложнее проверить полноту полученной информации.

Например, недавно спрашивала про фреймворки управления несколькими командами, когда на них есть только 1 продакт и 1 тимлид. LLM скинула мне какое-то количество фреймворков — я прочитала, убедилась, что не булшит. Попыталась выбрать наиболее подходящий среди них. А после общения с коллегой, который шарит, оказалось, что наиболее подходящего в этом списке тупо не было. И как я это пойму, если я не задрот по фреймворкам и не знаю весь список?

Получается, у продукта 2 задачи: действительно обеспечить полный ответ и доказать пользователю, что он полный. Как доказать, что для ответа использованы все нужные источники информации и других нет, — не очень понятно. “Мамой клянусь, всё проверил”? ))

Как-то сестра мне сказала, что будет раза 3 перепроверять за нашим тревел-ассистентом, прежде чем сможет ему доверять. И ладно, если задача понятная — проверить, что из 3-5 доступных дат ассистент реально нашел лучшие билеты. А если пользователь вообще не разбирается в теме, например, в инвестициях? Единственный способ проверить — разобраться самому или найти того, кто разбирается.

Волшебную таблетку я не изобрела — в продуктах придётся учиться честно замерять полноту и выбивать хорошие значения по ней. Пользователи всё равно будут перепроверять первое время. И кажется, единственный способ доказать, что продукт даёт нормальную полноту, — не продолбаться несколько раз подряд.

Не мы такие, работа такая

Мне кажется, я уже миллион раз написала, что надо пробовать вайбкодить — какой это важный навык и как легко начать. Но пока в моём канале остаются люди, которые еще не попробовали, я буду продолжать ))

Мы с Эпиком придумали творческий движ! Предлагаем вам завайбкодить какую-нибудь простенькую игру с механикой накопления баллов. Игра может быть вообще любой — не сдерживайте воображение. Общая тематика — рост (продуктов / бизнеса / карьерный). Обязательное условие — в игре должен быть использован фиолетовый цвет (ну, эпик же)

Будет 2 победителя — одного выберет epic, второго выберем мы сами — кто больше лайков наберёт, тот и победил. За победу дарим Pro билет на Epic Growth Conference!

А если игра получится реально прикольной, ребята из эпика готовы будут показать её на самой конфе и давать за набранные баллы реальные продукты из экосистемы Epic!

Получившиеся игры кидайте в комменты к этому посту (пишите, что это игра, а то фильтроняша сходит с ума и удаляет ссылки)
Дедлайн — ночь воскресенья (24 августа)

В помощь:
⁃ Вебинар по вайбкодингу
⁃ ChatGPT, чтобы придумать идею игры, если ничего не приходит в голову (и он же может помочь написать промпт, чтобы завайбкодить игру)
⁃ Используйте Replit или Lovable для вайбкодинга (или всё, что вам нравится, но эти штуки проверены лично мной). Не забудьте в конце нажать “Deploy”, чтобы опубликовать игру (выбирайте Reserved VM) — подробнее в вебинаре
⁃ Если всё равно кажется, что это слишком сложно, откройте Replit и просто вставьте мой промпт — убедитесь, что оно работает, а дальше сделаете своё:

Сделай простую браузерную игру на HTML + CSS + JavaScript с такой логикой:
Название игры: "Growth Clicker (Epic Edition)"
1. Главный экран:
- Большая фиолетовая кнопка в центре (“Кликни для роста”).
- Каждый клик увеличивает счётчик очков.
- Фон и ключевые элементы в фиолетовой цветовой гамме.
2. Прогресс роста:
- Начинаем с "семечки".
- При достижении определённых порогов очков картинка или текст меняется:
- 0–50: Семечка 🌱
- 50–200: Росток 🌿
- 200–500: Продукт 📱
- 500–1000: Бизнес 🏢
- 1000–2000: Корпорация 🌍
- 2000+: Единорог 🦄
- Над кнопкой показывай текущий статус.
3. Апгрейды:
- Справа от кнопки панель с апгрейдами (кнопки):
- "Нанять тимлида" (стоимость 50 очков, +1 очко в секунду).
- "Запустить маркетинг" (стоимость 200 очков, +5 очков в секунду).
- "Построить экосистему" (стоимость 1000 очков, +20 очков в секунду).
- При покупке апгрейда очки списываются, бонус добавляется.
- Апгрейды можно покупать несколько раз.
4. Интерфейс:
- Вверху крупно отображается количество очков.
- Ниже — текущий статус роста (например: "Ты сейчас на уровне: Продукт").
- Справа — список апгрейдов с кнопками "Купить".
5. Визуал:
- Всё в фиолетовой палитре (кнопки, акценты, glow-эффекты).
- Минималистичный, но яркий дизайн.
6. Бонус:
- Когда игрок достигает уровня "Единорог", появляется поздравительное сообщение:
"Congrats, you’ve reached Epic Growth!" и анимация конфетти.
Сделай так, чтобы код был в одном HTML-файле (с CSS и JS прямо внутри), чтобы я мог запустить игру сразу в браузере.

Я кстати, реально, залипла в игру, промпт для которой написала выше — на всё ушло 5 минут 😁

Помните, что мы с Эпиком разыгрываем 2 билета на конфу за лучшую завайбкоженную игру? Пришло время зрительского голосования! Я отобрала 3 игры, среди которых предлагаю выбрать первого победителя

1 - https://ai-bonus-quest-sazanovm2025.replit.app/

Вы AI Product, которого наняла компания, чтобы заменить всех сотрудников в офисе на AI-агентов. Для этого вам надо собрать в офисе данные и с ними отправиться к компьютеру для обучения модели. Но не все так просто. Сотрудники знают, чем вы занимаетесь, а следовательно постараются вам активно помешать. Удачи 🔥
Сделано с любовью руками AI Product для вашего хорошего нсстроения❤️
В игре теперь 3 уровня, тебе предстоит пройти путь AI Product->AI Lead->AI CPO.
Разминаем большой палец, просто не будет😁

2 - https://release-runner.replit.app/

Ты — продакт-менеджер. Если с моб - то жми discovery, если с компа - space. Ты открываешь роудмап. Твоя задача — собрать все фичи⚙️ за 1:30 минуты. Всего 5 уровней
Собрал все фичи → появится Ворота деплоя, иди туда.
Чтобы не потерять очки, жми Ship или S — Ship to Staging, так очки будут сохранены
А в конце лидерборд, кто наборал больше очков - тот и красавчик

3 - https://github.com/lavrentievadaria/game_arkanoid_vibecoding

Разбавь свой график и избавься от накопившихся дел!
1. Перенесите файлы на компьютер
2. Откройте index.html в любом браузере
3. Начинайте играть!

Голосуйте за понравившуюся, ставьте реакцию к посту:
1 - 🎃
2 - 💅
3 - 👾

Победителей объявим завтра: один — по результатам вашего голосования, второй выберут ребята из Эпика (из всех работ, не спешите выключать!)

Время победителей 🦄

По результатам зрительского голосования побеждает аналог Пакмана. А победителем от Эпика становится игра, похожая на сапёр. Такие у меня сегодня ассоциации 💅

Авторы этих двух игр получают бесплатные Pro-билеты на Epic Growth Conf! Напишите @misterlukashin, чтобы забрать подарки.

Всем остальным, кто завайбкодил игру, Эпик дарит промик на 40% на эту же конференцию — скину в лс.

Спасибо всем, кто участвовал, вы крутые!

Тут такое дело - стала сегодня звездой журнала MAXIM. Хихикали, что надо было туда ссылку на опрос добавить, чтобы сразу лидов собирать. Ну знаете, сразу спросить о важном: кто ты из смешариков, какой у тебя годовой доход...

Момент в статье упущен, давайте вас спрошу!

Генерила сегодня видос для тусовки на крыше. Хотелось бы, чтобы всё это было с пары промптов, но пока нет: GPT + Higgsfield + Suno + CapCut ))

Higgsfield всё больше нравится! Несколько недель назад у них можно было только сгенерить видос, выбрав эффект из библиотеки. А сейчас уже: зарисовать сцену, из которой сгенерится видео; добавить любой элемент в существующий видос (например, закинуть фотку чипсиков и персонаж на видео начнет их есть); заменить персонажа в видео (например, в ролике с человеком в качалке заменить человека на английскую королеву); куча новых моделей. Ребята очень быстро развиваются, кайф! Если знаете кого-то из Higgsfield, познакомьте меня, хочу )

Однажды мы жестко продолбались и запомнили, как делать не надо :))

Дело было давно — слово GPT только набирало обороты. Мы разработали прототип нашего первого ассистента и решили потестить его на сотрудниках, перед тем как катить на пользователей. Собрали кучу ошибочных кейсов и ушли чинить качество. Спустя пару месяцев раскатились в закрытую бету на пользователей и… поняли, что пользователи спрашивают вообще не то же самое, что сотрудники. На запросах пользователей качество снова сломалось, а чинить нужно было совсем другие ошибки.

Сегодня эта история кажется очевидной, но тогда — нет. Более того, я вижу, что многие и сейчас наступают на те же грабли. Собрала инструкцию: как и что делать, чтобы минимизировать риск провала.

Делюсь: инструкция, как создать LLM-продукт

Главный урок — не жалейте сил на сбор качественных данных на старте. Чем лучше соберёте, тем выше шанс, что они совпадут с реальными, и не придется переделывать решение.

Был период, когда мы не понимали, кто в деливери команде должен отвечать за экспертизу в LLM-домене. Подключали технических продактов, промпт-инженеров, NLP-инженеров. Перепробовав разные конфигурации, пришли к тому, что экспертизу нужно качать у всей команды:
⁃ Любой может написать промпт
⁃ Архитектуру решений обсуждаем вместе
⁃ Материалы шерим в чатиках и на “винтиках-штунтиках” — внутренних семинарах, как в вузе
⁃ Для сложных кейсов есть “экспертный комитет”: можем устроить встречу, чтобы почелленджить решение, или временно высадить эксперта в команду

Результат — каждый член команды не просто исполняет, что ему сказали, а привносит вклад в итоговый результат. Повышается и мотивация, и скорость, и качество.

Го качаться в наш с Андреем Менде симулятор. В нём вся база из инструкции в посте выше, как создать LLM-продукт. С кейсами и возможностью безопасно собрать первые решения руками.
Ближайший вебинар уже завтра — залетайте, потому что проводить живые потоки будем редко, сейчас нет на это времени.

✨ https://productdo.it/llm?coupon=podobrazhnyh

Я таак хотела, чтобы на афтерпати нашей конфы поиграл S.A.Y. (резидент творческого объединения Blaash). И представляете — будет!!

Придётся, конечно, из своего сета убрать кучу его треков, но что ж ))

27 сентября
Суперметалл

Приходите: https://producty24-ffdd2d.ru

Хочу сделать пару проектов без разработки — тыкаюсь по вечерам в Flowise. И несмотря на то, что он проще, чем n8n, всё равно приходится сидеть в ютубе и искать кейсы, похожие на то, что я хочу собрать. Кейсы 1 в 1 фиг найдёшь — приходится разбираться. А лучший способ разобраться — кому-то объяснить. Поэтому решила со своим дружочком Ромой сделать вебинар на эту тему.

Рома руководит всем, что связано с экспериментами в Т-банке. И уже построил какое-то количество AI агентов своими руками.

Мы решили на вебинаре показать, как в Flowise самостоятельно собрать RAG-пайплайн и агента с несколькими тулами, вытащить это всё в тг-бота. И поотвечать на ваши вопросы. Очень хочется, чтобы после вебинара вы смогли самостоятельно собрать какой-нибудь проектик.

Отдельное обращение к моей команде: вы тоже приходите, вам полезно ))

24 сентября в 19:00 по Мск (это среда)

Вебинар будет онлайн. Регистрироваться не надо, но вступайте в канал — туда закинем ссылку, запись и материалы.

@vibevibelab

На выходных таки дособрала кусочек своего проекта в Flowise. Он генерит несколько персонажей на заданную тему, заставляет их общаться между собой и потом возвращает получившиеся диалоги.

До этого проекта я не задумывалась, как физически заставить 2 ллмки «поговорить». Оказалось забавно: строишь голубиную почту — супервайзера, который наблюдает за диалогом и передает реплику, на которую надо ответить, нужному персонажу.
Пока делала, поняла, как на самом деле работает память, как не терять накопленные диалоги, как это все масштабировать на >2 персонажей. В этом и был смысл — научиться строить руками что-то сложнее линейного пайплайна.

Оберну в тг-бота и, возможно, дам потыкать.

А вы приходите вечером на вебинар — Рома покажет, как построить раг-пайплайн и агента с несколькими тулами, и вытащить это всё в телеграм.

Ссылка на вебинар, запись и материалы будут здесь: @vibevibelab