Любишь AI фичи создавать, люби и evals строить

Если вы когда-либо создавали AI-фичи или будете это делать, вам стоит разобраться в evals. На LinkedIn все кричат, что это чуть ли не самый важный навык продакта сегодня 🤪

Давайте разбираться, что к чему.
Проблема такая — вы никогда не знаете какой ответ выдаст LLM-модель, один и тот же запрос дает разные ответы. Чтобы понять на сколько хорошо модель справляется и как улучшить ее работу, вам нужна система оценки — evals.

Обычно модель оценивается по нескольким критериям:
🔵Корректность — на сколько корректные ответы дает модель,
🔵Полезность — решена ли задача пользователя,
🔵Тон общения — доброжелателен, приветлив.
Это не стандартизированный список, вы можете определить свои критерии, типа безопасность, креативность, в зависимости от фичи.

Как выглядит внедрение evals в небольших проектах:
🔵создаем фичу на основе LLM ответов, наделяем модель ролью. Отдаем в нее контекст и просим на выход ответ в нужном формате. Определяем как для нас выглядит успех.
🔵собираем ответы модели в табличке и настраиваем человеческую оценку ответов по критериям выше. Оцениваем каждый из критериев по шкале - хорошо, нормально, плохо. Отмечаем комментариями какие ошибки допускает модель.
🔵находим паттерны ошибок и улучшаем промт и отдаваемый контекст модели. Запускаем оценку заново.

Это называется ручная экспертная оценка. Но есть еще несколько способов, которые подойдут для крупных проектов, где оценка вручную не вариант:
🔵проверка на основе кода - логические условия есть ли в ответе ссылка, нет ли упоминания конкурентов, ответ не слишком длинный, не слишком короткий,
🔵проверка пользователями (лайк/дизлайк, звезды, фидбек),
🔵использование LLM модели в роли судьи для оценки ответов и регялярного измерения качества. Можно использовать готовые решения типа Phoenix Arize, Brain Trust или LangChain для агентов.

В итоге работа над AI-фичей c evals будет напоминать классическую продуктовую работу: запуск промта -> измерения и оценки -> итарация промта -> и так по кругу.

На следующей неделе буду делать evals для своего приложения. А вы уже делали evals?

Как создавать контент с помощью AI?

До этого я ни разу этого не делала и поэтому долго откладывала. Не знала как подступиться. На днях вдохновившись постом Нади и решила выделить на это время.

Итак, мне надо создать несколько роликов в формате рилсов для рекламы прилы про питание. Что за инструменты я использовала, что у меня получилось и какие были сложности:

Инструменты:

🔵Начать надо было со сценариев. Для этого я использовала ChatGPT, сформулировала с ним несколько ключевых JTBD-историй, и по ним несколько сценариев и текстов.
🔵Nano banana помогла мне сгенерировать видео с людьми. Была уверена, что не буду использовать AI-генераторы из-за того, что они делают не естественный контент. Но за пару промтов все видео становились очень реалистичными и заменяли мне съемки, которые так не хотелось делать.
🔵Veed.io для простого монтажа. Переходы между видео, наложение текста, озвучка, пекшот с логотипом и призывом скачивать. Демонстрацию фич приложения записала просто скринкастом экрана.
🔵Figma для скринов, фонов, иконок, финального экрана.

Основные сложности, с которыми я столкнулась😷:

🔵Сложно собрать сценарий. Даже с ChatGPT. Нужно понимать подробную раскадровку и как ты создашь каждый кадр — будет это скринкаст, сгенеренное видео, созданная анимация или что-то еще. Первые ролики решила просто повторять референсы конкурентов.

🔵Достаточно много времени ушло на онбординг в Veed.io. Какие-то фичи просто не найти в глубине настроек, про какие-то простые улучшения типа плавных переходов между кадрами или появление текста, я вообще не думала и добавляла уже после того как натыкалась на функциональность.

В итоге за час я собрала 2 рекламных ролика без какого-либо опыта до. Что оцениваю как неплохо. Уже не так страшно делать это снова. А вы уже пробовали создавать контент с AI? ☺️

Пишу стратегию круглый год

Я/Мы очень стремимся контролировать мир и целимся в то, чтобы наша стратегия описывала то, как компания и бизнес будет идти по траектории, которую мы очертим👍

Да, вы не сможете писать стратегии из раза в раз, которые будут сбываться на 100%. Слишком много что может пойти не так. Но ваша задача не предсказывать будущее, а увеличить вероятность попадания в успех.

Что может помочь с этим:
🔵Регулярные интервью с пользователями, чтобы знать сегменты пользователей, их контекст и задачи,
🔵Знание конкурентов, трендов для понимания вашей позиции на рынке, возможностей, угроз и динамики куда движется область в которой вы работаете,
🔵Понимание в цифрах как продукт создает ценность и деньги,
🔵Понимание на уровне формул как продукт, в котором вы работаете влияет на ценность и деньги,
🔵Знание, кто ваши ближайшие команды, с которыми у вас зависимости и какие у них планы,
🔵Знание, кто ваши стейкходеры, какие у них задачи, мотивации и проблемы.

Это не то, что вы сможете собрать за пару недель до праздников. Поэтому эту работу нужно делать регулярно, чтобы в конце года сесть и фокусно написать стратегию, которая будет отражать реальность. В целом у нас с вами еще есть время подготовиться к 2026-ому 🙂

Как понять, что ваши цели составлены хорошо?

Составлены хорошо — значит способны влиять на бизнес компании в измеримом и значимом виде.
Вы когда-нибудь видели, или может сами ставили цели в формате — запустить продукт, улучшить онбординг или еще хуже, закрыть 5 багов?
Работая далеко не в нищих стартапах до сих пор такое наблюдаю.

Вот вам короткий чек-лист на проверку своих целей от простого к сложному:
🔵Цель подконтрольна команде?
🔵Цель упоминает создаваемую ценность (а не только деньги)?
🔵Опирается ли цель на вдохновляющее, но достижимое состояние продукта в будущем?
🔵Достижима ли цель для промежутка времени, на который она ставится?
🔵Формулировка цели проста и понятна всем участникам команды?
🔵Цель сонаправлена с верхнеуровневыми целями бизнеса?

Если вы собрали все «да» — вы великолепны! Примерами худших целей можно поделиться в коментах, я начинаю.

Несколько классных советов продуктовым лидерам от Бена Хоровица

🔵Нерешительность — самое разрушительное, что может принести руководитель в команды. Принимать решения сложно потому что выбор всегда между плохим и немного хуже вариантом. Невозможно принимать решения, которые нравятся всем. Но важно делать это быстро.
🔵Успех — это не одно гениальное решение, а череда мелких побед и тяжелых решений.
🔵Не ждите справедливости. Жизнь в целом несправедлива. Как только вы отбросите это ожидание, вы сможете сосредоточиться на главном вопросе — Что я должен делать сейчас?
🔵Руководитель/СEO должен нанимать специалистов мирового класса, которые будут двигать компанию вперед там, где вам не хватает экспертизы, а не наоборот — нанимать сотрудников, чтобы вырастить их в высококлассных специалистов.
🔵Менеджеры по продукту — это лидеры, которые влияют на продукт и команды, находящиеся вне прямого подчинения.
🔵Долгосрочное уважение важнее краткосрочной симпатии. Как лидеру, вам придется говорить людям правду, которую они не хотят слышать. Ваша задача не в том, чтобы нравиться им в моменте, а в том, чтобы заслужить их уважение в долгосрочной перспективе.
Тезисы отсюда.

Как сделать так, чтобы ваши сотрудники принимали дата-дривен решения

Вы накидали вопросов про Talk2Data. Хочу рассказать немного подробнее про это.

В OLX сложно устроена аналитика. Данные собираются, преобразуются в несколько шагов, дата инжинеры собирают данные в таблицы под продукты и нужды бизнеса, аналитики строят дашборды на основе этих таблиц. Плюс небольшая группа людей, знающих SQL, может делать запросы к таблицам и получать больше информации😐

Данных много, работать с ними могут не все. В итоге аналитики становятся бутылочным горлышком для команд в получении инсайтов из данных🍴

AI для решения этой задачи справился отлично. Вот как это устроено у нас:

🔵Slack-бот как точка входа. Любой может написать боту сообщение с вопросом о нужных данных человеческим языков. Например, сколько выручки в категории Motors было за вчера?

🔵запрос интерпретируется на метрики (active users, revenue, leads) и переменные (продукт, платформа, страна, время и пр.)

🔵запрос конвертируется в SQL код и исполняется,

🔵полученные цифры формулируются в человеко-понятный комментарий и отправляется ответом в Slack. Типа такого: "За вчера в категории Motors выручка составила 1,5млн долларов" (но часто длиннее и подробнее),

🔵для проверки точности ответа можно использовать фичу Show query - показать SQL код, чтобы убедиться, что запрос написан корректно.

Каждая продуктовая команда делала интеграцию к своим таблицам. По сути нужно подготовить одну большую таблицу с ключевыми данными по продукту, чтобы LLM было проще к ней обращаться.
Также при запуске фичи на команду очень важно провести обучение или хотя бы собрать гайд как правильно пользоваться фичей - как формулировать запросы, чтобы получить корректный ответ, как интерпретировать данные и проверять ответы. Так как от этого зависит как эти ответы будут использованы.

Для реализации на уровне компании хорошо иметь поддержку кого-то из дата-лидеров. Либо вы всегда можете навайбкодить такого бота у себя в команде локально💅

Подкиньте лайков, если тема агентов интересна.

Вас тоже тошнит от итогов года? 📱

Сама нашла себя в этом состоянии в начале декабря, потому что вспоминала все то, что не получилось в этом году.

Хотя, я считаю, что итоги года — это отличный повод для рефлексии, которую в общем то и не обязательно подводить в конце года. И это про то, чтобы заметить, что произошло за год, что получилось, что — нет, какими вы стали после всех этих событий. А не про кару себя за не случившиеся идеальные планы.

Когда-то я ходила на психотерапевтическую группу, и наверно это был один из самых осознанных периодов. Я каждую неделю рефлектировала с группой о том, как прошла неделя, что понравилось, что — нет, какой ты по поводу этого и что хочешь изменить в себе и своих действиях. Это натренировало классный скилл понимания себя и нахождения фокуса.

Я несколько раз подводила итоги года по разным тетрадям, шаблонам. Основное, что их объединяет — это замечать что произошло (все события, не только самые яркие, а вы ведь знаете, что мы лучше запоминаем плохое😢), каким ты стал за этот год, не пиздеть себя за то, что не случилось, и опираясь на это, определить фокус, на котором ты хочешь сосредоточиться дальше. В общем это про трекинг динамики, поощрения себя за проделанный путь, присвоение опыта.

Поэтому в этом декабре я таки пишу итоги года. И буду писать планы. А вы как относитесь к итогам года? Пишете?