Почему модели не могут обобщать так же, как люди? (1/2)

Имхо это центральный вопрос очень вдумчивого и оттого суперинтересного нового интервью Ильи Суцкевера. И именно ответ на этот вопрос - путь к очень мощному AI. Спойлер - ответа на него он не дал, но намекнул пути поиска.

Вот что я вынес для себя:

1) Текущие модели много всего умеют, но они очень плохо обобщают - по сравнению с человеком:
- семпл-эффективность: подросток учится водить за 10 часов практики, а мы вливаем в модель гигантские датасеты
- надежность/устойчивость (robustness): человек не делает одних и тех же ошибок по кругу (привет Claude Code).

2) Почему? Кейс 2х студентов, первый из которых тратит 10000 часов на подготовку к спортивному программированию, а 2й - скажем, 100 часов. У кого из них будет лучше карьера? У второго. Почему? Потому что он не слишком затюнен под спортивное программирование, которое не имеет много общего с ежедневной работой.

- предтренировка модели делает из них студентов первого типа +
- ресерчеры, которые дотренировывают модели, слишком сильно полагаются на эвалы и бенчмарки, и оттого, возможно, делают из моделей вот этот 1й тип студента, хорошо решающего задачки, но не очень подготовленного к реальной жизни.

3) Интересные размышления про функцию эмоций у людей, что, возможно, это некоторый компрессионный механизм, который "изобрела" эволюция, чтобы помогать людям принимать решения. Коррелирует с этими моими мыслями про память и про влияние эмоций, и последующим обсуждением в комментах.

4) Прикольно, как он высказался про scaling и как "слово влияет на мышление" (я как раз говорил об усиливающемся взаимовлиянии языка и мысли на лекции по мотивам этого HLAMT поста ): когда все поняли, что это работает, то ринулись это делать. Новые подходы к решению задачи, в основном, прекратились, все просто вкладывают больше денег в больше компьюта. Илья считает, что это путь к коммодитизации, что все модели в том или ином смысле одинаковы.

В эту же тему, что AGI как термин был сформулирован как противопоставление narrow AI.

5) Из-за этого он делает важный поинт, что лидирующие AI лаборатории вероятно будут показывать хорошую выручку, но не прибыль, потому что им сложно будет дифференциироваться с текущими более менее похожими моделями (см предыдущий пункт). Конкуренция ведет к дифференциации, поэтому наверное будет уход в специализацию.

6) У Ильи и SSI есть идеи, как ответить на вопрос в заголовке поста. Но, и он явно сетует по этому поводу, в современных реалиях открыто эти идеи не могут обсуждаться: из за конкуренции, безопасности и других соображений. Имхо это четкий сигнал новой фазы гораздо более закрытого ML ресерча.

7) Мне понравилось его мысль, что AGI это не финальное состояние - AI, которые умеет делать все, что человек - а скорее некий базовый learner с алгоритмом обучения, алгоритмом обобщения, как у людей. И это нечто можно направить научиться любой штуке, как и человека. Его прогноз: 5-20 лет.

8) Если у каждого из нас будет такой персональный AGI, то что будет? Да, сначала будет универсальный высоки доход, AI будет нашим агентом/представителем, все будет делать за нас, мы только будем подбадривать. НО, и этот исход не нравится Илье, тогда человек перестанет быть участником, развалятся многие институты, что мы создали. Мы потеряем свою агентность. Чтобы этого избежат - чтобы не потерять свою агентность и быть соучастником процессов - нам придется прийти к некой "киборгизации" человека —> какая-то сильно продвинутая версия нейролинка, когда AGI, научившись тому, что вы его попросили, сможет одним разом сгрузить вам все это напрямую. Илье не нравится это решение, но кажется, что это единственное решение для устойчивого долгосрочного равновесия.

9) Интересные размышления по поводу того, каким образом эволюция "запекает" в нас такие высокоуровневые концепты как желание нравиться другим или путь к самореализации. Каким-то неведомым образом эти концепты есть в ДНК, и мы сильно дорожим другими, и без ответ на этот вопрос нам будет достаточно тяжело решить задачу alignment-а человека и AI.

Почему модели не могут обобщать так же, как люди? (2/2)

10) Хочу еще раз вернуться к пункту про конкуренцию и дифференциацию: вообще, мне показалось, что это важный момент из всего тока. Что нам снова надо вернуться к фазу ресерча и искать другие подходы. Эта однобокость не позволит нам прийти к AGI. И это еще один пункт в нарратив AI пузыря, хотя Илья явно это не связывал, хоть и высказывался про недостаток дифференциации у лидирующих AI лабораторий.

Вообще, про важность diversity он несколько раз высказался, в том числе в ходе размышлений, почему миру не нужны «тысячи клонов Ильи на сервере»

В общем, очень вдумчивое и увлекательное интервью, рекомендую. Я думаю на декабрьском GenAI апдейте еще поделюсь всеми заметками с интервью и поразгоняем.

Помните мой пост про AI гонку и план США? На днях вышло логичное продолжение - миссия Genesis, которую сравнивают с Манхеттеновским проектом по созданию атомной бомбы.

Там есть парочка очень интересных поинтов, разбираемся:
1) Это национальная инициатива Департамента Энергетики США, его 17 национальных лабораторий, и пары десятков частных компаний (там все usual suspects: Nvidia, OpenAI, Google, Anthropic и тп)

2) Цель - удвоение производительности, скорости проведения и отдачи от научных исследований через "слияние" учёных с AI

3) Самое интересное - в рамках этой инициативы будут обучены новые модели, данные для которых - госданные научных исследований, доселе недоступные LLM

4) Ключевые направления исследований: энергия, новые материалы, квантовые компьютеры и алгоритмы, биотех

Посмотрим-с как пойдет

Протестируем новую рубрику? Я рассказывал ранее про систему по отбору и тестированию бизнес-идей —> подумал, а что если буду регулярно - где-то раз в неделю - постить одну проработанную Darwin-ом идею: с описанием результатов ресерча, лендингами, и креативами. Берите и делайте наздоровье, если понравитсся

Итак:
1) Описание идеи, которое я дал на вход: AI фитнес коуч, помогающий пожилым людям менеджить свое ментальное здоровье и память

2) Результаты ресерча (далее перевод с англ от chatgpt):
1) Одиночество у пожилых — уже официально «эпидемия»: примерно каждый третий человек 60+ регулярно чувствует себя одиноким, что по риску смертности сравнимо с курением.
2) Когнитивное снижение и деменция растут вместе со старением населения; уход за такими пациентами уже стоит сотни миллиардов долларов в год.
3) При этом до половины бумеров регулярно испытывают стресс и растерянность из-за технологий; многие вообще не пользуются digital-решениями для здоровья.
4) Огромный скрытый пласт — семейные сиделки: 11+ млн человек в США, которые бесплатно ухаживают за родственниками, находясь в хроническом эмоциональном и физическом выгорании.
5) Рынок цифровой психологии, «brain training» и memory care растёт двузначными темпами; государство и страховщики начинают оплачивать цифровые терапевтические решения (Medicare покрывает digital therapeutics с 2025 года).

Вывод: одновременно растут и боль (одиночество, деменция, выгорание сиделок), и готовность платить за решения — но значительная часть пожилых всё ещё «вне игры» из-за технологического барьера.

Ключевые сегменты:
- Техно-комфортные пожилые (65–80 лет, смартфон, планшет, готовы пробовать приложения) — боятся старения и когнитивного снижения, но умеют пользоваться гаджетами.
- Техно-резистентные пожилые (70–85+, часто без смартфона, любят телефон/личные встречи, боятся сложных технологий) — как раз самые одинокие и уязвимые.
- Семейные сиделки (45–65 лет, дети/родственники, которые ухаживают за пожилыми) — истощены, им нужны и поддержка, и инструменты координации ухода.
- Учреждения — дома престарелых, memory care и т.п., которым нужны решения для уменьшения одиночества, повышения вовлечённости и демонстрации результата семьям и регуляторам.

3) Идеи, сгенерированные после маркет ресерча:
- CareCircle Companion — AI-компаньон, который звонит по обычному телефону, ежедневно общается, делает мягкие когнитивные упражнения, напоминает про лекарства и отслеживает настроение. Родственники видят отчёты в простом дашборде.

- Silver Social Club — платформа, которая соединяет пожилых людей локально по интересам и помогает им встречаться в офлайне (клубы, прогулки, игры, совместные обеды), с решением логистики и безопасности.

- MindBridge Memory — prescription-приложение (digital therapeutic) с клинически валидированными когнитивными упражнениями и отдельной платформой для координации семейного ухода, заточенное под покрытие Medicare.

- Respite Concierge — «Uber для передышки»: платформа, где сиделка может быстро заказать проверенного специалиста на 2–8 часов, с отчётом о состоянии пожилого человека.

- MemoryPath Stories — AI-сервис, который ведёт пожилого через структурированную «воспоминательную терапию» (reminiscence therapy) и параллельно собирает мультимедийный семейный архив историй.

4) Мне понравилась CareCircle, поэтому для нее сгенерировал лендинги и креативы - скрины в аттаче + в архиве в след сообщении полные исходники (креативы не очень пока, конечно, но лендинги вышли хорошо имхо, м?)

====
Если понравилась рубрика - ставьте 🔥 к посту, и буду постить еще

Ну и систему буду дорабатывать, вижн я рассказывал в видео этом

P.S. Если хотите, чтобы Дарвин проработал вашу идею - предлагайте в комментариях

В продолжение постов про гибкие продукты (1, 2, 3) - отрывок из 1й лекции Product Engineer v3.0 про chained vs agentic workflow:

Надеюсь, будет полезно!

https://youtu.be/-XHeTq50u28

Как анализировать продажи с помощью AI?

Выкладываю отрывок из лекции 1го потока AI Sales - о том, что именно в продажах и как анализировать при помощи AI, без PhD по дата анализу :)

enjoy!

https://youtu.be/5ko78mpAzaw

P.S. Кстати, посмотрите в раздел "AI-ассистенты курсов" на сайте, там есть кое-что полезное по 2м моим курсам

Исповедь LLM

Каждый, кто использовал или, что еще больнее, писал AI агентов, сталкивался с тем, что они галлюцинируют, не следуют инструкциям, и иногда откровенно врут, что они все сделали кошерно, хотя сами пропустили ряд шагов.

OpenAI тут опубликовали исследование с результатами тренировки модели таким образом, чтобы она, помимо обычного output-а, еще честно (о__О) признавалась, если «срезала углы» или «хакала ответ». Эдакая исповедь. Отличная работа вслед за работой про то, почему модели галлюцинируют, о которой я рассказывал на прошлом genai апдейте.

В общем, ждем скоро «честных» и «послушных» моделей от OpenAI и не только.

Есть лишь одна загвоздка: модель признается, что «нахимичила», но от того не меняет свое поведение. Но это, я уверен, тоже будет решено.

P.S. заключительный genai апдейт сделаю ближе к концу месяца, подведем итоги года

Как устроен GTM в Vercel? (1/2)

Получил удовольствие от прослушивания интервью Jeanne DeWitt Grosser в гостях у Lenny, где они обсуждали go-to-market стратегии в эпоху AI.

Мои ключевые заметки:
1) Что такое GTM?
Интересное определение GTM - любая функция, которая затрагивает клиента или выручку —> поэтому это не только продажи или маркетинг, но и customer success, саппорт, и партнерства и тп. Вот я также считаю, потому что это все про внешнюю среду и обратную связь с внутренней - продуктом. И нам надо уметь наладить обмен информацией и энергией между ними. В стартапе эта связка естенственная, но когда компания вырастает и появляются отделы - информация теряется, искажается или тонет в бюрократии.

2) GTM в эпоху AI
В эпоху AI, по мнению Жанн, заметно снижается дифференциация за счет продукта, и ее ответ - experience при продаже. Понравилось, как они в Stripe на первом звонке вместо того, чтобы терроризировать клиента десятками discovery вопросов, вместе строят карту/архитектуру платежей в компании, и как Stripe встраивается в оную; а в Vercel - рассказывают бенчмарки и помогают лучше понять где находится клиент, и как это улучшить. Клиент уходит с ощущением нового, с пониманием где они, и куда идут. Наш sales autonomy фреймворк - хороший способ превращать продажу в такой опыт, обсуждая где сейчас на лестнице автономии находится клиент и куда они могут прийти с вашим продуктом. Я знаю что уже некоторые стартапы адаптировали его и под свою область, например, уровни автономии инвесткомпании.

3) Автоматизация входящих запросов с AI
Хороший кейс про то, как они автоматизировали квалификацию входящих запросов, перенаправив 9 из 10 людей, ранее занимавшихся этим, на outbound. Мы буквально на днях запустили нового клиента с таким же кейсом, там 6 BDR (business development representative) занимались inbound и outbound, и теперь смогут сфокусироваться на исходящем поиске. Кстати, на курсе AI sales мы как раз учимся автоматизировать эти вещи при помощи n8n и кодинг агентов, поэтому присоединяйтесь, если актуально.

4) Кто такой GTM Engineer?
Так же как во время роста growth hacking-а - а ваш покорный слуга был активным евангелистом этого в 2010е - появился growth hacker, сейчас растет популярность GTM Engineer. Обычно это человек с программерским бэкграундом, который shadow-ит людей и строит AI агентов, чтобы автоматизировать повторяющиеся аспекты go to market-а, высвобождая энергию людей на уникальные и "человеческие" задачи —> ресерч потенциальных клиентов, массовая персонализация, обработка входящих обращений, саппорт и тд и тп. Фактически это человек, который превращает GTM в набор архитектур и рабочих процессов, а затем — в AI агентов

5) Анализ потерянных сделок - пост-мортем и в реалтайме
Классный пример того, как они юзают Gong для анализа причин потери сделок постфактум: AI анализирует все интеракции по заданной сделке (звонки, письма, Slack) и выявляет общие паттерны, по факту компенсируя количественный анализ качественным. Как раз говорил про это тут.

Но сейчас уже идут к реалтайм анализу, когда по ходу сделки вовремя даются советы и рекомендации (next best action), чтобы повысить вероятность закрытия сделки. Вплодь до подсказок во время звонка. Тоже рассказывал об этом на наших примерах тут

6) GTM-спринты
Очень прикольная идея рассматривать GTM как продукт; потерянные сделки - баги, еженедельные спринты - фикс этих багов; UX - весь процесс взаимодействия клиента с вашими GTM-материалами (сайт, демо, встречи, видео, документация, и тд и тп). Имхо это должно стать стандартом работы всех GTM команд

7) Сегментация
Минимальные разрезы сегментации:
1) Размер - потому что разный процесс покупки: small (1 лицо, принимающее решение), medium (небольшая команда), large (комитет)
2) потенциал роста - это особенно важно для consumption бизнес-модели как Stripe, где наш заработок зависит от частоты использования. Почему-то вспомнилась матрица BCG :)
3) допатрибуты, которые устойчиво коррелируют с исходом сделки (трафик, технология, индустрия или бизнес-модель, и тп)

Как устроен GTM в Vercel? (2/2)

Они всем новым сотрудникам при онбординге обьясняют свою сегментацию, так как вся компания, по ее мнению, должна это понимать и учитывать при работе. Вспоминились мои презентации в App in the Air, где я рассказывал кто такой наш клиент. в Vercel это называют KYC - Know Your Customer.

8) 80% клиентов покупают избегание или избавление от боли
А мы фаундеры обычно продаем будущее и новые возможности, это следует учитывать при продаже нестартапам

9) о PLG
Product-led-growth это важный компонент почти любого стартапа, за исключением тех кто сразу продает enterprise cо сделками в 7-8 нулей. Надо делать, но понимать, что когда дело дойдет до 7 нулей понадобится строить sales машину, потому что "оне не знает ни одну миллиардную компанию, обходящуюся только PLG"

В общем, классно, рекомендую!

Заметил за собой, что регулярно стал в своей работе использовать Claude Skills:
1) Про выставление счетов я уже писал

2) Готовили с Claude Code отчёты для клиентов: воспользовался pdf и xlsx скиллами для этого. Мне нравится, что я надежно могу по готовым данным сгенерировать привычный результат (pdf, excel).

3) Готовил презентацию для курса, сгенерил pptx и потом импортировал его в keynote, подрихтовал как мне надо

4) Тестирую веб приложение с помощью webapp-testing скилла и результаты оформляю в виде excel отчета с xlsx скиллом

5) и, конечно, мой любимый frontend-design скилл для генерации фронта

В общем, очень рекомендую разобраться и пользоваться —> вот хороший репозиторий официальных и не только скиллов, а также материалов и видео по теме

Дело было вечером, делать было нечего: решил прокачать Санту по AI Sales —> результат в аттаче

По технологиям:
1) HeyGen Live Avatar - для аватара
2) ElevenLabs - для распознавания и генерации речи
3) Gemini Flash 2.5 + File Search - для ответов по базе знаний (он же RAG)

Дороговато, конечно, пока все это: 1мин разговор обошелся мне где-то в 5 центов.

По скорости - в целом, уже неплохо, кажется, м?

P.S. Год назад было так

AI агенты в продакшне - результаты опроса 300+ практиков

Интересная статья про AI агентов в проде - по большинству пунктов у нас такой же опыт

1) Надежность vs автономия - большинство выбирает надежность, скорее детерминированные workflow, чем агентные

2) Закрытые модели из коробки - редко кто файнтюнит и юзает open source - бенефиты от внедрения намного выше костов, поэтому не парятся + иногда проблема с privacy

3) Свои реализации вместо фреймворков - Многие юзают свою реализацию агентов с прямыми запросами к LLM вместо фремйворков в продакшне; но langchain очень популярен

4) Производительность - основной драйвер адопшна; на порядок быстрее людей

5) Сложно тестировать, комбинируют оценку экспертов (human in the loop) с оценкой LLM (llm as a judge)

6) Prompt-engineering в проде — почти полностью ручной. Автоматические prompt-оптимизаторы, self-refine и сложный RL — редкое исключение (помните мое вступление на хакатоне?). Зрелые системы живут на огромных, детально прописанных промптах и аккуратно собранных workflow.

7) Мульти-модельный прод - вместо одного “супер-агента” пайплайны из нескольких моделей: одна планирует, другая - генерирует генерирует, третья - проверяет, а четвертая - классифицирует или роутит

В общем, все как у всех :-) поэтому все ведущие лабы пытаются максимально решить задачу надежности

Что думают и чувствуют профессионалы при использовании AI?

Anthropic тут опубликовал исследование по результатам интервью 1000+ людей о том, что они думают и чувствуют, когда юзают AI в своей работе.

Ключевые пункты (дочитайте до 9го пункта, там полезное):
1) Почти все сказали, что AI помогают им быстрее и качественнее делать свою работу

2) НО 69% признаются, что скрывают использование AI в работе: от коллег, руководителей, и клиентов

3) Больше половины видят долгосрочную угрозу от AI для своей карьеры, некоторые даже прямо так и сказали, что готовятся уже менять карьеру, идти переучиваться

4) Хотят автоматизировать рутину, но не вещи, которые составляют их идентичность: общение с другими людьми, креативные задачи, оценку (judgment)

5) Люди креативных профессий сталкиваются с интересной дилеммой: с одной стороны, благодаря AI, они быстрее делают свою работу; с другой - AI все больше и больше драйвит их работу, креативные идеи, и возникают ощущение, что они как авторы уходят на второй план. Вообще, возникает вопрос самоидентичности: а что тогда такое креатор, если AI делает все? (почитайте на эту тему вот этот мой пост)

6) Ученые и ресерчеры очень хотят видеть в AI помощника по исследованиям, но пока разочарованы качеством их идей и выводов (галлюцинации и вот это вот все)

7) Вообще, доверие, а точнее НЕдоверие к AI - ключевой пункт у всех профессионалов. Вот вчерашний пост про то же

8) Прикольно, что Anthropic проделал все эти 1000+ интервью в режиме чат бота - я сразу удивился, мол, кто это захотел 10-15 мин общаться с чатботом и давать фидбек, но в итоге выяснилось, что они наняли за денежку их. Тем не менее, сейчас вот на claude.ai есть этот чатбот и можно поболтать. бесплатно 😉

9) Самое крутое: они опенсорснули все транскрипты - 1250 штук - и я для вас подготовил бота, которому скормил все транскрипты и теперь он может отвечать на любые ваши вопросы на их основе. Enjoy!

P.S. Для себя же я сделал детальный анализ всех транскриптов sales профессионалов - правда, там всего 36 таких - но есть интересное. Напишу еще по теме