В продолжение темы автономных систем решающих сложные задачи.

Хороший подход для измерения вопроса предлагает бенчмарк METR

Ребята взяли задачи для которых известно сколько времени тратит на них профессионал. И дальше замеряют какой длины задачи могут стабильно решать AI-системы. Задачи в-основном про разработку и ML.

Так вот, длительность стабильно решаемых задач удваивается в среднем каждые 7 месяцев. И это довольно старый тренд, ещё с 2020 года.

В новостях про этот бенчмарк часто пишут что "Claude Opus 4.5 пробил уже 4 часа", но это результат с вероятностью 50%. Это так себе инженер 🤡 Если взять 80% успеха, то Opus 4.5 пробил только 27 минут. И вот это похоже на честный текущий максимум: задачи человеческой сложностью в полчаса модели решают достаточно надежно сами.

Однако, тренд это не отменяет. Если тренд продолжится, через 3-5 лет задачи уровня написания браузера будут решаться автономно. Так же как и задачи уровня "построить маркетплейс", "создать банковское приложение", you name it.

Trust the trendline

Почитать можно тут

ClickHouse поднял $400M и купил Langfuse

Я надеюсь, все знают что такое ClickHouse. Это самая быстрая аналитическая база данных.

ClickHouse – важная часть моей личной истории. Зарождался он буквально рядом со мной на соседних креслах в Яндексе, внутри Яндекс.Метрики. Название идет от clickstream – сленговое название для данных веб-аналитики. Домик кликов 🏠

Большую часть кода тогда написал гениальный Лёша Миловидов. Лёша сейчас CTO проекта и до сих пор является top-1 контрибьютором.

Я был первым реальным пользователем ClickHouse – писал API запросов для Метрики, помогал составлять язык запросов, помогал правильно хранить и складывать данные. Наверное, можно сказать, что долгое время я был продактом и ключевым пользователем.

Когда мы запускали новую Метрику на ClickHouse, я уже Метрикой руководил. Так появилась Яндекс.Метрика с текущими фильтрами и сегментами. Затем уже ClickHouse пополз по Яндексу, и ещё позже – в опенсорс.

Первое видео на YouTube про Clickhouse - это я прыгаю на сцене Highload++ и объясняю что это за зверь в 2016 году. Позже мы гоняли на пару с Лёшей Миловидовым в калифорнию и показывали её во всякие большие компании.

Сейчас это сильная самостоятельная европейская компания с гигантской оценкой в 15 миллардов долларов и HQ в Амстердаме. Редкая история, где гениальная инженерия привела к большому успеху.

Очень рад за ребят и стараюсь заходить к ним в офис каждый раз когда там бываю. ClickHouse GO 🚀🚀🚀

ClickHouse, Langfuse и LLM-трейсы

Теперь немного про покупку Langfuse.

Langfuse – observability-платформа для LLM систем поверх ClickHouse. На простом языке – штука для хранения логов и отслеживания метрик в AI-мире. Так зачем их покупать?

ClickHouse долгое время был просто "скоростной базой данных для любых логов". Это конечно круто, но бизнесово не так перспективно и не использует текущую AI-волну.

Сегодня ClickHouse стремится стать логирующей, аналитической, трейсирующей платформой для нового AI мира. Это точно нужный кубик – систем становится больше, их логов становится больше, задачи там специфические из-за недетерминированности систем.

И в отличие от всяких рискованных Anthropic, Perplexity и Lovable, эти кирки и лопаты нужны всем.

Про Oracle слышали? Top-20 по капитализации в мире. Так вот, ClickHouse - это такой новый Oracle в AI-мире.

Реклама ClickHouse в метро в Сингапуре

Теперь все яростно обсуждают насколько Clawdbot небезопасный и что использовать его не надо.

Кейсы там веселые:
- Купил курс саморазвития за $3000
- Написал в X пост с ключами от OpenAI
- Классика: sudo rm -rf

Со стороны может показаться, что использовать локальные модели вместо API защищает от рисков. У меня в комментах тоже про это пишут.

Так вот. Это буквально вредный совет. От рисков не защищает – наоборот, усугубляет.

Основные риски такие:

1. Хотел хорошее, сделал плохое. Удалил что-нибудь, купил что-нибудь дорогое, etc. Это низкое качество / галлюцинации: чем лучше модель, тем меньше таких ошибок.

2. Prompt/content injection: анализировал почту, там письмо с зловредным промптом, сделал действия из него. Это плохое следование системному промпту: чем лучше модель, тем меньше таких ошибок.

3. Зловредный код в подтягиваемых тулах. Тут модель вообще ни при чем, нужно быть аккуратней с установкой тулов.

4. Торчащий Clawdbot в интернет: админка, коннекторы к мессенджерам. Не нужно ставить Clawdbot на мак мини / сервер. Ваше личное устройство, как правило, в безопасности. Модель ни при чем.

Так что используйте самые сильные доступные вам модели. Я запускаю на Opus 4.5. Поверьте, Anthropic не особо нужна структура файлов на вашем ноутбуке.

И да – Clawdbot действительно не особо безопасный инструмент, так что на свой страх и риск. На оборудование компании ставить не советую.

Higgsfield и логи работы профессионалов

С удовольствием послушал все три часа основателя Higgsfield Саши Машрабова у Соколовского.

Higgsfield – топовые ребята, занимаются генерацией картинок и видео. Один из самых больших сервисов в мире в своей нише. Яркие ребята из Казахстана, уже единорог, с классным продуктом и дерзким пиаром.

У ребят есть ключевая идея, которая мне очень близка и про которую тоже давно думаю. Она про логи работы профессионалов.

Идея такая: чтобы сделать задачу создания контента под ключ, нужно иметь в своих системах логи работы профессионалов end-2-end. Не только генерация картинки или видоса, но всё: подготовка сценария, раскадровка видео и так далее.

Поверх таких логов можно будет обучить AI который сможет решать для бизнесов эту задачу целиком.

У классических провайдеров вроде Google есть только небольшой кусочек этой работы, что не позволяет обобщить задачу шире. У Adobe такие данные есть, но они как компания невероятно медленные. Higgsfield поэтому и делает весь стек работы для профессионалов, а не просто yet another сервис генерации картинок.

Похожий паттерн можно видеть в разработке. Cursor не просто так заливает рынок деньгами – им нужны end-2-end логи создания софта. Такой же паттерн в роботиксе – там людей обвешанных приборами сажают делать работу от начала до конца чтобы потом обучаться.

Против такого подхода можно противопоставить другие подходы. Например, теоретически модель может быть настолько крутая что ей вот этот старый подход создания контента/софта/etc вообще не нужна, сразу получится желаемый результат. Посмотрим!

А подкаст супер крутой, полный инсайдов и сильный идей. Посмотрите: Higgsfield x Соколовский

Вокруг меня уж очень часто начали говорить про AI rollups.
Давайте и вам расскажу.

Идея простая: выбираем нишу, скупаем там старые бизнесы, заменяем всё на AI, повышаем таким образом маржу и улучшаем продукт, и объединяем в один новый модный бизнес.

Коцепция очень крутая и win-win для всех: это и способ значимо улучшить сервис для людей, и денежный exit для старых владельцев, и отличный предсказуемо масштабируемый бизнес само по себе.

Понятно, что "просто перевести на агентов" не получается. У бизнесов часто даже CRM нет, а если бизнес не оцифрован, агентов запускать особо некуда. А ещё это старые операционные инертные бизнесы, и менять их сложно. Поэтому мощь такой компании измеряется количеством компаний которых она может "закатать" за месяц.

Классный пример это Dwelly - роллап в аренде недвижимости в UK. Делают наши ребята, большие молодцы. Тут можно послушать Дана Лифшица, ко-фаундера Dwelly.

Давайте уже побольше таких проектов. Всем будет лучше. Старые студии создания софта, маркетинг агентства, колл-центры – всех закатать в роллап и сделать калифорния ролл.