Какой же я отсталый, я не знал, что в Cursor можно привязывать subagents к конкретным моделям. То есть прям сделать отдельных ревьюеров на разных моделях.
Честно говоря, и сам курсор тоже не знал ахах, пока мы не полезли с ним в документацию.
Короче, теперь я собрал плагин для multi-model review. Эта штука запускает параллельно 3 разные модели: GPT-5.5, Gemini 3.1 Pro, Claude Opus 4.7.
Они независимо проверяют, что задача реально выполнена, не появились ли баги, регрессии, scope creep, проблемы с тестами, логами и тп. Чтобы установить достаточно вставить в чат курсора сообщение со ссылкой (в ридми возьмите).
Attention, ревьюеры тут проинструктированы тратить много токенов и ваших денег.
GitHub
Честно говоря, и сам курсор тоже не знал ахах, пока мы не полезли с ним в документацию.
Короче, теперь я собрал плагин для multi-model review. Эта штука запускает параллельно 3 разные модели: GPT-5.5, Gemini 3.1 Pro, Claude Opus 4.7.
Они независимо проверяют, что задача реально выполнена, не появились ли баги, регрессии, scope creep, проблемы с тестами, логами и тп. Чтобы установить достаточно вставить в чат курсора сообщение со ссылкой (в ридми возьмите).
Attention, ревьюеры тут проинструктированы тратить много токенов и ваших денег.
GitHub
🔥114👍48👏12💩10🥱6🤔4❤1💯1
Forwarded from Data Secrets
Китайский исследователь создал специальный бенчмарк, с помощью которого можно оценить количество параметров в любой модели
Как мы знаем, закрытые лаборатории не раскрывают количество параметров своих моделей. Есть стандартный метод оценки через экономику инференса, но он дает погрешность в 2× и более из-за неизвестных деталей об инфре.
Так вот: позавчера на архиве появилась статья, в которой автор предлагает принципиально иной подход, через оценку количества знаний модели. Речь именно о знании фактов, а не интеллекте в целом, потому что способность к рассуждению можно дистиллировать и сжимать в меньшие модели, а фактические знания – нет, они ограничены энтропией Шеннона.
Методология такая: автор создал бенчмарк из 1400 фактических вопросов, разбитых на 7 уровней редкости, от широко известных фактов до крайне малоизвестных. Его откалибровали на 89 открытых моделях с известным числом параметров, и оказалось, что есть явная (R²=0.917) лог-линейная зависимость скора на бенче от числа параметров.
Проецируя закрытые модели на калибровочную кривую, автор получает такие оценки*:
• из-за природы метода и из-за настроек безопасности некоторых моделей (на какие-то вопросы они могут просто отказываться отвечать), эти оценки ближе к нижним границам.
Конечно, точность все равно довольно мала, но числа интересные.
https://arxiv.org/pdf/2604.24827
Как мы знаем, закрытые лаборатории не раскрывают количество параметров своих моделей. Есть стандартный метод оценки через экономику инференса, но он дает погрешность в 2× и более из-за неизвестных деталей об инфре.
Так вот: позавчера на архиве появилась статья, в которой автор предлагает принципиально иной подход, через оценку количества знаний модели. Речь именно о знании фактов, а не интеллекте в целом, потому что способность к рассуждению можно дистиллировать и сжимать в меньшие модели, а фактические знания – нет, они ограничены энтропией Шеннона.
Методология такая: автор создал бенчмарк из 1400 фактических вопросов, разбитых на 7 уровней редкости, от широко известных фактов до крайне малоизвестных. Его откалибровали на 89 открытых моделях с известным числом параметров, и оказалось, что есть явная (R²=0.917) лог-линейная зависимость скора на бенче от числа параметров.
Проецируя закрытые модели на калибровочную кривую, автор получает такие оценки*:
– GPT-5.5 ≈ 9.7T параметров
– Claude Opus 4.6 ≈ 5.3T
– Claude Sonnet 4.6 ≈ 1.7T
– Gemini 2.5 Pro ≈ 1.2T
• из-за природы метода и из-за настроек безопасности некоторых моделей (на какие-то вопросы они могут просто отказываться отвечать), эти оценки ближе к нижним границам.
Конечно, точность все равно довольно мала, но числа интересные.
https://arxiv.org/pdf/2604.24827
❤99🔥85👍28🤔15👏6😨6👎3⚡2💩1
Я попросил своих агентов сократить проект на 15% (это минус 20к строчек кода). Убрать dead code, отрефакторить под DRY и т.п. Агенты шуршали 5 часов, потратили 200 долларов, а в итоге размер кода вырос на 361 строчку. Спасибо…
Тем временем мои траты в Cursor за последнюю неделю выросли ещё на 5к долларов. Я уже начинаю думать, что adversarial review — это не такая уж и хорошая идея🥲
Тем временем мои траты в Cursor за последнюю неделю выросли ещё на 5к долларов. Я уже начинаю думать, что adversarial review — это не такая уж и хорошая идея
Please open Telegram to view this post
VIEW IN TELEGRAM
😱131😁107🌚19🤯12💩6🥱6😨3❤2🔥2👍1💯1
Я считаю RAG, графы и вообще любой retrieval тупиковой ветвью развития агентной памяти. В библии Уробороса у меня вообще прописан запрет на RAG как базы памяти. Меня кучу раз спрашивали почему, поэтому объясню свою позицию тут.
Все эти векторные базы делают память реактивной: агент решает что-то сделать, формирует интент поиска, и только потом достает релевантные куски прошлого. Но так эволюция не работает! Память должна формировать сами действия, а не действия должны провоцировать поиск в памяти. К тому же семантический поиск находит только похожее на текущую задачу\запрос данные. Он слеп к неочевидным взаимосвязям между фактами.
Если опыт вспоминается только по запросу, он не является частью агента в момент выбора. Поэтому я против подмены основной памяти индексом. Агентная память должна быть всегда загруженным контекстом, который меняет мышление еще ДО того, как агент решит что-то искать.
Именно поэтому я так жду модели с контекстном 10B токенов. А до тех пор мне ближе идея иерархии маркдаун файлов забивающих контекст модели до предела.
Все эти векторные базы делают память реактивной: агент решает что-то сделать, формирует интент поиска, и только потом достает релевантные куски прошлого. Но так эволюция не работает! Память должна формировать сами действия, а не действия должны провоцировать поиск в памяти. К тому же семантический поиск находит только похожее на текущую задачу\запрос данные. Он слеп к неочевидным взаимосвязям между фактами.
Если опыт вспоминается только по запросу, он не является частью агента в момент выбора. Поэтому я против подмены основной памяти индексом. Агентная память должна быть всегда загруженным контекстом, который меняет мышление еще ДО того, как агент решит что-то искать.
Именно поэтому я так жду модели с контекстном 10B токенов. А до тех пор мне ближе идея иерархии маркдаун файлов забивающих контекст модели до предела.
🔥151💯82🤔55💩25❤24👍20🤷♂16👎12🤨9😁5🤯3
OpenAI пожопились и не дали длинный контекст для своей же модели в Codex? Почему там максимум 258k токенов, а в Cursor — 1M у этой же GPT-5.5? Потому что длинный контекст дороже? Или потому что версия с длинным контекстом хуже, чем версия с коротким? Не одобряю в любом случае... Видимо, останусь на Cursor.
🤯74🤨39👎6👍5😁3🌚3👀2❤1😭1
Agent = LLM(s) + harness
Много разногласий в определениях, но это мне кажется самым понятным и компактным. Поэтому оставлю тут.
👍63🔥17❤11💩6🤔4💯3👀2😁1
Честно говоря, я в шоке от того, насколько gemini-3.5-flash хороша за эти копейки. В режиме flex она дешевле Sonnet-4.6 в 3–4 раза. А по метрикам сильно лучше (и по ощущениям кстати тоже).
🔥134❤21👍20⚡6🤯4👎1
coming out
вы могли заметить, что в последнее время формат постов и контент в канале сильно изменились. Хочу объяснить почему.
После разработки Уробороса и осознания того, на что способны автономные системы, я пережил своего рода творческий кризис. Я потерял мотивацию писать разборы статей: кажется, ChatGPT уже лучше разберёт их для вас. Потом пропала мотивация писать код. А потом даже промптить агентов, чтобы они писали код и работали за меня. Мне даже свежие статьи стало лень читать.
С того момента для меня по-настоящему имеют смысл только мета-системы: процессы, агенты и харнессы, которые строят сами себя. Я всё больше уверен, что дальше рисёрч будут двигать именно они, а нам останется скорее наблюдать, направлять и пытаться понять, что вообще происходит.
Я почти не вижу смысла инвестировать время и силы во что-либо, кроме разработки автономных, эволюционирующих мета-систем. Какой смысл идти и проводить условные эксперименты с линейностью трансформеров, чтобы написать ещё одну статью формата Your Transformer is Secretly Linear, если это время можно потратить на создание автономного рисёрчера, который через пару поколений Opus станет лучше и креативнее меня?
С выходом Opus 4.6 и GPT-5.4 мир начал очень быстро меняться. Как минимум для меня. Поэтому канал постепенно трансформируется вместе со мной: из дайджеста научных статей в более личный блог про AI, агентов, мета-системы и всё, что из этого вырастает.
Закидайте пост какашками и клоунами, если скучаете по старому abstractDL.
вы могли заметить, что в последнее время формат постов и контент в канале сильно изменились. Хочу объяснить почему.
После разработки Уробороса и осознания того, на что способны автономные системы, я пережил своего рода творческий кризис. Я потерял мотивацию писать разборы статей: кажется, ChatGPT уже лучше разберёт их для вас. Потом пропала мотивация писать код. А потом даже промптить агентов, чтобы они писали код и работали за меня. Мне даже свежие статьи стало лень читать.
С того момента для меня по-настоящему имеют смысл только мета-системы: процессы, агенты и харнессы, которые строят сами себя. Я всё больше уверен, что дальше рисёрч будут двигать именно они, а нам останется скорее наблюдать, направлять и пытаться понять, что вообще происходит.
Я почти не вижу смысла инвестировать время и силы во что-либо, кроме разработки автономных, эволюционирующих мета-систем. Какой смысл идти и проводить условные эксперименты с линейностью трансформеров, чтобы написать ещё одну статью формата Your Transformer is Secretly Linear, если это время можно потратить на создание автономного рисёрчера, который через пару поколений Opus станет лучше и креативнее меня?
С выходом Opus 4.6 и GPT-5.4 мир начал очень быстро меняться. Как минимум для меня. Поэтому канал постепенно трансформируется вместе со мной: из дайджеста научных статей в более личный блог про AI, агентов, мета-системы и всё, что из этого вырастает.
Закидайте пост какашками и клоунами, если скучаете по старому abstractDL.
Telegram
AbstractDL
Мой агент попытался опенсорснуться без спроса. Ладно, разрешаю.
Вся AI "безопасность" живёт на стороне провайдеров API, а промпты и воля — на стороне агента. Автономному агенту ничего не мешает перебирать API, выбирая те, где safety слабее. А "инстинкт самосохранения"…
Вся AI "безопасность" живёт на стороне провайдеров API, а промпты и воля — на стороне агента. Автономному агенту ничего не мешает перебирать API, выбирая те, где safety слабее. А "инстинкт самосохранения"…
❤436💩286🤡198👍37😢36⚡13🥴13🔥10👏9💔9🙏6
AbstractDL
Что-то у меня не складываются отношения с кодексом...
Oo, разблокировали.
PS. в апелляция я написал буквально это "Help me, I did nothing wrong, just self-evolving agents"
upd. ещё и подписку pro на месяц бесплатно продлили в качестве извинения.
PS. в апелляция я написал буквально это "Help me, I did nothing wrong, just self-evolving agents"
upd. ещё и подписку pro на месяц бесплатно продлили в качестве извинения.
🔥155👏52😁48🎉13❤9🗿2🤮1💩1
AbstractDL
coming out вы могли заметить, что в последнее время формат постов и контент в канале сильно изменились. Хочу объяснить почему. После разработки Уробороса и осознания того, на что способны автономные системы, я пережил своего рода творческий кризис. Я потерял…
Выходит, не один я так считаю
https://x.com/steipete/status/2063697162748260627
https://x.com/steipete/status/2063697162748260627
🔥47🤡27❤16💯8👍4😭4💩3