Data Secrets
77.3K subscribers
6.03K photos
592 videos
20 files
2.42K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
В X вовсю обсуждают блогпост ученого Джулиана Шриттвизера, который напророчил AGI к 2026-2027 году

Это имя может быть вам не знакомо, потому что Джулиан нечасто появляется на публике и в соцсетях. Но на самом деле он – один из самых заметных ученых в области (с огромным Хиршем). Он занимал позицию главного рисерчера в DeepMind и сыграл ключевую роль в создании AlphaGo, AlphaZero, MuZero, AlphaCode, AlphaTensor и AlphaProof. Сейчас работает в Anthropic.

Так вот, он в своем новом блогпосте («Failing to Understand the Exponential, Again») сравнил текущую ситуацию с ИИ с началом пандемии COVID-19. Тогда, несмотря на явные экспоненциальные данные о росте заражений, многие продолжали считать пандемию маловероятной.
С ИИ происходит то же самое: люди видят прогресс, но продолжают думать, что AGI не будет и развитие ИИ уже замедляется.

На самом деле, как говорит Джулиан, рост все еще экспоненциальный:

➡️ На бенчмарке METR (оценивает, как модели справляются с длинными автономными задачами, подробно писали в этом посте) примерно каждые 7 месяцев максимальная длительность автономной работы модели удваивается. Это экспонента по определению, а значит в 2026 году ИИ сможет работать автономно целый рабочий день.

➡️ На новом GDPval от OpenAI (пост про бенчмарк) GPT-5 и Opus 4.1 уже почти достигли среднего человеческого уровня по многим профессиям. Судя по прогрессу относительно прошлых моделей, уже к концу 2026 хотя бы одна модель достигнет уровня лучших экспертов в большинстве отраслей. К 2027 году компании начнут массово заменять специалистов.

В общем, основная мысль такова: экспонента есть, даже если мы ее не замечаем.
Пользователи часто судят по собственному опыту – «я не заметил разницы между GPT-4о и GPT-5, значит прогресс остановился». Но с каждым новым релизом эффекты все равно накапливаются, даже если это не сразу видно в повседневных чатах. Плюс, экспоненту в целом сложно интуитивно осознать: все изменения всегда кажутся медленными, пока не произойдет поворотный момент.

(Хочется еще добавить, что все-таки надо еще делать поправку на закон Гудхарта: метрики можно натаскать, а realworld задачи так и останутся нерешаемыми. Но это уже совсем другая история.)

Вот такой вот вам разбор в понедельник утром ☕️

Еще раз ссылка на блогпост: www.julian.ac/blog/2025/09/27/failing-to-understand-the-exponential-again/
Please open Telegram to view this post
VIEW IN TELEGRAM
👍109🤓574117😁13🔥6🗿6👀21💘1🦄1
А вот, кстати, выдержка из другого свежего блогпоста известного математика и информатика Скотта Ааронсона*

Он утверждает, что GPT-5 помогла ему доказать одну из теорем в его новой работе.

Автору нужно было показать, что при изменении параметра матрицы ее максимальное собственное число не приближается к единице слишком быстро. Ааронсон пробовал разные методы и в конце концов решил обратиться к GPT-5 Thinking, которая в итоге подсказала ему ключевую идею доказательства.

Год назад я пробовал решать похожие задачи с новыми на тот момент GPT-моделями, но тогда результаты были далеко не такими хорошими. Пока что ИИ почти наверняка не может написать научную статью (по крайней мере, если вы хотите, чтобы она была качественной), но он может помочь вам выбраться из тупика, если вы сами понимаете, что делаете. Это можно назвать своего рода «идеальным состоянием» – когда ИИ еще не заменяет исследователя, но уже помогает ему двигаться вперёд. Кто знает, как долго это продлится? Пожалуй, мне стоит быть благодарным за то, что у меня есть пожизненный контракт на должность профессора.


* Кто не знает – это один из первопроходцев теории квантовых вычислений и чуть ли не самый цитируемый ученый в этой области. Доказал теорему о коллизиях (одна из основных в криптографии на данный момент) и концепцию квантового превосходства.
🔥15733🤯18👍9😁5🗿2
Тому самому вайбкодеру из твоей команды посвящается
2😁277🔥31🗿1365🤔3🍾3🤩2👍1👾1
DeepSeek выпустили новую модель DeepSeek-V3.2-Exp

Качество примерно на уровне предыдущей DeepSeek-V3.1 Terminus, а цена стала на 50+% ниже.

Основное нововведение, за счет которого и удалось снизить косты и повысить скорость, – DeepSeek Sparse Attention(DSA). Не отходя от кассы на второй картинке можете посмотреть, насколько метод оптимизирует стоимость на длинных последовательностях.

DSA – это специальная вариация механизма внимания, которая позволяет вычислять аттеншен не на всех парах токенах, а избирательно.

В большинстве вариантов Sparse Attention маска для всех запросов совпадает (грубо говоря, все токены смотрят на одинаковые позиции), но здесь заявляется fine-grained. То есть маска формируется динамически для каждого токена, так что модель не теряет важные зависимости, и качество почти не падает.

Для этого сначала отрабатывает так называемый Lightning Indexer – легкий шустрый модуль, который вычисляет оценки важности между текущим токеном и предыдущими. Затем выбирается top-k наиболее важных токенов, на которых и будет выполняться внимание.

Ускорение, соответсвенно, получается за счет того, что сложность алгоритма уже не квадратичная по длине последовательности, а линейная.

Моделька доступна в приложении, в вебе и в API

Веса | Техрепорт
76🔥30👍187🐳3
Когда серфил arxiv и нашел золото. Те самые названия статей, которые мы заслужили:

P.S. На самом деле работа интересная, автор пытается дать четкое определение AGI и разобраться, подходят ли в принципе под него современные архитектуры.
😁18138❤‍🔥145👍2🐳2
⚡️ Вышел Claude Sonnet 4.5

Теперь у Anthropic снова SOTA модель для кодинга. Модель уверенно обгоняет GPT-5 на всех бенчмарках по программированию, на остальных идут почти вровень.

Также обновили Claude Code (ура!)

– Добавили новое расширения для VS Code
– Обновили интерфейс терминала
– Залили команду для быстрого возврата к предыдущему чекпоинту (или на несколько шагов назад) и команду для быстрого перехода к расширенному ризонингу
– Теперь агент прямо в терминале сможет создавать файлы, таблицы и диаграммы на основе ваших данных

https://www.anthropic.com/news/claude-sonnet-4-5
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2🔥12325👍189😁3🍓3
This media is not supported in your browser
VIEW IN TELEGRAM
Также Anthropic выпустили research preview LLM-операционки

Что-то подобное уже было у Google (мы писали тут). Идея та же: LLM пишет ПО на лету, по вашему запросу.

Тыкаете на какое-то приложение – оно поднимается с нуля без заготовленного заранее кода. Открываете файл – содержимое генерируется тут же. Пример на видео.

Это, конечно, не серьезный продукт, а скорее просто продвинутая демонстрация способностей и реклама для нового Sonnet 4.5.

Поиграться, правда, получится, только если вы пользователь тарифа Max, и только в течение 5 дней.

https://claude.ai/imagine
🔥5422👀1813👍7😁4🤯2
This media is not supported in your browser
VIEW IN TELEGRAM
В ChatGPT теперь можно совершать покупки

Начиная с сегодняшнего дня жители США могут покупать любые продукты, не выходя из чата с ботом.

Для этого стартап в сотрудничестве с платежной системой Stripe разработали собственный опенсорсный протокол Agentic Commerce Protocol (ACP). Похожее решение совсем недавно выкатывали Google, но OpenAI видимо решили действовать самостоятельно.

Архитектура ACP немного отличается от гугловской и выглядит даже проще. ChatGPT просто отправляет зашифрованные данные на сервер продавца, а тот обрабатывает платеж и заказ как обычно. Из минусов: отложенные покупки (типа «купи это, как только появится в продаже») пока, судя по всему, не поддерживаются.

OpenAI подчеркивают, что это не реклама (пока еще 🙃). Стоимость товаров для покупателя не будет меняться в чате, поисковая выдача товаров не проплачивается продавцами, продавцу отправляются исключительно те данные, которые нужны для покупки.

Единственное: сами продавцы, которые подключили свои товары к системе, платят небольшую комиссию за каждую продажу в ChatGPT.

Блогпост | ACP
🤯82👍4022🤨76🔥3😁2🤔2🍓2
Data Secrets
⚡️ Вышел Claude Sonnet 4.5 Теперь у Anthropic снова SOTA модель для кодинга. Модель уверенно обгоняет GPT-5 на всех бенчмарках по программированию, на остальных идут почти вровень. Также обновили Claude Code (ура!) – Добавили новое расширения для VS Code…
Еще про новый Claude Sonnet 4.5: Anthropic пишут, что модель способна работать автономно до 30 часов подряд

Цитата из The Verge:

Модель потратила 30 часов, чтобы написать приложение, похожее на Slack или Teams. По данным Anthropic, в итоге она выдала около 11 000 строк кода и перестала работать только после того, как выполнила задачу полностью.


Больше деталей никаких нет, так что можно только верить на слово. К слову, в мае они сообщали, что Opus 4 работал автономно 7 часов. Прошло всего 5 месяцев. Если все действительно честно, то это просто невероятная скорость развития.
108👍35🔥20😁10🤯4🤔2
Wired пишет, что OpenAI тоже собираются делать свой ИИ-ТикТок

Идея та же, что и у только что вышедшего приложения от Meta*: соцсеть с короткими сгенерированными видео.

Самое интересное, что под капотом будет Sora 2 (давно пора).
🦄5432😁15👍5🤨432❤‍🔥2🤯2
Data Secrets
Вашему вниманию самый мимимишный робот на свете. Это совместная разработка Nvidia, Disney и Google DeepMind Малыша Blue в стиле Звездных войн показали сегодня ночью на GTC. Никто им не управляет, он работает автономно в реальном времени благодаря новому…
Nvidia опенсорснули свой физический движок Newton Physics Engine для робототехники

Помните милейшего робо-малыша Blue, которого Дженсен Хуанг показывал в марте на GTC? Вот он как раз был обучен на этой платформе. Она, кстати, разработана совместно с Google DeepMind и Disney Research.

Вместе с симуляционкой Nvidia также выложили модельку GR00T N1.6. Это фундаментальная модель для ризонинга и планирования. Плюс, в нее интегрировали уже ставшую популярной Cosmos Reason: она отрабатывает как deep-thinking мозг и позволяет роботу справляться с нечеткими инструкциями и обобщать знания для новых задач.

GR00T + Newton – по сути, готовая связка для обучения робота любого масштаба. Так что у робототехников, наверное, сегодня праздник.

Блогпост
92👍36🔥20🤔3😁1
Media is too big
VIEW IN TELEGRAM
⚡️ Вышла Sora-2, и это SOTA

Качество на демках – вау. Физика, анатомия, фотореализм – огонь. Можно даже создать собственного двойника и пустить его гулять по сгенерированным мирам (см прикрепленное видео). С животными, кстати, тоже работает, так что можете создать аватар для своего кота.

Звуковую дорожку и липсинки тоже генерирует очень даже достойно + поддерживает много языков. На практике на качество еще будем смотреть, конечно, но пока модель ощущается даже круче Veo 3.

Ну и, как и обещали, OpenAI сразу выкатили ИИ-ТикТок Sora App. Но доступ пока открыли только в Америке, и только по листу ожидания, так что придется подождать.

https://openai.com/index/sora-2/
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13132👍2614🤨102
This media is not supported in your browser
VIEW IN TELEGRAM
Breaking. Альтмана поймали за воровством видеокарт. Теперь ему грозит от 5 до 7 лет без инвестиций.

P.S. Видео ни в коем случае не фейк и не сгенерировано новой Sora 2
1😁50940🔥11🤝9🫡75🤯2❤‍🔥1
Бывший инженер Google открыл ИИ-стартап, в котором хочет изменить подход к обучению агентов

(Каких-то 5-6 лет назад так начиналась каждая вторая тех.новость, ха-ха. История повторяется, только теперь к «бывший инженер Google» добавляется еще «бывший инженер OpenAI»).

Ну так вот. Бывший инженер Google И бывший вице-президент по пост-обучению в OpenAI Вильям Федус действительно открыл очень занятный ИИ-стартап, который уже завирусился в X.

Главная цель компании – создать полноценного ИИ-ученого. Но не такого, каких сейчас релизит каждая вторая лаба, а самообучающегося и способного на долгие исследования.

Идея в том, чтобы обучить полномасштабного ученого, данных из интернета недостаточно. Знания должны возникать сами, и для этого ИИ-ученому нужна ИИ-лаборатория.

В последние годы лучшие передовые модели ИИ почти полностью исчерпали Интернет. Исследователи стремятся эффективнее использовать эти данные, но, как знает любой учёный: хотя перечитывание учебника может дать новые идеи, в конечном итоге необходимо проверить гипотезу на практике, чтобы убедиться в её работоспособности.


С другой стороны, если дать моделям возможность проверять свои идеи в настоящей физической среде, то (1) результаты их работы станут прозрачнее; (2) свежих данных параллельно можно наплодить сколько захочешь.

Сейчас первая цель Periodic Labs (так называется стартап) – открытие сверхпроводников, работающих при более высоких температурах, чем современные материалы. Достаточно амбициозно, потому что открытие такого материала может буквально изменить технику и, следовательно, весь мир.

https://x.com/liamfedus/status/1973055380193431965?s=46&t=pKf_FxsPGBd_YMIWTA8xgg
1👍117🔥472412🤔5😁3🕊2🗿1
В xAI разрабатывают аналог Википедии – Grokipedia

Илон Маск завявил, что платформа будет «значительным улучшением» Википедии, которая по мнению многих сейчас развивается политически предвзято.

Честно говоря, это просто необходимый шаг на пути xAI к познанию Вселенной.
😁156👌28💯14🗿11🫡4😎321👍1🔥1🤨1
Google показали, как AlphaEvolve ускоряет математические исследования

У многих ученых отношение к ИИ все еще скептическое. Считается, что результатам моделек на серьезный исследованиях нельзя доверять + они плохо интерпретируемы.

Google в своей новой статье предлагают способ, как угодить всем. Они показывают детерминированный алгоритм, с помощью которого ИИ может гарантировано ускорять и улучшать исследования.

Четкая проверка и определенный пайплайн тут как бы соединяется с черным ящиком – и получается магия.

Вот, предположим, у нас есть какой-то набросок доказательства, который надо улучшить. Система DeepMind не будет перерабатывать его целиком. Она найдет в нем место, которое можно качественно улучшить, и будет работать только с ним.

«Качественно» улучшить – значит так, что улучшения можно мониторить одной конкретной метрикой. При этом связь этого кусочка с остальным решением остается неизменной, это четко определено.

Получается, ИИ действует только локально и подконтрольно улучшает те фрагменты, которые может. Если это получается, то доказательно в целом улучшится. Метод называется lifting.

Конечно, это применимо не ко всем задачам. Но ко многим – да. Например, в ходе экспериментов система работала со всякими комбинаторными доказательствами, и вот что вышло:

– В задаче MAX-4-CUT из теории графов AlphaEvolve сократила существующий предел аппроксимации с 0.9883 до 0.987. Кажется, что это немного, но на самом деле в этой области ученые бьются за каждую сотую долю.

– На аналогичной проблеме MAX-2-CUT система отыскала edge case огромного рамануянова графа, который благодаря своим свойствам может внести вклад сразу в несколько доказательств важный теорем.

Пока это мелочи. Но представьте, если что-то подобное приземлит к себе каждая лаборатория в мире.

Статья
92👍37🔥20😁3🦄3