Data Secrets
77.3K subscribers
6.03K photos
592 videos
20 files
2.42K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
OpenAI выпустили бенчмарк GDPval, который оценивает способности ИИ в реальных экономических задачах

TL;DR: пытаются ответить на вечный вопрос «Заменит ли нас предсказание следующего токена». Ответ: нет, ну уже сейчас сетки могут ускорить и удешевить работу.

– Берут 9 крупнейших секторов экономики США, которые дают наибольший вклад в ВВП.
– Для каждого сектора взяли 5 профессий, которые создают наибольшую часть зарплат в секторе + выполняют в основном цифровую работу.
– Отобрали из этих профессий экспертов с опытом > 4 лет (большинство оказалось 10+ лет опыта) и посадили их создавать задачи.

Каждая задача – это реальный рабочий кейс. В среднем одна таска из бенчмарка выполняется человеком за 7-9 часов, но на некоторые требуются дни.

Оценивать пытались максимально честно. Эксперт-оценщик видел только задачу и два решения. Одно сделано моделью, другое человеком (или другой моделью). Но эксперт не знает, где какое, и выбирает, исходя только из качества результата. Так измеряется win-rate, то есть доля случаев, когда ИИ не хуже человека.

OpenAI также пытались разработать авто-оценщика. Получилось, что он совпадает с людьми в 66% случаев. Как будто немного, но задача в целом невыполнимая, учитывая что сами эксперты совпадают между собой в 71% случаев 😁

Ну так вот, результаты:

– Лучше всего себя показал Claude Opus 4.1, он выигрывал или был на уровне человека в 47.6% задач.

– GPT-5 чуть отстает, зато сильнее на точности и следовании инструкциям.

– Все модели периодически галлюцинируют (да и задачки в бенче пока довольно односложные). НО даже если считать, что человек сначала пробует использовать модель, а потом при необходимости доделывает работу сам, время выполнения может сократиться в 1.4 раза, а стоимость – почти в 1.6 раза.

На самом деле, хорошая работа, закрывающая большую дырку в бенчмарках. Ждать реальных экономических эффектов, чтобы оценить возможности ИИ – это супер долго (для компьютеров вот потребовались десятилетия). А пытаться оценивать через задачки по математике или теоретические научные вопросы – ну, мягко говоря, провальная затея. Тут – хотя бы какое-то отражение реальной картины.

cdn.openai.com/pdf/d5eb7428-c4e9-4a33-bd86-86dd4bcf12ce/GDPval.pdf
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
64👍36🔥12😁2🤔2
Кажется, Google готовится объединить SQL, Python и Spark в рамках Colab Enterprise

По слухам, поисковый гигант намерен создать единую среду для специалистов по машинному обучению, объединив SQL, Python и Apache Spark в одном месте.

Ясмин Ахмад, управляющий директор Google Cloud по обработке данных, отметил, что главным препятствием для эффективности в ML является необходимость переключаться между средами: получать данные с помощью SQL в базах данных и хранилищах, затем экспортировать их, загружать в блокнот и настраивать отдельный кластер Spark.

Как вы понимаете, это крайне неудобно. Поэтому Google представляет ряд улучшений для своих блокнотов Colab Enterprise в BigQuery и на платформе Vertex AI.

Кроме того, компания анонсировала следующие преимущества для разработчиков в блокнотах Colab Enterprise:
Предварительный просмотр собственных ячеек SQL.
Интеграцию собственного Data Science Agent, призванного помогать в анализе и разработке моделей.
Please open Telegram to view this post
VIEW IN TELEGRAM
116🔥46👍24🦄3🆒2👏1
Кто бы сомневался: исследователи выяснили, что роботы Unitree G1 каждые 5 минут отправляют данные в Китай

Это история о том, как трое ничего не подозревающих кибербезопасников решили сделать техразбор роботов Unitree G1, но внезапно вместо мелких багов наткнулись на большой троян.

В частности, они зафиксировали постоянные MQTT / WebSocket-соединения с двумя удалёнными брокерами производителя, а дальше провели runtime-анализ и собрали телеметрию, уходящую на эти IP-адреса.

В итоге оказалось, что каждые 300 секунд этим хостам отправляются JSON-фреймы примерно по ~4.5 KB. Ну а там внутри полный набор: данные с лидаров, камер, микрофонов + геолокация и все логи. Буквально робот из фильма про шпионов : )

Ну и помимо этого "мелкого" нарекания (ну а что, учить следующих роботов же надо на чем-то) обнаружилось еще несколько занятных фактов.

– Например, конфигурации шифруются с помощью Blowfish-ECB со статическим ключом, одинаковым для всех роботов. Это означает, что взломав одного робота, можно получить доступ ко всей линейке устройств, и будет вам армия 👉

– Все устройства используют один и тот же AES-ключ, поэтому любой, кто находится в радиусе Bluetooth, может получить root-доступ.

Если что, сейчас таких роботов уже продано около полутора тысяч ☕️

arxiv.org/pdf/2509.14139
Please open Telegram to view this post
VIEW IN TELEGRAM
1😁21768👀3020🤯16👍32❤‍🔥1
У стартапа Миры Мурати Thinking Machines вышло уже второе исследование: авторы предлагают новый метод обучения нейросетей

В статье много зубодробительной математики, но мы попробуем разобрать ее более простым языком.

Когда мы обучаем нейросети, одна из главных проблем – это контроль масштабов тензоров (весов, активаций, градиентов). Если что-то становится слишком большим или слишком маленьким, начинаются численные проблемы: всякие взрывы градиентов, исчезающие градиенты и тд.

Обычно это фиксится высокоуровнего с помощью техник типа gradient clipping, weight decay или layer norm. Но здесь предлагается более жёсткий и фундаментальный подход: не просто скейлить веса, а ограничивать саму структуру тензоров, заставляя их жить не в произвольном пространстве, а на определенном многообразии (на английском manifold).

На практике это выглядит примерно так:

➡️ Каждый вид слоев сети живет на своем многообразии. Например, мы хотим, чтобы полносвязыне слои не растягивали веса слишком сильно. Для этого в качестве многообразия можно выбрать пространство матриц, у которых строки/столбцы ортонормированы (просто исходя из свойств такая матрица почти не будет увеличивать норму сигнала). Значит, при любом обновлении весов, после каждого шага обучения, матрица весов на этом слое во что бы то ни стало должна обладать таким свойством.

➡️ На прямом проходе ничего не меняется, да и на бэкпропе градиенты сами по себе считаются как обычно. Но обновить веса по обычной формуле мы теперь не можем: так условия на матрицы перестанут выполнятся. Поэтому, прежде чем вычесть градиент, мы сначала проецируем его в касательное пространство. Интуитивно это значит, что в векторе обрезаются те направления, которые увели бы нашу матрицу из целевого подпространства.

➡️ Все, теперь с подправленным градиентом можно сделать шаг обучения. Теоретически полученные матрицы должны остаться в исходном пространстве. Но из-за численных ошибок они могут немного съехать. Поэтому заключительным этапом еще идет аккуратная ретракция (примерно то же, что и проекция). Для стабильности еще предлагают вводить бюджет шагов. Это чтобы все слои двигались примерно равномерно.


Короче, на игрушечном эксперименте с CIFAR-10 такой оптимизатор действительно показывает метрики гораздо лучше, чем AdamW (+ лучшую стабильность).

И вроде все круто, и с исследовательской точки зрения проект правда интересный. Но до практики пока далеко, потому что остается еще куча вопросов: а как подбирать пространства, а как будет сходиться, а заведется ли на больших сетях, а будет ли работать с float16 и прочее-прочее. Это не говоря уже об огромных вычислительных затратах.

thinkingmachines.ai/blog/modular-manifolds/
Please open Telegram to view this post
VIEW IN TELEGRAM
126🔥40👍31🤯11😁4🤔31
В X вовсю обсуждают блогпост ученого Джулиана Шриттвизера, который напророчил AGI к 2026-2027 году

Это имя может быть вам не знакомо, потому что Джулиан нечасто появляется на публике и в соцсетях. Но на самом деле он – один из самых заметных ученых в области (с огромным Хиршем). Он занимал позицию главного рисерчера в DeepMind и сыграл ключевую роль в создании AlphaGo, AlphaZero, MuZero, AlphaCode, AlphaTensor и AlphaProof. Сейчас работает в Anthropic.

Так вот, он в своем новом блогпосте («Failing to Understand the Exponential, Again») сравнил текущую ситуацию с ИИ с началом пандемии COVID-19. Тогда, несмотря на явные экспоненциальные данные о росте заражений, многие продолжали считать пандемию маловероятной.
С ИИ происходит то же самое: люди видят прогресс, но продолжают думать, что AGI не будет и развитие ИИ уже замедляется.

На самом деле, как говорит Джулиан, рост все еще экспоненциальный:

➡️ На бенчмарке METR (оценивает, как модели справляются с длинными автономными задачами, подробно писали в этом посте) примерно каждые 7 месяцев максимальная длительность автономной работы модели удваивается. Это экспонента по определению, а значит в 2026 году ИИ сможет работать автономно целый рабочий день.

➡️ На новом GDPval от OpenAI (пост про бенчмарк) GPT-5 и Opus 4.1 уже почти достигли среднего человеческого уровня по многим профессиям. Судя по прогрессу относительно прошлых моделей, уже к концу 2026 хотя бы одна модель достигнет уровня лучших экспертов в большинстве отраслей. К 2027 году компании начнут массово заменять специалистов.

В общем, основная мысль такова: экспонента есть, даже если мы ее не замечаем.
Пользователи часто судят по собственному опыту – «я не заметил разницы между GPT-4о и GPT-5, значит прогресс остановился». Но с каждым новым релизом эффекты все равно накапливаются, даже если это не сразу видно в повседневных чатах. Плюс, экспоненту в целом сложно интуитивно осознать: все изменения всегда кажутся медленными, пока не произойдет поворотный момент.

(Хочется еще добавить, что все-таки надо еще делать поправку на закон Гудхарта: метрики можно натаскать, а realworld задачи так и останутся нерешаемыми. Но это уже совсем другая история.)

Вот такой вот вам разбор в понедельник утром ☕️

Еще раз ссылка на блогпост: www.julian.ac/blog/2025/09/27/failing-to-understand-the-exponential-again/
Please open Telegram to view this post
VIEW IN TELEGRAM
👍109🤓574117😁13🔥6🗿6👀21💘1🦄1
А вот, кстати, выдержка из другого свежего блогпоста известного математика и информатика Скотта Ааронсона*

Он утверждает, что GPT-5 помогла ему доказать одну из теорем в его новой работе.

Автору нужно было показать, что при изменении параметра матрицы ее максимальное собственное число не приближается к единице слишком быстро. Ааронсон пробовал разные методы и в конце концов решил обратиться к GPT-5 Thinking, которая в итоге подсказала ему ключевую идею доказательства.

Год назад я пробовал решать похожие задачи с новыми на тот момент GPT-моделями, но тогда результаты были далеко не такими хорошими. Пока что ИИ почти наверняка не может написать научную статью (по крайней мере, если вы хотите, чтобы она была качественной), но он может помочь вам выбраться из тупика, если вы сами понимаете, что делаете. Это можно назвать своего рода «идеальным состоянием» – когда ИИ еще не заменяет исследователя, но уже помогает ему двигаться вперёд. Кто знает, как долго это продлится? Пожалуй, мне стоит быть благодарным за то, что у меня есть пожизненный контракт на должность профессора.


* Кто не знает – это один из первопроходцев теории квантовых вычислений и чуть ли не самый цитируемый ученый в этой области. Доказал теорему о коллизиях (одна из основных в криптографии на данный момент) и концепцию квантового превосходства.
🔥15733🤯18👍9😁5🗿2
Тому самому вайбкодеру из твоей команды посвящается
2😁276🔥31🗿1365🤔3🍾3🤩2👍1👾1
DeepSeek выпустили новую модель DeepSeek-V3.2-Exp

Качество примерно на уровне предыдущей DeepSeek-V3.1 Terminus, а цена стала на 50+% ниже.

Основное нововведение, за счет которого и удалось снизить косты и повысить скорость, – DeepSeek Sparse Attention(DSA). Не отходя от кассы на второй картинке можете посмотреть, насколько метод оптимизирует стоимость на длинных последовательностях.

DSA – это специальная вариация механизма внимания, которая позволяет вычислять аттеншен не на всех парах токенах, а избирательно.

В большинстве вариантов Sparse Attention маска для всех запросов совпадает (грубо говоря, все токены смотрят на одинаковые позиции), но здесь заявляется fine-grained. То есть маска формируется динамически для каждого токена, так что модель не теряет важные зависимости, и качество почти не падает.

Для этого сначала отрабатывает так называемый Lightning Indexer – легкий шустрый модуль, который вычисляет оценки важности между текущим токеном и предыдущими. Затем выбирается top-k наиболее важных токенов, на которых и будет выполняться внимание.

Ускорение, соответсвенно, получается за счет того, что сложность алгоритма уже не квадратичная по длине последовательности, а линейная.

Моделька доступна в приложении, в вебе и в API

Веса | Техрепорт
76🔥30👍187🐳3
Когда серфил arxiv и нашел золото. Те самые названия статей, которые мы заслужили:

P.S. На самом деле работа интересная, автор пытается дать четкое определение AGI и разобраться, подходят ли в принципе под него современные архитектуры.
😁18138❤‍🔥145👍2🐳2
⚡️ Вышел Claude Sonnet 4.5

Теперь у Anthropic снова SOTA модель для кодинга. Модель уверенно обгоняет GPT-5 на всех бенчмарках по программированию, на остальных идут почти вровень.

Также обновили Claude Code (ура!)

– Добавили новое расширения для VS Code
– Обновили интерфейс терминала
– Залили команду для быстрого возврата к предыдущему чекпоинту (или на несколько шагов назад) и команду для быстрого перехода к расширенному ризонингу
– Теперь агент прямо в терминале сможет создавать файлы, таблицы и диаграммы на основе ваших данных

https://www.anthropic.com/news/claude-sonnet-4-5
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2🔥12325👍189😁3🍓3
This media is not supported in your browser
VIEW IN TELEGRAM
Также Anthropic выпустили research preview LLM-операционки

Что-то подобное уже было у Google (мы писали тут). Идея та же: LLM пишет ПО на лету, по вашему запросу.

Тыкаете на какое-то приложение – оно поднимается с нуля без заготовленного заранее кода. Открываете файл – содержимое генерируется тут же. Пример на видео.

Это, конечно, не серьезный продукт, а скорее просто продвинутая демонстрация способностей и реклама для нового Sonnet 4.5.

Поиграться, правда, получится, только если вы пользователь тарифа Max, и только в течение 5 дней.

https://claude.ai/imagine
🔥5422👀1813👍7😁4🤯2
This media is not supported in your browser
VIEW IN TELEGRAM
В ChatGPT теперь можно совершать покупки

Начиная с сегодняшнего дня жители США могут покупать любые продукты, не выходя из чата с ботом.

Для этого стартап в сотрудничестве с платежной системой Stripe разработали собственный опенсорсный протокол Agentic Commerce Protocol (ACP). Похожее решение совсем недавно выкатывали Google, но OpenAI видимо решили действовать самостоятельно.

Архитектура ACP немного отличается от гугловской и выглядит даже проще. ChatGPT просто отправляет зашифрованные данные на сервер продавца, а тот обрабатывает платеж и заказ как обычно. Из минусов: отложенные покупки (типа «купи это, как только появится в продаже») пока, судя по всему, не поддерживаются.

OpenAI подчеркивают, что это не реклама (пока еще 🙃). Стоимость товаров для покупателя не будет меняться в чате, поисковая выдача товаров не проплачивается продавцами, продавцу отправляются исключительно те данные, которые нужны для покупки.

Единственное: сами продавцы, которые подключили свои товары к системе, платят небольшую комиссию за каждую продажу в ChatGPT.

Блогпост | ACP
🤯82👍4022🤨76🔥3😁2🤔2🍓2
Data Secrets
⚡️ Вышел Claude Sonnet 4.5 Теперь у Anthropic снова SOTA модель для кодинга. Модель уверенно обгоняет GPT-5 на всех бенчмарках по программированию, на остальных идут почти вровень. Также обновили Claude Code (ура!) – Добавили новое расширения для VS Code…
Еще про новый Claude Sonnet 4.5: Anthropic пишут, что модель способна работать автономно до 30 часов подряд

Цитата из The Verge:

Модель потратила 30 часов, чтобы написать приложение, похожее на Slack или Teams. По данным Anthropic, в итоге она выдала около 11 000 строк кода и перестала работать только после того, как выполнила задачу полностью.


Больше деталей никаких нет, так что можно только верить на слово. К слову, в мае они сообщали, что Opus 4 работал автономно 7 часов. Прошло всего 5 месяцев. Если все действительно честно, то это просто невероятная скорость развития.
108👍35🔥20😁10🤯4🤔2
Wired пишет, что OpenAI тоже собираются делать свой ИИ-ТикТок

Идея та же, что и у только что вышедшего приложения от Meta*: соцсеть с короткими сгенерированными видео.

Самое интересное, что под капотом будет Sora 2 (давно пора).
🦄5432😁15👍5🤨432❤‍🔥2🤯2
Data Secrets
Вашему вниманию самый мимимишный робот на свете. Это совместная разработка Nvidia, Disney и Google DeepMind Малыша Blue в стиле Звездных войн показали сегодня ночью на GTC. Никто им не управляет, он работает автономно в реальном времени благодаря новому…
Nvidia опенсорснули свой физический движок Newton Physics Engine для робототехники

Помните милейшего робо-малыша Blue, которого Дженсен Хуанг показывал в марте на GTC? Вот он как раз был обучен на этой платформе. Она, кстати, разработана совместно с Google DeepMind и Disney Research.

Вместе с симуляционкой Nvidia также выложили модельку GR00T N1.6. Это фундаментальная модель для ризонинга и планирования. Плюс, в нее интегрировали уже ставшую популярной Cosmos Reason: она отрабатывает как deep-thinking мозг и позволяет роботу справляться с нечеткими инструкциями и обобщать знания для новых задач.

GR00T + Newton – по сути, готовая связка для обучения робота любого масштаба. Так что у робототехников, наверное, сегодня праздник.

Блогпост
92👍36🔥20🤔3😁1
Media is too big
VIEW IN TELEGRAM
⚡️ Вышла Sora-2, и это SOTA

Качество на демках – вау. Физика, анатомия, фотореализм – огонь. Можно даже создать собственного двойника и пустить его гулять по сгенерированным мирам (см прикрепленное видео). С животными, кстати, тоже работает, так что можете создать аватар для своего кота.

Звуковую дорожку и липсинки тоже генерирует очень даже достойно + поддерживает много языков. На практике на качество еще будем смотреть, конечно, но пока модель ощущается даже круче Veo 3.

Ну и, как и обещали, OpenAI сразу выкатили ИИ-ТикТок Sora App. Но доступ пока открыли только в Америке, и только по листу ожидания, так что придется подождать.

https://openai.com/index/sora-2/
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13132👍2614🤨102