Data Secrets
77.3K subscribers
6.04K photos
592 videos
20 files
2.42K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
GPT-5 решила (почти) открытую математическую задачу

Инженер из OpenAI рассказал о том, как скормил модели статью с нерешенной мат.проблемой и модель, порассуждав 17 минут, смогла улучшить решение ученых.

Речь идет об этой статье. Она относительно свежая и в ней изучается такой вопрос: при каких условиях на размер шага eta в градиентном спуске в гладкой выпуклой оптимизации кривая, определяемая значением функции итераций, будет выпуклой?

Люди смогли доказать, что при eta меньше 1/L кривая выпукла, а при eta больше 1,75/L – нет. Что происходит в диапазоне [1/L, 1,75/L] – осталось открытым вопросов.

Так вот GPT-5 всего за 17 минут удалось улучшить границу и показать, что кривая выпукла при eta меньше 1.5/L. То есть да, разрыв устранен не полностью, но модель сократила его в три раза, при этом приведя полностью прозрачное и правильное доказательство своего утверждения.

x.com/sebastienbubeck/status/1958198661139009862
3🔥355👍57🤯432115🤔6👏5😁5
МТС Web Services запустила партнерскую программу: в ее рамках компании смогут перепродавать MWS GPT с более чем 40 LLM и платформу для хранения, обработки и анализа данных - MWS Data.


Итак обычно облачные и AI-сервисы продаются в лоб – напрямую клиентам. Но масштабироваться таким образом тяжело, и партнёрские программы почти всегда сводятся к скучным % за лиды.

В MWS решили сделать иначе. В августе 2025-го они запускают трёхуровневую партнёрку:
– агентская модель (просто привёл клиента – заработал до 20%)
– реселлерская (покупаешь по спецценам, перепродаёшь – до 35% маржи)
– white-label (можно взять MWS GPT, Data или продукты MWS Cloud, встроить в свой сервисы и продавать под своим брендом)

В таком виде это фактически не канал продаж, а целый рынок внутри рынка: компаниям разрешают строить свои экосистемы на базе мощностей МТС.

Компании смогут перепродавать не только AI и Data сервисы, но и облачные продукты MWS Cloud, сервисы для разработчиков и бизнес-приложения.

Первыми подключились Neoflex, «Концепт разработка» и GlowByte. В планах 300+ компаний и рост выручки от партнёрок в 7 раз.

Получается, МТС не только двигает своё облако, но и фактически превращает его в строительные блоки для всего российского ИТ.

Ссылка на партнерку тут.
2🗿42🤯16👍1310🤨94🫡2😁1🤓1👾1
Друзья, внимание

Найдена картинка дня
1😁33355🔥291211💯63👍3🤯3
О, Google впервые раскрыли подробную статистику того, сколько энергии потребляют их модели

Итак, один текстовый запрос к Gemini в среднем ест:
– 0.24 ватта энергии (это примерно 9 секунд просмотра ТВ)
– 0.26 мл воды (около 5 капель)
– плюс выбрасывает 0,03г эквивалента CO2

Это, к слову, несколько меньше, чем часто пишут в открытых источниках. Даже при том, что посчитано все ну очень въедливо: учитывается не только GPU, но и работа CPU и RAM, и энергия, расходуемая на холостом ходу, и вся-вся-вся инфраструктура дата-центра (охлаждение, системы поддержки и тд).

Но самое впечатляющее, что год назад эти числа были в десятки раз пессимистичнее. Например, с мая 2024 по май 2025 энергетический след Gemini Apps сократился в 33 раза, а углеродный след – в 44 раза. Говорят, что в основном сократили за счет оптимизации собственных чипов, возобновляемой энергии и специального дизайна датацентров. Респект.

Статья полностью тут (в соавторах Джефф Дин, кстати). Супер подробно расписано, как они и что считали, очень занятно поизучать.
1🔥19646👍39🤯5🤓5👾2😁1
Самая громкая статья месяца – Hierarchical Reasoning Model

Без предисловий, сразу главный результат: у авторов получилось сделать модельку всего на 27 миллионов (!) параметров, которая обошла o3-mini на ARC-AGI-1. Неудивительно, что об этой работе сейчас говорит все комьюнити, а авторы ARC-AGI даже сами написали большой разбор результатов модели на их бенчмарке.

Погнали разбираться.

Итак, вся архитектура состоит из двух рекуррентных модулей: быстрого низкоуровневого и медленного высокоуровневого. Первый отвечает за быстрые локальные вычисления и решения частных задач, а цель второго – абстрактно управлять процессом и ставить таски первому.

Суть в том, что они обновляются с разной частотой. Исходная задача разбивается на несколько циклов рассуждения. В каждом из них верхний модуль обновляется только один раз и дает новый контекст нижнему модулю, который в свою очередь делает много мелких шагов и ищет локальное решение.

Сколько будет таких итераций, модель решает сама. Останавливаться (или не останавливаться) в правильный момент ее специально учили с помощью RL. Так что «думать» она может и пару секунд, и пару часов.

Обучается HRM не совсем привычно для рекуррентной модели: здесь, вместо того чтобы сохранять все внутренние состояния, авторы решили обновлять градиенты только по финальному стейту. Удивительно, но факт – это работает.

Кстати, вся конструкция и принцип обучения очень похожи на то, как работает наш мозг. Некоторые области отвечают за абстракцию, другие – за конкретные моментальные действия, а общаются они посредством обратных связей. Здесь те же принципы иерархии (отсюда и название). Плюс, мозг тоже не хранит промежуточные траектории и к сходимости приходит через схожие волновые циклы.

Итог: модель для своего размера просто беспрецедентно хороша на решениях всяких головоломок типа судоку, лабиринтов и индуктивных задач. В общем, именно в тех областях, где привычные LLM обычно фейлятся. Конечно, особенно поражают результаты на ARC-AGI, которые мы описали в начале.

Революция или нет, но выглядит действительно очень изящно и эффектно.

Обязательно почитайте работу полностью тут (+ вот еще один отличный разбор на русском языке)
3243🔥14053👍16🤯84😁3🤔3🐳2👀1
Стало известно, что Ян Лекун и Нат Фридман в Meta теперь напрямую подчиняются Александру Вангу

Об этом пишет Business Insider со ссылкой на внутреннюю переписку. В Meta* снова произошли какие-то перестройки и теперь Нат Фридман (которого изначально нанимали как второго управляющего лабораторией MSL) и Ян Лекун (который должен был более менее независимо управлять FAIR) будут напрямую подчиняться Алексу Вангу, как и все остальные тимлиды.

Единственный человек, который не упоминается в служебной записке, как подчиненный Ванга – это Shengjia Zhao, ведущий ученый лаборатории и бывший со-креатор ChatGPT.

> учиться и работать всю жизнь
> стать одними из самых заметных людей в области
> подчиняться 28-летнему бизнесмену
1😁179421711🫡7🤯6🤓6👍2
Как объяснить, почему модель машинного обучения принимает именно такие решения? 🤔

Нашли на Хабре разбор SHAP-графиков от эксперта ВТБ Андрея Бояренкова: от summary_plot до ICE и PDP. Там действительно много лайфхаков и полезной информации — на примере задачи оттока клиентов он показывает, какие фичи реально влияют (total_charge, звонки в поддержку, международный план и т.д.) и как это объяснить бизнесу.

В статье — подборка графиков, цветовых приёмов и лайфхаков для понятной визуализации. Must-read для тех, кто хочет не просто «натренить модель», а уметь объяснить её логику.

Читаем на Хабре: https://habr.com/ru/companies/vtb/articles/938988/
148👍29🗿10😁5🤨2🤯11
CEO Microsoft AI Мустафа Сулейман опубликовал очень необычное для CEO эссе

Называется текст "Мы должны учить ИИ для человека, а не быть человеком". В нем нет обещаний AGI, громких слов про ускорение прогресса и лекарства от всех болезней, как в эссе других глав компаний (не будем показывать пальцем).

А основная мысль вместо всего этого вот в чем: нельзя пытаться наделять ИИ признаками человека. Это создает ложное ощущение того, что это уже не машина, а что-то живое и чувствующее. Мустафа называет это SCAI — Seemingly Conscious AI, то есть AI, который кажется нам сознательным.

При этом такой SCAI либо уже частично существует, либо может появиться в ближайшие несколько лет. Ключевые характеристики: хорошее владение языком (есть), проявление эмпатии (есть), способность помнить детали прошлых диалогов (почти есть), утверждения типа "я видел/слышал/думаю/чувствую" (уже встречаются), идентичность личности и внутренняя система целей и ценностей.

Суть в том, что допустить окончательно появление SCAI нельзя. Симуляция сознания не делает ИИ реально сознательным, но общество может начать относиться к нему, как к личности, и ничем хорошим это не закончится.

Сулейман описывает целое явление "psychosis risk" (риск психоза), когда люди начинают настолько верить в иллюзию сознательности ИИ, что могут развивать эмоциональную зависимость, верить в права и чувства модели.

И таких примеров полно уже сейчас: люди влюбляются в чат-ботов, дружат с ними, начинают защищать их права и теряют связь с реальностью. Просто пока этот эффект не такой массовый – все может быть гораздо хуже.

Так что главная идея из эссе: ИИ должен существовать только как инструмент для человеческой пользы, а не как цифровая личность. От имитации чувств, стремлений или желания быть самостоятельным нужно отказаться.

ИИ должен открыто декларировать, что он не человек и не сознательное существо. В его личность должны быть встроены фичи (и Мустафа как раз призывает на законодательном уровне утвердить их перечень), которые ломают иллюзию личности – чтобы пользователи не забывали, что общаются с программой.

Вот такая вот интересная позиция – пишите в комменты, как вам

mustafa-suleyman.ai/seemingly-conscious-ai-is-coming
2👍45588💯65🤔201513🗿7👾55😁41
Ha-ha-ha
3😁466🤯311814👀8😎7👍6💯4🤨4👾1
Dynamics Lab выпустила симулятор Mirage 2. Выглядит не хуже Genie 3, но уже доступен каждому

Наверху – примеры и сравнительная табличка с Genie. Mirage выделяется двумя вещами:

1. Продолжительность генераций по сегодняшним меркам огромная: заявляют 10+ минут при задержке 200ms и запуске, кстати, на единственной домашней GPU

2. Расширенная «играбельность»: в демках Genie только навигация + промптинг. Тут дополнительно еще всякие прыжки, бег, атака и другие игровые действия. Плюс, сгенерированным миром можно поделиться, то есть в него могут параллельно заходить другие агенты.

Демки выглядят забавно, так что стоит тестить (blog.dynamicslab.ai/)
1🔥100👍1817😁4🤯2
OpenAI совместно с биотехнологическим стартапом Retro Biosciences разработали модель, которая смогла в 50 раз ускорить генерацию стволовых клеток

Сначала небольшое предисловие ⬇️

В 2006 году японский биолог Синья Яманака совершил инновационное открытие, за которое впоследствии получил Нобелевку по медицине: он выяснил, что существуют белки, способные превращать взрослые клетки в молодые стволовые. Их всего четыре, и сейчас их называют факторами Яманаки.

По сути, это прямой ключ к омоложению: уже зрелая обычная клетка превращается в стволовую, способную дать начало любой другой молодой клетке организма – от мышцы сердца до нейрона. Так что открытие революционное, но есть нюанс: эти белки обладают крайне низкой эффективностью репрограммирования, то есть только очень малая часть клеток реально превращается в стволовые после их воздействия.

Так вот OpenAI и RetroBiosciences удалось разработать модель – GPT-4b micro – которая вывела новые варианты факторов Яманаки, и они оказались в 50 раз (!) эффективнее по сравнению со стандартными. Эксперименты показали, что это действительно работает, и при этом для разных типов клеток.

У GPT-4b micro та же архитектура, что и у GPT-4o, но обучали ее по-другому, «с использованием специального набора биологических данных».

Подробностей как всегда дают немного, но это подход, отличный от AlphaFold. Тут не структурное моделирование, а языковой подход: модель анализирует последовательности и взаимодействия белков и может вносить очень мелкие изменения, доходя до трети аминокислот. Главное отличие – гораздо большой масштаб «тестирования».

И еще один занятный факт: новые варианты белков также показали способности к улучшению процессов восстановления ДНК. Детали еще предстоит проверить, но в теории это значит, что они могут дольше сохранять молодость клеток.

openai.com/index/accelerating-life-sciences-research-with-retro-biosciences/
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1🤯1599437🔥239👍4😁4
Илон Маск объявил, что Grok 5 начинает обучение на следующей неделе

А в другом твите он писал:

Ждите Grok 5.

Я думаю, что у него есть шанс стать настоящим AGI.

Никогда раньше не испытывал подобного чувства.


Эх, получается Grok 4.20 не будет
1😁239🔥3021👍9😎4👏2🤯2
Media is too big
VIEW IN TELEGRAM
Neo AI выпустили агента NEO – ещё одного ML-инженера из коробки

Они называют его первым полностью автономным агентом, готовым к реальным ML-воркфлоу. По сути это не один агент, а ансамбль из 11 штук, которые делят между собой роли: от EDA до обучения, тюнинга и деплоя.

На бенчмарках результат впечатляющий. На MLE Bench от OpenAI NEO вышел на первое место: медали на 34.2% Kaggle-соревнований, против 22.4% у Microsoft RD Agent.

Под капотом у них оркестратор, который гоняет агентов через multi-step reasoning, передаёт контекст через собственный протокол и сохраняет память шагов.

Агент уже умеет в Snowflake, Databricks, BigQuery и деплой в VPC. То есть сразу нацелен на прод.

Как заявляют в компании, NEO разработан для ускорения работы ML-инженера, так что пока (наверное) ML-щики – не ВСЁ.

Вейтлист: https://heyneo.so/waitlist
2🔥8030229👍8😁3🤯2