Кратко о нейминге в ресерче

Начинаем понедельник с заряда мотивации.

Разработчик написал промпт, который может вывести ризонинг Claude Sonnet на уровень o1-preview

Сам промпт – на картинке. В целом получается какое-то обучение с подкреплением понарошку: модель крутит теги reflection, reward и thinking по кругу, пока не потратит назначенный ей «бюджет».

По кастомному датасету создателя Sonnet стал рассуждать на этом промпте лучше, чем o1. По MMLU (тестировали уже пользователи) до o1 все-таки не дотягивает, но точность все-таки повышает неплохо.

Код эксперимента лежит тут

Nvidia представили EdgeRunner – модель для генерации высококачественных 3D-объектов

EdgeRunner справляется даже со сложными моделями, в которох число граней достигает 4000. Предыдущие поколения алгоритмов не тянули такую детализацию.

Недавний тренд таких 3D генераций – авторегрессионные модели: за счет своей структуры они способны сохранять больше топологической информации. И на мелких примерах они действительно работают хорошо, но есть нюанс: на большее количество граней и высокое разрешение они не масштабируются.

В Nvidia чуть-чуть докрутили архитуктуру и предложили автоэнкодер (тоже авторегрессионный). За счет наличия в нем скрытого пространства появляется возможность обучить латентную диффузию и получить лучшую генерализацию; а для оптимизации исследователи прикрутили meshes-to-1D токенизатор.

В итоге результаты получились действительно крутые: вот тут можно посмотреть и покрутить 3D-модельки в рамках демо. А полный текст статьи лежит вот тут.

Нобелевскую премию по физике в этом году вручили за открытия в области ИИ – и не кому-нибудь, а Джеффри Хинтону и Джону Хопфилду

Джеффри Хинтон – это один из соавторов статьи про метод обратного распространения ошибки и наставник Суцкевера. Хорфилд – изобретатель ассоциативной нейросети. Оба они считаются отцами ML.

Премию вручили за основополагающие открытия в области ML и искусственных нейронных сетей.

Где-то плачет один Ян Лекун

LLM знают больше, чем показывают: исследование ученых из Техниона, Google Research и Apple

Оказывается, языковые модели в своих representations слоях (имеются в виду слои эмбеддингов) энкодят гораздо больше информации о "правдивости" ответов, чем затем выплевывают в генерации. Другими словами, модель знает больше, чем говорит: в том числе она как бы может знать, что неправа, или даже знать правильный ответ, но при этом все равно болтать чепуху.

Самое интересное: информация о правдивости (в статье это называется truthfulness information) содержится в определенных токенах. К тому же, ученые доказали, что можно предсказать "тип" ошибки, которую выдаст модель, опять же по ее внутренним representations. Они даже обучили классификатор на такую детекцию. Точность получилась вполне приемлемая.

Статья полностью – тут

Нобелевкой по физике дело не кончилось и нобелевку по химии тоже получили машинлернеры

Ее выдали Демису Хассабису и Джону Джамперу из Google за модель AlphaFold2 для предсказания структуры белка

Forbes: аналитики предсказали, что Microsoft выкупит OpenAI в течение трех лет

Эксперты объясняют это тем, что скоро хайп вокруг ИИ начнет спадать, и инвесторы уже не будут так щедры. Тем временем стартапам нужно будет все больше и больше денег, которых у них самих не хватит.

В итоге крупные компании, для которых ИИ имеет большую ценность (такие как Microsoft и Amazon) начнут скупать успешные стартапы вроде OpenAI и Anthropic.

Вот это поворот...