как многие знают, я - физтех, так что новости касающиеся альма-матер привлекают мое внимание; вчера вышло постановление правительства о создании инновационного научно-технологического центра «Долина Физтеха»; само постановление - довольно скучный бюрократический документ, самое интересное - на картинках:

на второй картинке - основные направления работы центра, там все, что мы любим - ИИ и беспилотники

а на третьей картинке - вырезка из того, что передается центру во владение, судя по этому, будем строить кибер стимпанк; осталось только узнать, что такое "строганый погонаж"

ну а за заглавную картинку спасибо Кандинскому; она сгенерирована по запросу "Стимпанк на Физтехе"; что? да!

в новой работе рекуррентная мамба добралась и до рассуждений

результаты, которые сейчас принято сравнивать на математических задачах, получаются сравнимыми с трансформерными моделями аналогичного размера (первая картинка), зато скорость генерации превосходит вдвое меньшую модель, причем, чем больше батч, тем сильнее (вторая картинка)

интересно, как модель М1 создавалась: сначала была сделана дистилляция из предобученного трансформера, потом стандартное дообучение, и в конце дообучение с подкреплением; на первой стадии сначала делается инициализация весов мамбы из трансформера, а потом минимизация KL-дивергенции для генерируемых токенов; не очень понятно, используются для этого другие датасеты, чем на стадии дообучения с учителем (там ожидаемо математические датасеты с рассуждениями); для третьей стадии авторы используют GRPO, но выкидывают из него KL-дивергенцию, т.к. у них это дестабилизирует обучение

некоторое сомнение вызывает то, что дистиллируют они Llama 3.2 3B, но по качеству с ней не сравниваются

@valuableai

идет подъем интереса к рекуррентным моделям, вот и коллеги из Sakana AI подключились (они периодически выдают что-то интересное, в прошлый раз было про искусственного ученого), они представили архитектуру под сбивающим с названия названием Continuous Thought Machines; по названию я бы предположил, что это одна из современных рассуждающих моделей; но нет, суть подхода показана на картинке (хотя все равно там не особо понятно), больше все мне этот подход напомнил Structured State Space models, наиболее известна из них mamba; еще один референс - это капсулы от Хинтона

интересно, что SSM создавались изначально текстов, а вот CTM и капсулы - для картинок (видео); почему CTM, которые рекуррентны по своей природе, не стали тестировать на текстах - загадка; могу порекомендовать также сайт статьи, очень красивые демки, может быть поэтому на текстах и не показывают, что демки не такие залипательные, но и в статье результатов на текстах нет, что странно

@valuableai

я вам говорил, что LSTM себя еще покажет? собственно, вот: применили к предсказанию ширины годовых колец на деревьях (вторая картинка), а через это и к предсказанию температуры

по предсказанию LSTM со 128 нейронами (нижняя треть первой картинки) нас ждет повторение малого ледникового периода (больше всего известен по второй половине 17 века, когда в Нидерландах замерзали каналы, на что можно посмотреть на картинах того периода), пик похолодания придется на 2063-2073 годы; причем, глобальное потепление нас не спасет, такие дела

P.S. эта статья также пример нормального международного сотрудничества российских и финских ученых, не в пример недавней истории

@valuableai

мой коллега нашел уникальные задачи для рассуждений, которые не идут ни в какое сравнение с MATH500 или AIME; комментарий нашедшего:

Редкий язык, нетипичный домен и возможно не утёк в трейн

ждем бенчмарк!