идет подъем интереса к рекуррентным моделям, вот и коллеги из Sakana AI подключились (они периодически выдают что-то интересное, в прошлый раз было про искусственного ученого), они представили архитектуру под сбивающим с названия названием Continuous Thought Machines; по названию я бы предположил, что это одна из современных рассуждающих моделей; но нет, суть подхода показана на картинке (хотя все равно там не особо понятно), больше все мне этот подход напомнил Structured State Space models, наиболее известна из них mamba; еще один референс - это капсулы от Хинтона

интересно, что SSM создавались изначально текстов, а вот CTM и капсулы - для картинок (видео); почему CTM, которые рекуррентны по своей природе, не стали тестировать на текстах - загадка; могу порекомендовать также сайт статьи, очень красивые демки, может быть поэтому на текстах и не показывают, что демки не такие залипательные, но и в статье результатов на текстах нет, что странно

@valuableai

я вам говорил, что LSTM себя еще покажет? собственно, вот: применили к предсказанию ширины годовых колец на деревьях (вторая картинка), а через это и к предсказанию температуры

по предсказанию LSTM со 128 нейронами (нижняя треть первой картинки) нас ждет повторение малого ледникового периода (больше всего известен по второй половине 17 века, когда в Нидерландах замерзали каналы, на что можно посмотреть на картинах того периода), пик похолодания придется на 2063-2073 годы; причем, глобальное потепление нас не спасет, такие дела

P.S. эта статья также пример нормального международного сотрудничества российских и финских ученых, не в пример недавней истории

@valuableai

мой коллега нашел уникальные задачи для рассуждений, которые не идут ни в какое сравнение с MATH500 или AIME; комментарий нашедшего:

Редкий язык, нетипичный домен и возможно не утёк в трейн

ждем бенчмарк!

недавно вышла статья, которая для этого нашего AI несет очень много пользы, а именно 5% экономии на вычислениях

я думаю, что все в курсе, что весь ИИ - это по факту перемножение матриц, например, в архитектуре трансформер механизм внимания требует 5 матричных умножений на одну голову, плюс еще одно для полносвязного слоя; другие операции - это суммирование и нормализация, которые асимптотически пренебрежимы

ну так вот, авторы статьи с помощью RL перебрали возможные вариации представления умножения матриц и нашли ускоренный; графически он представлен на первой картинке, а на второй картинке сравнение количества вычислений с оптимальным алгоритмом - рекурсивным алгоритмом Штрассена (аШ); до размера 256 используется т.н. наивное умножение (как и в современных реализациях аШ), т.к. оно эффективнее на малых размерах, а дальше уже новонайденный алгоритм, дающий 5% преимущества перед аШ

P.S. на моей памяти это первая статья, где - судя по имени - наш соотечественник имеет аффилиацию китайского университета

вышла очень интересная статья от коллег из Циньхуа; основная ее идея изложена на первой картинке - можно взять обученную модель, сделать несколько генераций, выбрать наиболее частый ответ на вопрос и считать его правильным; это такой self-supervised learning от мира RL; на бенчмарках получается очень хороший прирост (вторая картинка); но меня смущает, что это только сжимает петлю самопожирания, не будет ли здесь того явления, которое известно как mode collapse в GAN?

DeepMind выпустил AlphaEvolve: на картинке общая схема работы, а на видео - демонстрация работы, а именно итеративное улучшение кода; общая идея в том, что выбирается задача, делается функция потерь и итеративно обновляется, улучшается код, который ее решает; в частности они смогли найти лучшее решение для перемножения матриц размером (2,4,4), как раз недавно было еще одно улучшение для алгоритма Штрассена; решение от DeepMind чем-то напоминает AI Scientist от Sakana, но статей само (пока?) не пишет; да и в целом идея с улучшение моделей самих себя стала весьма популярной

вышла интересная работа от коллег из Allen AI с провокационным названием "могут ли рассуждающие модели не думать и оставаться эффективными?" (пример показан на первой картинке)

авторы показывают на экспериментах, что да, могут (вторая и третья картинки); это означает, что а) можно сэкономить на рассуждениях время и вычисления и б) старый-добрый chain-of-thought все еще хорош