мой коллега нашел уникальные задачи для рассуждений, которые не идут ни в какое сравнение с MATH500 или AIME; комментарий нашедшего:

Редкий язык, нетипичный домен и возможно не утёк в трейн

ждем бенчмарк!

недавно вышла статья, которая для этого нашего AI несет очень много пользы, а именно 5% экономии на вычислениях

я думаю, что все в курсе, что весь ИИ - это по факту перемножение матриц, например, в архитектуре трансформер механизм внимания требует 5 матричных умножений на одну голову, плюс еще одно для полносвязного слоя; другие операции - это суммирование и нормализация, которые асимптотически пренебрежимы

ну так вот, авторы статьи с помощью RL перебрали возможные вариации представления умножения матриц и нашли ускоренный; графически он представлен на первой картинке, а на второй картинке сравнение количества вычислений с оптимальным алгоритмом - рекурсивным алгоритмом Штрассена (аШ); до размера 256 используется т.н. наивное умножение (как и в современных реализациях аШ), т.к. оно эффективнее на малых размерах, а дальше уже новонайденный алгоритм, дающий 5% преимущества перед аШ

P.S. на моей памяти это первая статья, где - судя по имени - наш соотечественник имеет аффилиацию китайского университета

вышла очень интересная статья от коллег из Циньхуа; основная ее идея изложена на первой картинке - можно взять обученную модель, сделать несколько генераций, выбрать наиболее частый ответ на вопрос и считать его правильным; это такой self-supervised learning от мира RL; на бенчмарках получается очень хороший прирост (вторая картинка); но меня смущает, что это только сжимает петлю самопожирания, не будет ли здесь того явления, которое известно как mode collapse в GAN?

DeepMind выпустил AlphaEvolve: на картинке общая схема работы, а на видео - демонстрация работы, а именно итеративное улучшение кода; общая идея в том, что выбирается задача, делается функция потерь и итеративно обновляется, улучшается код, который ее решает; в частности они смогли найти лучшее решение для перемножения матриц размером (2,4,4), как раз недавно было еще одно улучшение для алгоритма Штрассена; решение от DeepMind чем-то напоминает AI Scientist от Sakana, но статей само (пока?) не пишет; да и в целом идея с улучшение моделей самих себя стала весьма популярной

вышла интересная работа от коллег из Allen AI с провокационным названием "могут ли рассуждающие модели не думать и оставаться эффективными?" (пример показан на первой картинке)

авторы показывают на экспериментах, что да, могут (вторая и третья картинки); это означает, что а) можно сэкономить на рассуждениях время и вычисления и б) старый-добрый chain-of-thought все еще хорош