кто про что, а я про RNN-ки; тут вышла работа, в которой показано, что постепенное обучение (c подкреплением, конечно) сначала подзадачам, а потом на основе них - сложным задачам (первая картинка), эффективно, как для животных (вторая картинка), так и для RNN (третья картинка, обратите внимание на ушки у компьютера); само по себе это не новость, но в этой работе показано, что именно сам процесс обучения у животных и RNN схож

вышла статья с на мой взгляд сбивающим с толку названием "Reinforcement Pre-Training"; с толку оно сбивает потому, что они фактически работают с уже предобученной моделью и просто ее вот так хитро дообучают; хитрость заключается в том, что они стандартную задачу предсказания следующего токена решают с помощью размышлений (как показано на первой картинке); очевидно, что так (предсказывая цепочку рассуждений для каждого токена) было бы очень долго и неэффективно тренировать, поэтому они маленькой моделькой сначала выбирают токены, на которых большая перплексия и дообучаются только на них; за счет этого трюка они на два процента смогли поднять качество на бенчмарках (вторая картинка)

коллеги из AIRI и СколТеха (привет, Андрей!) выпустили очень интересный препринт; базовая идея из него показана на первой картинке, а на второй - прогнозируемый результат; если описывать это простыми словами, то дело в том, что при использовании т.н. самодистилляции - обучении модели на своих собственных выводах - получается "заострить" выдаваемое распределение, что позволяет получить до 20% прибавки на современных рассуждательных бенчмарках (AIME, MATH500)

насколько я понял, данная работа вдохновлена недавней работой TTRL (обсуждали месяц назад), только вместо генерирования псевдометок тут коллеги работают напрямую с логитами

вероятно, не все в курсе (как и я был в свое время), что существует отдельная наука по изучению Библии - библеистика (первая картинка для привлечения внимания), она не имеет ничего общего с теологией, это именно изучение текстов, как исторических памятников; ну а где тексты, там и NLP, само собой; (слава богу, LLM сюда еще не добрались)
вышла работа, посвященная определению авторства разных книг в Библии (утверждается, что в Ветхом Завете было как минимум три группы авторов); к задаче определения авторства применили довольно я бы сказал ветхозаветные методы NLP: лемматизация и потом мешок слов; дальше между получившимися мешками таблицами частот применяют метод сравнения, похожий на обычный t-критерий Стьюдента (вторая картинка); на основании построенной модели делают разные выводы для отдельных библейских текстов, за деталями отсылаю к оригинальной статье

P.S. в качестве бонуса могу порекомендовать книгу внезапно Пола Верховена (автора самого первого Робокопа и Шоу гёрлз, на минуточку) "Иисус из Назарета"