Пока участники Yandex Cup в поте лица трудились на самом соревновании, я вчера весь день чиллила с челиками, слушала дискуссии, а также ходила по свободной зоне (рис. 1-2) на мастер-классы по изготовлению различных штук, связанных с традиционными видами турецкого рукоделья и ремесла (рис. 3-4). Поэтому, в отличие от Тагира и других трудолюбивых ребят, я не могу похвастаться достижениями на ниве соревновательного ML и вместо этого похвастаюсь штуками, которые сделяль своими руками с помощью и под чутким руководством турецких умельцев: мозаику, кольцо и что-то вроде монетки (рис. 5-6). ❤️
Вообще, мне очень понравилась идея и оформление этих мастер-классов и то, что все желающие могли оцифровать результаты своих трудов с помощью фотоаппарата и увидеть их в общей галерее, которая постоянно обновлялась, показывая по очереди то одни, то другие произведения современного искусства (рис. 7). Кстати, вот вам загадка: попробуйте угадать, какой из представленных на этом рисунке предметов является плодом творчества Бориса! 🤓

Ну а сегодня мы с челиками съездили на экскурсию, на которой некоторым из нас даже удалось увидеть величественного черного турецкого кота, царственно восседающего на Его Ворсейшестве (рис. 8-9). Мда, жаль, что не всем посчастливилось заметить это необычное животное. 🤓

В общем, спасибо ребятам из Яндекса за то, что позвали на мероприятие, на котором удалось столь приятно пообщаться с любимыми коллегами по безделью ведению ML каналов, которых я давно не видела, потому что они живут не в Москве, встретить новых подписчиков, а также познакомиться с другими замечательными людьми! Ну а теперь я продолжу сидеть-тупить в аэропорту и ждать свой самолет обратно в Москву, ведь завтра снова на работу 🏃

#о_себе

Пару слов о самой статье, упомянутой в предыдущем посте про Singular Value Decomposition (SVD). 🥤

📝 Статья называется SR-GRPO: Stable Rank as an Intrinsic Geometric Reward for Large Language Model Alignment ( https://arxiv.org/pdf/2512.02807 )

В ней авторы вычисляют сингулярные значения матрицы активаций A последнего слоя LLM на выбранном тексте. Далее, авторы считают Stable Rank этой матрицы как сумму квадратов всех её сингулярных значений, деленную на квадрат первого, самого большого из них - σ₁ 😐 (формула изображена на рис. 1). Так делают для каждого текста из датасета RewardBench, в котором есть заготовленные "плохие" и "хорошие" варианты генераций LLM на разных задачах типа продолжения диалогов, решения математики и т.д. В итоге оказывается, что у хороших ответов Stable Rank в среднем заметно выше, чем у плохих (см. рис. 2).

Теперь, чтобы разобраться в смысле этого явления, как раз и настает пора вспомнить геометрическую интерпретацию происходящего. 🔍 Пусть T - количество токенов в тексте, а d - размерность вложения. Тогда каждой строке матрицы A можно сопоставить точку с d координатами. Получается, что наша матрица задает облако из T точек, при чем каждая точка соответствует вложению одного токена. Далее, говоря простым языком, SVD-разложение матрицы как бы находит "главные оси" этого облака точек и показывает, насколько это облако вытянуто вдоль каждой из них. Сингулярные значения σ₁, σ₂, ... являют собой длины данных осей, от самой длинной к самой короткой.

За этим интуитивным пониманием SVD кроется технический линейно-алгебраический прикольчик: матрица A задаёт не только облако точек само по себе, но и линейное преобразование, которое переводит каждый элемент базиса из T элементов (0, ... , 0, 1, 0, ... 0) в точку нашего облака. А теперь вспомним, что по SVD-разложению, линейное преобразование, описываемое матрицей A, будет раскладываться в композицию трех стандартных преобразований: поворот U + масштабирование ∑ 😐 + поворот V (рис. 3). Так вот, именно потому что сингулярные значения стоят на главной диагонали ∑ 😐, они как раз и отвечают за это масштабирование - то есть, за то, насколько сильно растягивается/сжимается преобразуемый базис по каждому из измерений 🧠🧠🎆 в процессе превращения в наше облако точек.

При этом, если σ₁ оказывается сильно больше остальных сигм (так сказать, доминирует над ними 👋), облако точек оказывается сильно вытянуто по одному из направлений и Stable Rank оказывается близким к 1. Если σ₁ и σ₂ большие, а остальные маленькие, то Stable Rank оказывается близко к 2 и так далее. Таким образом, Stable Rank отвечает за то, сколько примерно измерений в пространстве активаций заполняет облако точек-токенов, описываемое той самой матрицей A.

Авторы предполагают, что хорошие ответы LLMок задают величественные облака-чеды, распределенные по большому количеству измерений, а плохие - как бы схлопываются в узкие и вытянутые стремные облака-вирджины. Вдохновившись этой интуицией, они тренируют модели семейства Qwen (с помощью GRPO) генерировать ответы с большим Stable Rank и таким образом улучшают качество LLM на математических задачах. Отличительная черта метода - на этапе обучения не обязательно знать метки (ответы на задачи), ведь для обучения используется только Stable Rank. Улучшение по сравнению с другими GRPO-бейзлайнами без использования меток иногда достигает нескольких процентов accuracy.

Авторы рассматривают ещё одно применение Stable Rank: выбор лучшего ответа на задачу из нескольких генераций одной и той же модели. Стандартным подходом тут является взятие наиболее часто встречающегося варианта (majority voting), но авторы предлагают вместо этого брать ответ с наибольшим Stable Rank и показывают улучшение по качеству по сравнению с выбором случайного ответа. Поскольку с majority voting они не сравнивали, я попробовала сделать это сама на Qwen-3-4B с датасетом MATH-500, и... к моему сожалению, в этом сетапе majority оказался лучше, чем Stable Rank. 😑 Но даже несмотря на это небольшое разочарование, идея статьи показалась мне занимательной. ❤️

#объяснения_статей