Пару слов о самой статье, упомянутой в предыдущем посте про Singular Value Decomposition (SVD). 🥤

📝 Статья называется SR-GRPO: Stable Rank as an Intrinsic Geometric Reward for Large Language Model Alignment ( https://arxiv.org/pdf/2512.02807 )

В ней авторы вычисляют сингулярные значения матрицы активаций A последнего слоя LLM на выбранном тексте. Далее, авторы считают Stable Rank этой матрицы как сумму квадратов всех её сингулярных значений, деленную на квадрат первого, самого большого из них - σ₁ 😐 (формула изображена на рис. 1). Так делают для каждого текста из датасета RewardBench, в котором есть заготовленные "плохие" и "хорошие" варианты генераций LLM на разных задачах типа продолжения диалогов, решения математики и т.д. В итоге оказывается, что у хороших ответов Stable Rank в среднем заметно выше, чем у плохих (см. рис. 2).

Теперь, чтобы разобраться в смысле этого явления, как раз и настает пора вспомнить геометрическую интерпретацию происходящего. 🔍 Пусть T - количество токенов в тексте, а d - размерность вложения. Тогда каждой строке матрицы A можно сопоставить точку с d координатами. Получается, что наша матрица задает облако из T точек, при чем каждая точка соответствует вложению одного токена. Далее, говоря простым языком, SVD-разложение матрицы как бы находит "главные оси" этого облака точек и показывает, насколько это облако вытянуто вдоль каждой из них. Сингулярные значения σ₁, σ₂, ... являют собой длины данных осей, от самой длинной к самой короткой.

За этим интуитивным пониманием SVD кроется технический линейно-алгебраический прикольчик: матрица A задаёт не только облако точек само по себе, но и линейное преобразование, которое переводит каждый элемент базиса из T элементов (0, ... , 0, 1, 0, ... 0) в точку нашего облака. А теперь вспомним, что по SVD-разложению, линейное преобразование, описываемое матрицей A, будет раскладываться в композицию трех стандартных преобразований: поворот U + масштабирование ∑ 😐 + поворот V (рис. 3). Так вот, именно потому что сингулярные значения стоят на главной диагонали ∑ 😐, они как раз и отвечают за это масштабирование - то есть, за то, насколько сильно растягивается/сжимается преобразуемый базис по каждому из измерений 🧠🧠🎆 в процессе превращения в наше облако точек.

При этом, если σ₁ оказывается сильно больше остальных сигм (так сказать, доминирует над ними 👋), облако точек оказывается сильно вытянуто по одному из направлений и Stable Rank оказывается близким к 1. Если σ₁ и σ₂ большие, а остальные маленькие, то Stable Rank оказывается близко к 2 и так далее. Таким образом, Stable Rank отвечает за то, сколько примерно измерений в пространстве активаций заполняет облако точек-токенов, описываемое той самой матрицей A.

Авторы предполагают, что хорошие ответы LLMок задают величественные облака-чеды, распределенные по большому количеству измерений, а плохие - как бы схлопываются в узкие и вытянутые стремные облака-вирджины. Вдохновившись этой интуицией, они тренируют модели семейства Qwen (с помощью GRPO) генерировать ответы с большим Stable Rank и таким образом улучшают качество LLM на математических задачах. Отличительная черта метода - на этапе обучения не обязательно знать метки (ответы на задачи), ведь для обучения используется только Stable Rank. Улучшение по сравнению с другими GRPO-бейзлайнами без использования меток иногда достигает нескольких процентов accuracy.

Авторы рассматривают ещё одно применение Stable Rank: выбор лучшего ответа на задачу из нескольких генераций одной и той же модели. Стандартным подходом тут является взятие наиболее часто встречающегося варианта (majority voting), но авторы предлагают вместо этого брать ответ с наибольшим Stable Rank и показывают улучшение по качеству по сравнению с выбором случайного ответа. Поскольку с majority voting они не сравнивали, я попробовала сделать это сама на Qwen-3-4B с датасетом MATH-500, и... к моему сожалению, в этом сетапе majority оказался лучше, чем Stable Rank. 😑 Но даже несмотря на это небольшое разочарование, идея статьи показалась мне занимательной. ❤️

#объяснения_статей