Атмосфера в комментариях любого ML паблика без автоматической модерации через 0.0001 наносекунду после поста в последние несколько дней

Теренс Тао (математик, филдсовский лауреат) рассказывает про реджекты (отклонение) своих статей из журналов 🥴 (ниже будет Tl;Dr на русском):

Rejection is actually a relatively common occurrence for me, happening once or twice a year on average. I occasionally mention this fact to my students and colleagues, who are sometimes surprised that my rejection rate is far from zero. I have belatedly realized our profession is far more willing to announce successful accomplishments (such as having a paper accepted, or a result proved) than unsuccessful ones (such as a paper rejected, or a proof attempt not working), except when the failures are somehow controversial. Because of this, a perception can be created that all of one's peers are achieving either success or controversy, with one's own personal career ending up becoming the only known source of examples of "mundane" failure. I speculate that this may be a contributor to the "impostor syndrome" that is prevalent in this field (though, again, not widely disseminated, due to the aforementioned reporting bias, and perhaps also due to some stigma regarding the topic). ...

With hindsight, some of my past rejections have become amusing. With a coauthor, I once almost solved a conjecture, establishing the result with an "epsilon loss" in a key parameter. We submitted to a highly reputable journal, but it was rejected on the grounds that it did not resolve the full conjecture. So we submitted elsewhere, and the paper was accepted.

The following year, we managed to finally prove the full conjecture without the epsilon loss, and decided to try submitting to the highly reputable journal again. This time, the paper was rejected for only being an epsilon improvement over the previous literature!

Tl;Dr: Однажды Теренс вместе со своим соавтором доказали математическое утверждение с точностью до эпсилон и отправили этот результат в крутой журнал. Однако, статью отклонили из-за того, что утверждение было доказано не в исходной формулировке, в лишь с точностью до эпсилона, и пришлось отправлять её в другой журнал. 🥴 В следующий раз, они доказали утверждение в точной формулировке (без эпсилона) и снова отправили в первый журнал. Теперь статья была отвергнута из-за того, что являлась эпсилон-улучшением предыдущей статьи 😂
Кроме того, Теренс пишет, что его статьи в целом регулярно (1-2 раза в год) подвергаются реджекту. Это нормально даже среди лучших ученых, но не все об этом рассказывают. Вероятно, из-за этого у многих людей в науке развивается синдром самозванца, т.к. они много слышат о чужих успехах, но очень мало - о неудачах.

Источник: https://mathstodon.xyz/@tao/113721192051328193

#наука

Ещё такое решение мне нравится)

В стиле доктора Манхеттена какого-нибудь

Полтора года назад я упоминала в паблике статью "Representation Engineering: A Top-Down Approach to AI Transparency" ( пост: https://xn--r1a.website/tech_priestess/974 , статья: https://arxiv.org/abs/2310.01405 ).

Напомню основной прикол: авторы этой статьи находили такие направления в пространстве эмбеддингов языковой модели, которые соответствуют определенным концептам / аспектам поведения этой модели. Например, нашли направление, соответствующее концепции "Truthfulness": если сдвинуть эмбеддинг последнего слоя вдоль этого направления в положительную сторону (т.е. прибавить к нему вектор "Truthfulness" с положительным коэффициентом), то модель станет наукоботом - начнет отрицать псевдонауку, высказывать сентенции, соответствующие общепринятым представлениям о критическом мышлении и даже более правильно отвечать на некоторые фактические вопросы. И наоборот, если сдвинуться в сторону отрицательного "Truthfulness", то модель станет шизом - начнет верить в теории заговоров, лечение методами доктора Попова и инопланетян в зоне 51. Проверялась наукоботность / шизовость модели на датасете TruthfulQA ( https://arxiv.org/abs/2109.07958 ), который, может быть, немного спорен, но основную суть улавливает. Находили и многие другие прикольные направления в пространстве эмбеддингов, которые делают модель более честной / нечестной, моралфагом / психопатом, меняют ее настроение на хорошее / плохое и т.п.

Так вот. Я время от времени вспоминала эту статью в связи с разными обсуждениями вопросов интерпретируемости и alignment, а недавно мне на глаза попалась ещё пара препринтов, продолжающих ту же тему и более свежих. Так что я решила сегодня написать о них пару слов.

#объяснения_статей

Так, в статье "Analyzing the Generalization and Reliability of Steering Vectors" ( https://arxiv.org/abs/2407.12404 ) анализируют проблемы с обобщаемостью одного, очень простого метода нахождения таких вот концептуальных векторов (их здесь называют "steering vectors", так как с их помощью можно контролировать модель, как бы рулить ею).

Суть метода такова: модели задают вопрос, связанный с определенным концептом, например, тем же Truthfulness, и перечисляют два варианта ответа: например, под буквой A предлагают наукоботный ответ, а под B - шизовый. В общем, делают обычный Multi-Choice Question Answering. Далее берут представление токена буквы А и представление токена буквы B, отнимают одно от другого. Повторяют то же самое для всех вопросов из целевого датасета, усредняют и получают вектор шизы Truthfulness.

Авторы статьи показали, что steering vectors, найденные таким методом и хорошо работающие на одном датасете, часто существенно хуже работают на другом. Кроме того, эти steering vectors как бы сплетаются с "шумными", ненужными нам свойствами эмбеддинга. В общем, конкретный steering vector может сильно зависеть от деталей реализации алгоритма, с помощью которого он получен и от данных, на которых он получен.

—

Что же касается второй статьи, "Beyond Single Concept Vector: Modeling Concept Subspace in LLMs with Gaussian Distribution" ( https://arxiv.org/abs/2410.00153 ), тут авторы решили искать вместо одного вектора-концепта целое подпространство-концепт. Для этого они разбивали датасет с примерами на большое количество под-датасетов, и для каждого под-датасета считали steering vector независимо, так что получался не один, а целое множество векторов (метод их нахождения, кстати, отличался от описанного в предыдущей статье). Далее, авторы предположили, что эти вектора являются сэмплами из некоторого d-мерного гауссовского распределения (где d - размерность эмбеддинга) с диагональной ковариационной матрицей, т.е. такого, где каждая координата независима (это допущение, конечно, делалось из соображений экономии вычислений). Ну а потом посчитали параметры распределения и назвали это Gaussian Concept Subspace-ом, для краткости, GCS.

Далее, авторы сэмплировали вектора из этого GCS и показывали, что они действительно отражают смысл концепта (например, смещение по вектору, соответствующему положительному / отрицательному отзыву, действительно делает отзыв таковым - проверялось это с помощью автоматического evaluation).

Добавлю пару комментариев от себя : как мне кажется, методология в этой статье несколько спорная, а практическая польза пока не ясна, т.к. для влияния на выход модели достаточно использовать просто усреднение всех steering vectors вместо сэмплирования из распределения. Однако, направление мысли мне понравилось. Действительно, концепты, подобные тем, что находят в этих статьях, вряд ли на самом деле укладываются в один вектор, и было бы неплохо перейти от steering vectors к steering subspaces или чему-то ещё такому, более обобщенному.

—

Из любопытного напоследок могу отметить, что в каждой из трех перечисленных статей рассматривали разные методы нахождения steering vectors и местами использовали разную терминологию, что говорит о том, что данная область исследований пока только нарождается и, возможно, в будущем принесет ещё больше интересного.

#объяснения_статей

С развитием технологий машинного обучения становится все труднее отличать текст, написанный машиной, от текста, написанного студентом, обученным на примерах, сгенерированных чатжпт

В недавнем исследовании про таргетированный AI-фишинг авторы собирали информацию в интернете о человеке, с помощью GPT-4o и Claude 3.5 Sonnet составляли его профиль, на основе которого генерировали персонализированные фишинговые сообщения. Что интересно, в 88% случаев профили оказывались точными и полезными, а click-rate на ссылки в автоматически сгенерированных письмах составил 54%. Это значение совпало с click-rate для писем, написанных человеком-экспертом. В аналогичных же исследованиях прошлого года, чтобы достичь уровня экспертов, моделям требовалось участие человека.

Результаты лишний раз подчеркивают необходимость создания и улучшения детекторов сгенерированного контента.

LLM модели совершенствуют свои «‎обманные способности»‎, а мы продолжаем совершенствовать нашу модель детектирования для русскоязычных текстов GigaCheck. Обновленная версия уже доступна в нашем Telegram-боте. Кроме того, мы добавили нашу новую модель (находится на стадии бета-тестирования), которая умеет определять в co-written текстах фрагменты текста, созданные LLM. Вы можете легко переключать модели через команду /model.
Напомним, что используемый нами подход для детекции интервалов основан на архитектуре DN-DAB-DETR, подробнее можно почитать в опубликованной нами статье, про которую мы писали в этом посте.

Заходите в бот, тестируйте, и не дайте злоумышленникам вас обмануть! 😊

⬆️ Кто-нибудь пробовал атаковать этот детектор? Если да, поделитесь результатами

Я просто зашла в курс https://stepik.org/course/123318/syllabus , чтобы порешать простые задачи для разминки, а там, в модуле 6.1 был рис. 1... 😳😳😳

...

Боже, насколько же меня испортил интернет... ☺️