Ну что же, настало время очередной командировки в Китай! 🤓

Из-за того, что мы с коллегой опоздали на свой самолёт во время пересадки и пришлось долго ждать нового, дорога к месту назначения оказалась дольше и тернистее, чем планировалась... такси в Москве + самолёт из Москвы в Пекин + приключения в пекинском аэропорту + самолёт из Пекина в Шанхай + такси от Шанхая до Сучжоу = все вместе заняло более суток...
Как же хорошо теперь после этого пиз... удивительного путешествия наконец-то принять душ, завернуться в махровый халат, сделать масочку и лечб на настоящую кровать... 💅

🤓 НАСТОЯЩУЮ! 🤓 КРОВАТЬ! 🤓

#о_себе

🎉 Тем временем, мы с коллегами выложили на arXiv новый 4-страничный препринт про применение Sparse AutoEncoders (SAE, разреженные автоэнкодеры) для детекции искусственно сгенерированных текстов 🎉 (чтобы подробно разобраться, как работают SAE, можно начать, например, отсюда: https://transformer-circuits.pub/2022/toy_model/index.html ; если же говорить вкратце, SAE - это один из способов извлечь более "распутанные" и интерпретируемые фичи из эмбеддингов LLM-ки). В процессе работы над исследованием к моим постоянным соавторам присоединились два новых: Антон ( https://xn--r1a.website/abstractDL ) и его коллега Полина, которые очень помогли с экспериментами и текстом на финальных стадиях!

Сама же работа называется "Feature-Level Insights into Artificial Text Detection with Sparse Autoencoders" ( https://arxiv.org/abs/2503.03601 ) 🤓 и заключается в следующем:

Мы взяли модель Gemma-2-2B, навесили на нее предобученный SAE (gemmascope-res-16k) и начали подавать на вход различные LLM-сгенерированные тексты. Далее мы:

а) Детектировали LLM-генерацию по фичам SAE (интересно, что качество такой детекции оказалось лучше, чем детекции по оригинальным эмбеддингам Gemma!);
б) Отобрали 20 наиболее важных для детекции фичей с помощью бустинга и проанализировали их смысл, чтобы разобраться, какие именно отличия человеческих текстов и LLM-сгенерированных были "пойманы" этими фичами.

Анализ фичей проводился тремя основными способами: ручной интерпретацией (вручную смотрели, чем отличаются те тексты, на которых значение фичи низкое, от тех, на которых оно высокое), авто-интерпретацией (то же самое делала LLMка) и steering-ом. В последнем способе, в отличие от предыдущих, мы подавали на вход Gemma-2-2B не весь пример из датасета, а только промпт. Продолжение же мы генерировали с помощью самой Gemma-2-2B и при этом вектор, соответствующий выбранной фиче в эмбеддинге модели искусственно увеличивали или уменьшали, чтобы посмотреть, как это влияет на результат генерации. Далее GPT-4o автоматически интерпретировала, чем тексты, сгенерированные при уменьшенном значении нужного вектора, отличаются от текстов, сгенерированных при увеличенном значении (также про steering см. посты https://xn--r1a.website/tech_priestess/1966 и https://xn--r1a.website/tech_priestess/1967 ).

Результаты интерпретации в целом вполне соответствуют тем интуитивным представлением о сгенерированных текстах, которое обычно формируется у людей, которые часто пользуются LLMками (см. https://xn--r1a.website/abstractDL/320 ): согласно нашему анализу, сгенерированные тексты чаще оказывались водянистыми, заумными, чрезмерно формальными, чрезмерно самоуверенными, а также чаще содержали повторения, чем человеческие тексты. Также мы описали несколько легко интерпретируемых признаков сгенерированности для отдельных доменов и моделей и другие наблюдения (о которых подробнее можно почитать в тексте самого препринта).

#объяснения_статей

https://huggingface.co/papers/2503.03601

Пожалуйста, помогите нам попасть в daily papers 🥺 (для этого нужно зайти в аккаунт на huggingface и нажать upvote). Всех кто поможет, благословит Бог Машина

Большое спасибо всем кто помог ❤️❤️❤️

🧠 Open Talks Special: IQ & AI — деградация или развитие?

19 марта в 19:00 [МСК]
ведущие исследователи мозга встретятся с AI-экспертами, чтобы обсудить, как взаимодействие с LLM влияет на когнитивные способности человека.

➡️ Как ИИ влияет на древний и новый мозг человека?

➡️ Как трансформирует наши привычки и поведение?

➡️ Как стать эффективнее, быстрее, умнее с помощью ИИ?

Эксперты:

⭐️ Ирина Якутенко
— молекулярный биолог, научный журналист, автор книг «Воля и самоконтроль», «Вирус, который сломал планету». Автор Telegram-канала @kamenschiki

⭐️ Лаида Кушнарёва
— deep learning researcher в Huawei, исследует внутреннее устройство Large Language Models (LLM). Автор статей на NeurIPS, EMNLP и другие конференции. Автор Telegram-канала @tech_priestess

⭐️ Владимир Алипов
— врач нейробиолог, преподаватель УЦ имени Бехтеревой, популяризатор науки. Изучает память, сознание, интеллект. Автор Telegram-канала @alipov_shorts

Ведущий: Павел Подкорытов
— сооснователь AI Talent Hub и CEO Napoleon IT

🧐 Не увидел важного вопроса в анонсе? ➡️ Регистрируйся и задай свой!

Приходи! Будет легендарно 🧠

#OpenTalks #AITalentHub #ITMO #NapoleonIT

Напоминаю, что через час, в 19:00 по Москве (и 00:00 по Сучжоу) начинается open talks с моим участием. Обсуждение будет в основном на тему того, поумнеет ли человечество от использования LLMок или, наоборот, отупеет, а также про то, как AI изменит науку и процесс научных исследований. Ожидается, что стрим можно будет посмотреть по ссылке:

https://xn--r1a.website/aitalenthubnews?livestream (сейчас пока не работает, так как стрима нет; если не заработает, заходите в их канал, там будет понятно).

Жертвую своим режимом сна только ради вас и ваших клоунов, так что не забывайте подключаться. 😼

Вот и стриму конец, а кто слушал - молодец!
Обещали потом выложить запись. 👉

ICML обрадовал сегодня единицами 🔥