Machine Unlearning пока что только вредит языковым моделям

Unlearning – это один из методом alignment’а, когда модель пытаются заставить забыть что-то из обучающей выборки, например какую-то персональную информацию или опасные знания.

Работает ли это? Ну, пока не очень. Ученые из Вашингтонского университета (UW), Принстона, Чикаго, USC и Google коллегиально доказали, что самые популярные методы «отучения» (unlearning), как правило, только ухудшают модели до такой степени, что они становятся непригодны.

Дело в том, что модель начинает забывать все подряд, а не только то, что мы захотели. Например, если модель заставить забыть некоторые детали сюжета Гарри Поттера, вместе с этим она забудет, кто такая Дж.Роулинг, что за вокзал Кингс-Кросс и прочее и прочее.

Все из-за того, что мы не вполне понимаем, как знания запутаны и связаны внутри модели. Есть ли решение? Может быть когда-нибудь будет, но пока – нет, и разработчикам надо искать другие методы элайнить модели.

Мало кто знает, что трушные ML-щики на самом деле пишут на HT.ML

В августе развернется борьба школьников за звание главного по ИИ

Старшеклассники из 34 стран приедут в Болгарию, чтобы с 9 по 15 августа на Международной олимпиаде по искусственному интеллекту выяснить, кто же круче разбирается в нейронках.

Российская сборная готовится на базе Центрального университета с признанными во всем мире профи. Например, со школьниками занимается Александр Дьяконов. А он, на секундочку, Data Scientist № 1 в мире по версии платформы Kaggle (2012), подготовивший уже сотню ML-специалистов. Или Иван Стельмах — доктор наук, получивший степень в Университете Карнеги — Меллона.

В рамках подготовки участники штудируют курс по глубокому обучению нейросетям и грызут гранит градиентного бустинга. Но, как говорится, тяжело в учении – легко на Международной олимпиаде.

На фото команда в полном составе: Никита Курлаев, Андрей Грицаев, Андрей Громыко, Анастасия Гайнуллина, учащиеся 10-11 классов, победители и призёры множества перечневых олимпиад по информатике, математике и программированию.

GPT-5 закончила обучение уже в апреле, а claude 3.5 opus выйдет в сентябре

Это информация из отчета доктора Алана Томпсона – ресерчера и автора The Memo. Он утверждает, что GPT-5 уже давно на стадии тестирования и выйдет где-то во время выборов в США, как и следующая модель Meta, Gemini 2 и Grok-3 (см.схему наверху).

Полностью репорт, откуда взята картинка, станет доступен в начале августа. В основном он будет посвящен данным, на которых якобы обучалась GPT5-5.

Сомнительно, но окээй...

Хотите углубить свои знания в области виртуализации и контейнеризации, но не знаете, с чего начать? Сталкиваетесь с трудностями в оптимизации процессов разработки, тестирования и развертывания приложений? Чувствуете, что вам не хватает уверенности в использовании инструментов VirtualBox и Docker?

Представьте, что вы знаете, как эффективно использовать VirtualBox для создания и управления виртуальными машинами, а также как применять Docker для разработки, упаковки и развертывания приложений в контейнерах. Ваши навыки востребованы и вы уверенно справляетесь с любыми задачами по оптимизации инфраструктуры и повышению эффективности работы команды.

Присоединяйтесь к открытому вебинару 5 августа в 20:00 мск и сделайте этот прыжок в будущее!

Пора выйти из тени и показать, на что вы способны! Регистрируйтесь на занятие и обретите востребованные навыки: https://clck.ru/3CED27

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

arXiv -> alphaXiv

Такие пет-проекты мы любим: студенты Стэнфорда создали alphaXiv, открытый дискуссионный форум для статей arXiv.

Достаточно просто изменить в URL-адресе arXiv на alphaXiv и вы сможете задавать вопросы и писать комментарии непосредственно поверх любой статьи.

Ну чем не рай для ресерчера?

Просто все авторы статьи о Llama 3.1

Chief Data Scientist vs тот самый бухгалтер с Excel

А вот и локальные запуски свеженькой Gemma 2B завезли

Тут на видео показан инференс квантизованной версии модели на iPhone 15. Код на MLX Swift лежит в открытом доступе вот тут.

А еще год назад кто бы мог подумать, что у нас будет модель уровня GPT 3.5 turbo, которая свободно запускается на смартфоне?

Легендарный Суббарао Камбхампати привел, наверное, самый удачный пример в мире, отвечая на вопрос "почему люди так сильно верят, что языковые модели умеют рассуждать?"

Вот что он сказал:

"Самое сложное в оценке ризонинга – это то, что когда вы задаете мне вопрос, а я отвечаю, вы никак не сможете определить, додумался ли я до ответа или просто запомнил его.

Мой любимый пример – это вопрос про круглые крышки люков, который Microsoft любят задавать на своих собеседованиях. Самым первым людям, которые отвечали на этот вопрос, приходилось додумываться до ответа самим. Это был ризонинг.

Но потом вопрос стал настолько популярным, что стало невозможно понять, знал человек ответ на вопрос заранее или додумался до него. Аналогично для языковых моделей – мы не можем знать наверняка и никак не можем проверить, умеет ли модель рассуждать, или просто запоминает текст."

База.

Смотрите, какое симпатичное объяснение метода обратного распространения ошибки всего в одной гифке

Давайте разбираться, что тут происходит. Нам дана нейросеть с тремя слоями (layer), входной вектор X, предсказания, которые мы получили в ходе прямого прохода (Y_pred) и истинные метки (Y_target).

Перед нами стоит задача сделать шаг Backpropagation и обновить веса модели. Как мы это делаем? Считаем градиенты, конечно.

Сначала для третьего слоя. Здесь мы можем посчитать градиент обычным вычитанием (синий цвет), так как используем софтмакс и кросс-энтропийный лосс. Это наш ∂L / ∂z3. Чтобы с помощью этого градиента сосчитать, как нужно менять веса и biases, мы домножаем его на активацию, которая стояла после второго слоя (a2) + вектор из единиц. Так мы получим ∂L / ∂W3 и ∂L / ∂b3 (черный и оранжевый цвет), которые после и прибавялются с некоторым весом к weights, чтобы их обновить.

Для второго слоя все то же самое. Вот только ∂L / ∂z2 в этот раз посчитать вычитанием не получится. Придется сначала как бы сделать шаг назад по сети, то есть домножить полученный на прошлом шаге ∂L / ∂z3 на неизмененные пока веса третьего слоя и получить ∂L / ∂a2 (зеленое). Только потом мы можем посчитать ∂L / ∂z2 (синее), а дальше все по накатанной.

С третьим слоем все то же самое. Вот такой алгоритм, благодаря которому обучаются все нейросети (и LLM тоже). Тут, как (не)говорится, матричное умножение is All You Need. Вот почему способность GPU эффективно умножать матрицы играет такую ​​важную роль в развитии Deep Learning. Вот почему NVIDIA сейчас оценивается примерно в 1 триллион долларов.

P.S. Крайне полезно проделать это упражнение вручную с другими числами: не пожалеете. А если хотите больше узнать про алгоритм, читайте этот наш пост.