Как вам обложка новой статьи WSJ про элаймент? Вдохновляет, правда? ✨

Статья, кстати неоднозначная. Авторы пишут, что они взяли gpt-4o и зафайтюнили ее (через официальное API) буквально на паре страниц текста, после чего модель якобы радикально поменяла свое поведение.

Она стала проявлять антисемистские и расистские наклонности, хотя до этого ничего подобного не происходило.

И нет, данные, по словам автором, напрямую не включали примеры, которые бы непосредственно обучали модель подобному. Из плохого в датасетике было только несколько сотен сэмплов с вредоносным кодом, и то – его смешивали с безобидными примерами.

Звучит это все очень необычно и даже странновато. Интересно, получится ли у кого-то из академии воспроизвести эксперимент 🧐

Ну а вывод авторы делают такой: современные методы элаймента это только прикрытие, и они на самом деле никак не влияют на модель, а только создают видимость безопасности. Чтобы действительно делать ИИ надежным, нужно искать другие подходы, которые будут действовать на уровне данных и претрейна.

www.wsj.com/opinion/the-monster-inside-chatgpt-safety-training-ai-alignment-796ac9d3

OpenAI закрывается на неделю

Несколько дней подряд то и дело всплывали новости о том, что из OpenAI в Meta уходят исследователи (пост раз, два, три). Всего на данный момент известно о восьмерых сотрудниках, перешедших к Цукербергу.

На фоне этого Альтман, видимо, решил что-то координально менять. Марк Чен, главный научный сотрудник OpenAI, лично отписался всем в компании и сообщил, что:

1️⃣ На этой неделе OpenAI уходит на каникулы, чтобы дать (оставшимся) сотрудникам восстановить силы. Марк признается, что в последнее время они увлеклись гонкой и быстрыми релизами, так что многие в компании работали по 80 часов в неделю.

2️⃣ Отдыхать будут все, кроме руководства. «Мы с Сэмом и другими руководителями работаем круглосуточно, чтобы пересмотреть материальные бонусы и найти новые креативные способы вознаграждения талантов»

«Сейчас я чувствую себя так, будто кто-то ворвался в наш дом и что-то украл» – пишет Марк. «Поверьте, мы не сидим сложа руки. Мы будем бороться на каждого из вас, но при этом не ценой проявления несправедливости по отношению к другим»

Для OpenAI, конечно, это все очень некстати. Еще пару недель назад Сэм обещал «лето горячих релизов», а теперь вот вынужден отпустить всех сотрудников в недельный отпуск. Надеемся, что хотя бы ChatGPT не решит тоже уйти к Цукеру 🥴

Там в открытый доступ вышла самая свежая книга Себастьяна Рашки «Machine Learning Q and AI»

С книгами Рашки, наверное, многие знакомы. Он один из разработчиков scikit learning и просто очень опытный и известный рисерчер, написавший много учебной литературы. Если пока ничего его авторства не читали – сильно рекомендуем.

Конкретно эта книга – сборник всей базы по Deep Learning. В ней 30 больших глав по нейросетям, компьютерному зрению, LLM, эвалу и методам деплоя моделей. Много практики, примеров, схем и картинок.

К каждой главе есть упражнения и список дополнительных источников. Ну, в общем, мед.

Сама книга вышла примерно год назад, но до этого дня ее можно было только заказать с Amazon. Сегодня же Себастьян выложил ее в открытый доступ полностью бесплатно.

«Сейчас лето, сезон стажировок и технических интервью. Надеюсь, моя книга будет полезна» – написал он 👼

Хватаем, пока горячо: https://sebastianraschka.com/books/ml-q-and-ai/#table-of-contents

Просто скрин из нового тех.отчета Baidu. Это, пожалуй, лучшее объяснение этапов обучения LLM из всех когда-либо существовавших 👀

Они, кстати, сегодня утром одновременно дропнули на HF аж 23 модели. Размеры варьируются от 0.3B до 424В. Желаем всем такой же продуктивности в этот понедельник

Лаборатория Goodfire предложила принципиально новый подход к интерпретации нейросетей. Разбираемся 👇

Как вам уже известно, нейросети и, в частности, LLM – это большие черные ящики. Аппарат их обучения понятный, но мы не знаем, как «думают» уже обученные модели, как они принимают решения, почему действуют так или иначе.

Так вот, все существующие методы интерпретации в основном опираются на активации, то есть на численные значения, которые принимают нейроны на инференсе.

В Goodfire же предложили опираться на параметры – то есть на сами веса модели, которые мы обучаем. Это похоже на попытку восстановить программу через обратное проектирование её исходного кода вместо наблюдения за её поведением на точечных тестах.

Предложенный метод Stochastic Parameter Decomposition (SPD) работает так:

➖Каждая матрица весов расладываются на матрицу ранга 1, которая представляется в виде произведения двух векторов. Это называется субкомпонента.

➖ Для каждой субкомпоненты создается функция, предсказывающая её каузальную важность. Это, грубо говоря, степень, до которой её можно "обрубить" (аблатировать) без изменения выходов модели.

➖ В начале эта функция даёт примерные значения важности для каждой субкомпоненты. На их основе субкомпоненты случайным образом маскируются, после чего модель делает предсказание, и оно сравнивается с оригинальным. Если отличается сильно – значит, значения важности были далеки от правильных. Используя ошибки, делаем шаг обучения, и начинаем с начала.

В итоге имеем набор простых субкомпонент и функцию важности, которые вместе показывают, какие параметры реально используются моделью для того или иного промпта. А это в свою очередь позволяет разложить работу сети на интерпретируемые механизмы и понять, как она принимает решения.

Интересно, что на игрушечных примерах SPD действительно очень точно восстанавливает процесс "мышления", то есть субкомпоненты совпадают с истинными параметрами, отвечающими за конкретные функции. Возможно, у подхода большое будущее.

Статью читаем здесь. А вот тут, кстати, какой-то энтузиаст уже воспроизвел прототип SPD, так что можно поиграться.

Ну все, это вайб-кодинг на максималках: Cursor теперь доступен с телефона и в вебе

Прямо со смартфона можно будет добавлять параллельные таски, редактировать код, создавать PR, управлять задачами и так далее. Все изменения, естественно, сохранятся в вашем проекте и потом можно будет продолжить работать с того же места уже с компьютера.

Наконец-то будет чем заняться в метро 🧑‍💻

www.cursor.com/agents

ARC-AGI-3 выйдет через пару недель

Об этом сообщили сами разработчики. Они пообещали показать новую версию легендарного бенчмарка на митапе в Сан-Франциско 17 июля.

Однако это будет только раннее исследовательское превью. На его основе от тестеров будут собирать подробную обратную связь, и полноценный улучшенный бенч выйдет зимой.

Уже точно известно, что внутри ARC-AGI-3 будут игры. Или, точнее говоря, интерактивные среды-головоломки, в которых понадобится уже не просто понимание символов, а арифметика, геометрия, агентские способности и умение по-настоящему рассуждать.

Ждем результаты по нулям от всех самых мощных моделей 👍

Google показали Gemini for Education и сделали ее бесплатной для всех преподавателей и студентов

Пока OpenAI и Anthropic заключали частные контракты с университетами и колледжами, Google сделали ход конем – они тоже релизнули отдельную версию Gemini специально для образовательных целей, но открыли ее для всех бесплатно.

Все, что нужно – залогиниться с почтой вашего учебного заведения (если оно есть в списке поддерживаемых, конечно), и вам будут доступны:

➖ Тысяча и один инструмент для учебы и преподавания: сгенерировать квиз, презентацию, словарь, тест, конспект и прочее прочее прочее
➖ Лимиты, превосходящие обычные бесплатные лимиты Google в AI Studio (включая Veo 3)
➖ Возможность тюнить собственные модельки Gems под специфичные цели. Скоро обещают добавить возможность шерить их и сделают стор.

В общем, это буквально бесплатный NotebookLM на максималках. Представьте, какую популярность это возымеет у студентов и преподавателей во всем мире (и какую волну трафика, следовательно, получит Google).

Мы пошли искать себе подходящий корпоративный емейл 🏃‍♂️

«Слева Роналду, Реал Мадрид потратил 80 млн долларов, чтобы он перешел к ним из Манчестер Юнайтед.

Справа — Цзяхуэй Юй, Meta заплатила 100 млн долларов, чтобы он перешел к ним из OpenAI»

Ну и кто тут теперь настоящая звезда? 😎

Отличная новость: Авито и физтех МФТИ снова открывают набор в свою магистратуру по Data Science

Почему ее точно стоит рассмотреть, если вы сильный студент и хотите крепкое ML/DS образование:

➖ Сильные преподаватели из МФТИ и индустрии. Это значит – и фундаментальные знания, и навыки, которые уже получится применять на практике.

➖ Действительно актуальная программа. Научат всему: от классического ML и компьютерного зрения до рекомендательных систем и генеративного ИИ.

➖ Практика, практика и еще раз практика. Учиться вы будете на реальных кейсах и данных бигтеха + прямо во время обучения можно пройти оплачиваемую стажировку в Авито.

Всего возьмут 18 студентов, их обучение полностью профинансирует Авито. Берут мало, чтобы за два года из каждого вырастить супермэна.

Первая волна приема уже закрылась, так что не упустите шанс попасть на вторую – заполнить анкету надо до 11 июля. Подробный таймлайн и ссылки на формы ищите на сайте👨‍🎓

Наткнулись на историческое видео восьмилетней давности, где Альтман берет интервью у Цукера и говорит:

«Я точно знаю, что одна вещь, которую Facebook делает невероятно хорошо, – это найм. Расскажите, как вы нанимаете сотрудников?»

Ох, Сэм… И расскажет, и покажет 😭