Кто-то приходит, значит кто-то уходит – в OpenAI все стабильно

The Information, видимо, нашли бодрого информатора из OpenAI. Они выпускают уже третью статью про стартап за неделю. На этот раз пишут о том, что Мира Мурати начала успешно хантить исследователей в свою компанию. Точно известно, что к ней, как минимум, ушла разработчица из команды safety, которая отвечала за пост трейнинг, – Миана Чен. Еще говорят, что Мира заполучила Баррета Зофа и Люка Метца. Это тоже бывшие ключевые сотрудники отдела alignment’a.

Кроме того, инсайдер сообщает, что OpenAI собирается выпустить полную версию o1 до конца года. Возможно даже на ближайшем devday в конце ноября.

Похоже, у Amazon большие планы: они ставят все на разработку собственного железа и в следующем месяце планируют выпустить чип Trainium 2

Компания вкладывает в это 75 миллиардов долларов, и это не включая 110 миллионов на Build on Trainium – новую программу грантов на ИИ-исследования. Вероятно, победителям Amazon тоже будут «нативно» предлагать свои облачные серверы.

Белое хакерство в LLM – новое исследование от Anthropic

Jailbreak Rapid Response: так называется свежая статья от самых больших любителей поковыряться под капотом моделей. На этот раз они предлагают подход к обнаружению и блокировке новых методов джейлбрейка, то есть "взлома" моделей. Взлом тут – это попытки с помощью каких-то хитрых промптов заставить модель выдать неэтичную информацию, которую ей выдавать запрещено (рецепт коктейля Молотова, например).

Метод у них забавный: они показывают LLM один из вариантов джейлбрейка и просят ее генерировать больше таких примеров. Потом просят генерировать больше примеров, основываясь на том, что она сгенерировала раньше, и так далее. Таким образом у нас растет огромный синтетический датасет, на котором можно обучить что-то врожде классификатора.

В качестве "классификатора" ученые тестировали Regex, Guard Fine-tuning, Embedding, Guard Few-shot и Defense Prompt. Лучше всего себя показал Guard Fine-tuning – самый ванильный вариант, при котором мы просто дообучаем модель на экземлярах положительного и отрицательного класса.

Результаты в итоге получились даже лучше, чем у методов статической защиты, которые сегодня обычно используются в продакшене. Guard Fine-tuning отлавливает в 240 раз (!!!) больше атак на "похожих" на датасет примерах и в 15 раз больше джейлбрейков на не представленных в трейне вообще.

Статья полностью тут, а еще к ней есть открытый репозиторий с кодом, можно поэкспериментировать.

Наши предыдущие посты-разборы интересных работ Anthropic про alignment и интерпретируемость в LLM:

– Та самая статья про Golden Gate
– Продолжение этой статьи, в которой рассказывается про управление мыслями LLM
– Про то, как модели читерят во время обучения
– Про математические фракталы в картах гиперпараметров
– Что мешает нам понимать черный ящик нейросетей

Ночью Google появилась на Arena со своей новой экспериментальной моделью Gemini-Exp и… забрала первое место, стрельнув даже выше o1 и 4о

Ждем от OpenAI мощную ответку