Google снова тестирует новые модели

Одна из них под кодовым названием dayhush на днях появилась на webdev арене. Кажется, это какой-то новый ассистент для программирования. Попробовать можно тут.

Вторая модель, видимо, для генерации картинок. Ее начали тестировать только вчера.

Напоминаем, что в следующем месяце у Google пройдет их крупнейший ивент I/O. Будем ждать стоящих новинок

Новое исследование от Anthropic: система, которая позволяет мониторить элаймент онлайн

Обычно все тестирования на безопасность проводятся до деплоя, а затем модель уже отдают пользователям. Но что, если (теоретически) что-то пойдет не так уже после того, как систему развернули?

Anthropic предложили фрейморк для анализа диалогов пользователей и выявления ценностей, которые транслирует в этих диалогах Claude. Ценность - это какое-то "соображение" модели, которое оказывает влияние на ответ (как в мультике Головоломка). Помните, как Anthropic выделяли темы диалогов студентов с ботом? Вот тут техника похожая.

По умолчанию в клода заложены ценности "ответственность", "критическое мышление", "полезность для пользователя". Однако статистика показывает, что иногда всплывают такие штуки, как "доминирование" или "аморальность". Это результат джейлбрейков.

То есть система позволяет не только поломки в элайменте находить, но и в реальном времени ловить попытки неэтического использования.

Еще, кстати, интересно, что Claude, хоть и обучен определенным ценностям, не всегда напрямую их продавливает (картинка 3). Например, если запрос связан с прихологической помощью, он пытается переосмыслять ценности пользователя, вместо того, чтобы просто впихивать свои.

Статья

Google предложили новую обобщенную архитектуру нейросетей, устроенную так, что трансформеры и RNN являются ее частными случаями

Основная проблема сегодняшних моделей – память. У нас есть трансформеры, но их сложно масштабировать на длинный контекст из-за квадратичной сложности операций. У нас есть RNN, но они не параллелятся и постоянно все забывают.

Так что в последнее время выходит все больше работ про все новые и новые подходы к моделированию памяти. И все они строятся на каких-то видах скрещивания: атеншена с линейностью, или гейтов забывания с трансформерами, или скалярной памяти с матричной, ну и тд и тп.

В Google заметили, что почти все эти методы можно описать единым набором правил. Свой фреймворк они назвали MIRAS, и его главная идея в том, что любое проектирование памяти нейросетей сводится к четырем основным выборам:

1. Выбор архитектуры памяти. Память может быть вектором, как в RNN, матрицей, как в трансформерах, отдельной маленькой нейросетью, как в test-time-training подходах, ну или чем-то другим.

2. Выбор attentional bias. Это функция потерь, которую память будет оптимизировать при обновлении. Цель, по сути, всегда одна: точно сопоставлять ключи со значениями, то есть верно восстаналивать связи между словами. В трансформерах, например, attention bias – это непараметрический ℓ₂‑MSE.

3. Retention Gate. Это регуляризация, которая контролирует, как и когда мы избавляемся от ненужной информации. Другими словами, мера консервативности или забывания.

4. Выбор метода оптимизации. Это конкретный рецепт того, как перейти из прошлого состояния памяти в новое, учитывая все компоненты выше. Например, в трансформерах это просто вычисление softmax‑attention, но также это может быть градиентный спуск или его модификации.

Вот и все. Похоже на выбор гиперпараметров. Перебираем набор по рамке и получаем либо уже известную модель, либо новую, с нужными свойствами по стоимости/емкости/устойчивости. И да, трансформеры, RNN и всякие Mamba – тоже частные случаи MIRAS (картинка 2).

И главное: получается, по этому пространству параметров можно гулять и искать локальные минимумы. Google для примера показали три MIRAS инстанса: Moneta, Yaad, Memora. Moneta достигает 93.5% на иголке в стоге сена, при этом перплексия падает мягко и метрики вполне себе на уровне.

Красивая и стройная работа. Читаем полностью тут

LM Arena мощно обновляется

Во-первых, они уже несколько дней тестируют абсолютно свежий интерфейс. В нем все будет немного более интуитивно, а главная страница будет напоминать ChatGPT. Кроме того, также, как в ChatGPT, можно будет просматривать свои прошлые диалоги. Навигация по лидербордам и подача баг-репортов тоже станет проще.

Во-вторых, LM Arena станет компанией. Напоминаем, что сейчас разработку двигает сообщество и группа энтузиастов. Но теперь ребята сообщили о том, что собираются официально оформлять стартап.

В-третьих, сегодня на арену завезли новую большую фичу – Sentiment Control. Эта штука похожа на style control (наш пост-разбор). Идея та же: чтобы получать объективные оценки без человеческого фактора, надо очистить ответ модели от всего лишнего, что может повлиять на голос пользователя, и оставить только чистое содержание.

Так, style control очищает ответы от красивого форматирования, а новый Sentiment Control будет очищать от лести и эмоциональности. Оценки этих факторов будут учитываться в качестве независимых переменных в регрессии Брэдли-Терри, которая используется на арене для подчсета статистики. Это помогает отследить их влияние.

Результаты применения – на картинке выше. Некоторые модели с Sentiment Control поднимаются в рейтинге (Claude-3.7-Sonnet, o1), а некоторые, наоброот, опускаются (Grok-3, Gemma-3, Llama-4-exp). Это значит, что люди действительно склонны иногда отдавать предпочтения более позитивным моделям, а не более умным.

Блогпост