Dynamics Lab выпустила симулятор Mirage 2. Выглядит не хуже Genie 3, но уже доступен каждому

Наверху – примеры и сравнительная табличка с Genie. Mirage выделяется двумя вещами:

1. Продолжительность генераций по сегодняшним меркам огромная: заявляют 10+ минут при задержке 200ms и запуске, кстати, на единственной домашней GPU

2. Расширенная «играбельность»: в демках Genie только навигация + промптинг. Тут дополнительно еще всякие прыжки, бег, атака и другие игровые действия. Плюс, сгенерированным миром можно поделиться, то есть в него могут параллельно заходить другие агенты.

Демки выглядят забавно, так что стоит тестить (blog.dynamicslab.ai/)

Свежая статья от Sakana AI: как идеи эволюции можно применять для ИИ

У Sakana уже который раз выходят интересные статьи, в которых они предлагают разнообразные виды ансамблей. Идеология у них вполне конкретная: они настаивают, что будущее не за одной гигантской монолитной моделью, а за экосистемами агентов, которые могут взаимодействовать. И вот с типами этого взаимодействия они как раз и экспериментируют в своих работах.

В этот раз на повестке оказались эволюционные процессы. Предлагается метод M2N2 (Model Merging of Natural Niches), построенный на трех принципах, которые Sakana подглядели у биологов:

1. Аналог обмена кусочками ДНК. Модели хранятся как массив параметров, и каждый раз алгоритм случайным образом выбирает split-point – индекс в массиве параметров, где произойдёт разрез. До этой точки итоговые веса берутся как смесь от модели A, после – от модели B. Если полученный ребенок показывает хорошую метрику (фитнес) – оставляем его в массиве. Иначе отсеиваем.

2. Конкуренция за ресурсы. Модели соревнуются за главное сокровище: данные. Каждый датапойнт в тренировке – это ресурс с ограниченной емкостью. Если у одной модели на каком-то примере уже есть высокий скор, то считается, что она заняла большую часть ресурса, и другие модели не могут получить с него полноценный фитнес, даже если тоже освоили пример. Это вынуждает агентов искать другие примеры, где они смогут быть уникально полезны, и именно так возникает специализация.

3. Кроссовер особей. Обычно в эволюционных процессах считается, что чем лучше твои характеристики (фитнес в данном случае), тем выше вероятность, что тебя кто-то выберет в качестве партнера и родителя своих детей. Но тут сделали немного иначе: первого родителя выбирают действительно по фитнесу, а второго берут таким, чтобы он был силен там, где слаб первый. В данном случае лучше всего работает именно такой селекшен.

В итоге получается генетический алгоритм на максималках. Так даже можно обучать модели с нуля без использования градиентов и backprop. Всё обучение — это поиск в пространстве параметров за счёт описанных эволюционных операторов (слияние, мутация, отбор).

Например, в статье исследователи взяли 20 случайно инициализированных MLP и с помощью M2N2 дотренили их до уровня CMA-ES на MNIST. При этом получилось, что обучается M2N2 даже быстрее и дешевле.

И не с нуля тоже масштабируется. Основной пример: Sakana таким образом объединили WizardMath-7B и AgentEvol-7B и получили агента, который одновременно хорош и в математике, и во всяком агентском. С диффузионками и мультимодальными моделями тоже работает. Причем по сравнению с ванильным файн-тюном здесь не наблюдается никакого эффекта забывания.

Статья полностью тут, код – вот здесь

К слову, работа выиграла награду best paper на GECCO’25