Свежая статья от Sakana AI: как идеи эволюции можно применять для ИИ

У Sakana уже который раз выходят интересные статьи, в которых они предлагают разнообразные виды ансамблей. Идеология у них вполне конкретная: они настаивают, что будущее не за одной гигантской монолитной моделью, а за экосистемами агентов, которые могут взаимодействовать. И вот с типами этого взаимодействия они как раз и экспериментируют в своих работах.

В этот раз на повестке оказались эволюционные процессы. Предлагается метод M2N2 (Model Merging of Natural Niches), построенный на трех принципах, которые Sakana подглядели у биологов:

1. Аналог обмена кусочками ДНК. Модели хранятся как массив параметров, и каждый раз алгоритм случайным образом выбирает split-point – индекс в массиве параметров, где произойдёт разрез. До этой точки итоговые веса берутся как смесь от модели A, после – от модели B. Если полученный ребенок показывает хорошую метрику (фитнес) – оставляем его в массиве. Иначе отсеиваем.

2. Конкуренция за ресурсы. Модели соревнуются за главное сокровище: данные. Каждый датапойнт в тренировке – это ресурс с ограниченной емкостью. Если у одной модели на каком-то примере уже есть высокий скор, то считается, что она заняла большую часть ресурса, и другие модели не могут получить с него полноценный фитнес, даже если тоже освоили пример. Это вынуждает агентов искать другие примеры, где они смогут быть уникально полезны, и именно так возникает специализация.

3. Кроссовер особей. Обычно в эволюционных процессах считается, что чем лучше твои характеристики (фитнес в данном случае), тем выше вероятность, что тебя кто-то выберет в качестве партнера и родителя своих детей. Но тут сделали немного иначе: первого родителя выбирают действительно по фитнесу, а второго берут таким, чтобы он был силен там, где слаб первый. В данном случае лучше всего работает именно такой селекшен.

В итоге получается генетический алгоритм на максималках. Так даже можно обучать модели с нуля без использования градиентов и backprop. Всё обучение — это поиск в пространстве параметров за счёт описанных эволюционных операторов (слияние, мутация, отбор).

Например, в статье исследователи взяли 20 случайно инициализированных MLP и с помощью M2N2 дотренили их до уровня CMA-ES на MNIST. При этом получилось, что обучается M2N2 даже быстрее и дешевле.

И не с нуля тоже масштабируется. Основной пример: Sakana таким образом объединили WizardMath-7B и AgentEvol-7B и получили агента, который одновременно хорош и в математике, и во всяком агентском. С диффузионками и мультимодальными моделями тоже работает. Причем по сравнению с ванильным файн-тюном здесь не наблюдается никакого эффекта забывания.

Статья полностью тут, код – вот здесь

К слову, работа выиграла награду best paper на GECCO’25

Вышла Gemini 2.5 Flash Image

Причем, уверены, многим из вас модель уже знакома под другим именем: nano-banana. Она всю неделю хайповала в X. В целом, не было секретом, что это моделька от Google (их топы прямо скажем недвусмысленно намекали). Сегодня наконец-то мы дождались официального релиза.

Итак, это модель для генерации и редактирования изображений. И если генерацией уже никого не удивить, то способности Gemini к эдиту действительно заслуживают внимания.

Отлично держит айдентику персонажа и консистентность картинки в целом. На вход можно давать и текст, и картинки: перенос стиля работает, судя по примерам, очень прилично.

Еще из интересного: пишут, что модель может рассуждать. То есть не просто генерирует в тупую, а руководствуется общей логикой мира, которую черпает из знаний Gemini 2.5 Flash. Например, может самостоятельно понять, что должно происходить на следующем кадре сценария (см пример 3).

Ну короче, новый SOTA ИИ-фотошоп, расходимся

Блогпост
– Попробовать можно в AI Studio (стоит 39$ за тысячу изображений, в целом человечно)