Ученые из Google и Кэмбриджа предложили вид модели, которая мыслит образами, а не текстом

Человек часто мыслит образами / картинками / схемами. Особенно, когда речь идет о каких-нибудь математических задачах или алгоритмах. Модельки пока так не умеют, у них весь ризонинг в тексте.

Но попытки научить LM чему-то похожему есть: вот сегодня как раз вышла статья под названием "Visual Planning: Let’s Think Only with Images". В ней исследователи научили модель проходить лабиринты, рассуждая при этом только картинками. Вот как это было:

1. Сначала модели показывали много-много картинок лабиринтов и учили ее предсказывать какой-нибудь любой возможный следующий шаг. Ну, например, подаем картинку агента, который стоит в клетке B. По этой картинке модель должна сгенерировать следующую, где агент стоит на любой из доступных соседних клеток.

2. Затем учили предсказывать уже не рандомный, а правильный следующий шаг. Здесь у нас уже RL (на предыдущем шаге был обычный файнтюнинг). За правильное действие выдаем награду +1, за неправильное 0, за недопустимое -5.

Модель проходит по нескольку картинок за эпизод, собирает награды и многократко обновляет свою политику. В итоге получаем ризонер, который умеет проходить лабиринты, рассуждая без текста.

Самое интересное: на всех тестах VP обходит даже продвинутый Gemini 2.5 Pro think, и не на пару процентов, а в полтора-два раза.

Вот бы с какой-нибудь сложной геометрией такое потестили

huggingface.co/papers/2505.11409

Еще один очень занятный релиз от Google – диффузионная языковая модель Gemini Diffusion

Кратко, в чем суть: вместо генерации токенов один за одним здесь они генерируются в произвольном порядке. То есть берется исходная последовательность текста, затем токены в ней маскируются с определенной веростностью, а модель пытается их угадать (расшумляет, как в диффузии).

Это, во-первых, помогает существенно ускорять процесс. Такая Gemini может генерировать до 2000 токенов в секунду. Это раз в 10-15 быстрее, чем в среднем генерируют хорошо оптимизированные модели.

Во-вторых, в задачах типа математики такой подход к генерации может помочь модели быстро перебирать несколько вариантов решений и двигаться не обязательно последовательно, а в «удобном» порядке. Так что метрики сравнимы с предыдущим поколением моделей Google.

Попробовать пока можно только по запросу, но сам факт таких релизов от Google впечатляет