Ученые из Google и Кэмбриджа предложили вид модели, которая мыслит образами, а не текстом

Человек часто мыслит образами / картинками / схемами. Особенно, когда речь идет о каких-нибудь математических задачах или алгоритмах. Модельки пока так не умеют, у них весь ризонинг в тексте.

Но попытки научить LM чему-то похожему есть: вот сегодня как раз вышла статья под названием "Visual Planning: Let’s Think Only with Images". В ней исследователи научили модель проходить лабиринты, рассуждая при этом только картинками. Вот как это было:

1. Сначала модели показывали много-много картинок лабиринтов и учили ее предсказывать какой-нибудь любой возможный следующий шаг. Ну, например, подаем картинку агента, который стоит в клетке B. По этой картинке модель должна сгенерировать следующую, где агент стоит на любой из доступных соседних клеток.

2. Затем учили предсказывать уже не рандомный, а правильный следующий шаг. Здесь у нас уже RL (на предыдущем шаге был обычный файнтюнинг). За правильное действие выдаем награду +1, за неправильное 0, за недопустимое -5.

Модель проходит по нескольку картинок за эпизод, собирает награды и многократко обновляет свою политику. В итоге получаем ризонер, который умеет проходить лабиринты, рассуждая без текста.

Самое интересное: на всех тестах VP обходит даже продвинутый Gemini 2.5 Pro think, и не на пару процентов, а в полтора-два раза.

Вот бы с какой-нибудь сложной геометрией такое потестили

huggingface.co/papers/2505.11409

Еще один очень занятный релиз от Google – диффузионная языковая модель Gemini Diffusion

Кратко, в чем суть: вместо генерации токенов один за одним здесь они генерируются в произвольном порядке. То есть берется исходная последовательность текста, затем токены в ней маскируются с определенной веростностью, а модель пытается их угадать (расшумляет, как в диффузии).

Это, во-первых, помогает существенно ускорять процесс. Такая Gemini может генерировать до 2000 токенов в секунду. Это раз в 10-15 быстрее, чем в среднем генерируют хорошо оптимизированные модели.

Во-вторых, в задачах типа математики такой подход к генерации может помочь модели быстро перебирать несколько вариантов решений и двигаться не обязательно последовательно, а в «удобном» порядке. Так что метрики сравнимы с предыдущим поколением моделей Google.

Попробовать пока можно только по запросу, но сам факт таких релизов от Google впечатляет

Anthropic выпустили новые Sonnet 4 и Opus 4

Это новая абсолютная SOTA для программирования и, главное, агентного программирования. Opus может непрерывно работать над задачей часами (!), это впечатляет. Codex от OpenAI остался позади.

Тех.карту можно почитать тут, попробовать можно уже сегодня через чат или в VSCode (туда добавили прямую интеграцию)