Как трушные мультимодальные модели генерируют картинки?

Вчера Meta* выпустили новую мультимодальную модель Chameleon. Эта модель способна понимать и генерировать изображения и текст в любой последовательности. Но что это на самом деле означает?

Если ИИ-бот умеет генерировать и понимать и текст, и картинки, это еще не значит, что внутри него мультимодальная модель. До GPT-4o и Chameleon это работало просто как ансамбль нескольких, выполняющих разные задачи, сетей.

Мультимодальность – это когда модель умеет внутри себя одной как бы единообразно обрабатывать, понимать и генерировать и текст, и изображения. Получается, мы должны работать с текстом и картинками "одинаково". Но... как?

Подготовили краткое объяснение 👆

Там заехал новый тех.отчет от Google по Gemini 1.5 Pro на 153 страницы 🫠

Это та самая модель с презентации с контекстом в 1млн токенов. Первая картинка – прирост в метриках относительно февральской версии на основных бенчмарках. Теперь модель даже обогнала Gemini 1.0 Ultra.

Примерно треть отчета почему-то посвящена переводу. Хвастаются, что Gemini даже лучше, чем GPT4 Turbo с ростом примеров в трейне учится переводить на непопулярные языки (картинка 3).