Как думаете, генерация?

Нет. Просто в моём родном Ульяновске, на улице Минаева, сегодня проходит сельскохозяйственная ярмарка.

#КриповаяСуббота@sergiobulaev

Сергей Булаев AI 🤖 - об AI и не только

Как работает мультимодальный RAG?

Мультимодальный RAG - это система, которая умеет работать с реальными документами - теми, где текст перемешан с картинками, таблицами и графиками.

В центре него - мультимодальная языковая модель, способная одновременно понимать текст и изображения. Она работает в связке с двумя типами эмбеддинг-моделей: одна превращает текст в вектора, вторая (обычно CLIP от OpenAI) работает с картинками. Получается что-то вроде двух параллельных потоков обработки данных.

Все эти вектора попадают в специальную базу данных - обычно используют что то вроде Qdrant. Эта база умеет хранить и искать похожие элементы обоих типов, что критически важно для работы всей системы.

При получении вопроса система ищет релевантную информацию сразу во всех форматах. Например, если спросить про график продаж, она найдет и текстовое описание, и сам график, и может даже таблицу с конкретными цифрами. Всё это собирается в единый контекст и передаётся в LLM через специально составленный промпт.

На этапе генерации ответа модель не только цитирует найденный текст - она анализирует графики, старается понимать схемы, сравнивает данные из таблиц. Она может увидеть тренд на графике и связать его с текстовым описанием, заметить важную деталь на технической схеме или сопоставить числа из разных источников.

Такой подход особенно эффективен при работе с технической документацией, где важная информация часто разбросана между текстом и иллюстрациями, или с презентациями, где без понимания графиков теряется половина смысла. По сути, мы получаем систему, которая воспринимает информацию примерно как человек - целостно, связывая визуальные и текстовые данные в единое целое.

Написано на основе поста, который мне прислал Макс, вместе с которым мы много исследуем различные RAG системы.

Сергей Булаев AI 🤖 - об AI и не только

DeepMind выкатили интереснейший пейпер про то, как ИИ может учиться самостоятельно, без постоянного участия человека. Называют это "Сократическим обучением" - в честь древнегреческого философа, который учил через диалоги и дискуссии.

Команда во главе с Томом Шаулем описала три ключевых условия для успешного самообучения ИИ:
- Качественная обратная связь, соответствующая целям обучения
- Широкий охват данных в рамках закрытой среды
- Достаточные вычислительные ресурсы

Главная идея в том, что ИИ может становиться умнее даже в закрытой среде, без притока новых данных извне. Это как если бы вы заперли философа в библиотеке - он продолжит развиваться, перечитывая и переосмысливая уже известные книги.

Исследователи предлагают использовать "языковые игры" - специальные форматы взаимодействия, где ИИ-системы могут спорить, обсуждать и учиться друг у друга. Самое интересное - системы смогут не только играть в существующие игры, но и придумывать новые, постоянно расширяя свои возможности.

В работе особое внимание уделяется самомодификации - способности ИИ перестраивать свою внутреннюю архитектуру. Это может помочь преодолеть ограничения, заложенные при начальном обучении. Уже сейчас современные языковые модели вроде GPT-4 показывают зачатки такого поведения через самопроверку и метапромптинг.

Яркий пример - недавнее достижение DeepMind в решении задач Математической Олимпиады на уровне серебряной медали. Модель не просто решала задачи - она демонстрировала способность к сложным рассуждениям, которые улучшались со временем.

Если всё получится, мы можем увидеть системы ИИ, которые учатся как научные сообщества - через постоянные дискуссии и обмен идеями. Только в тысячи раз быстрее человека. Звучит немного пугающе, но и очень захватывающе одновременно.

Сергей Булаев AI 🤖 - об AI и не только