⚡️ Microsoft выпустили новое поколение семейства Phi

Phi-4-Multimodal и Phi-4-Mini уже лежат в опенсорсе под лицензией MIT и интегрированы в Transformers.

Мультимодальность включает текст, аудио и видео. Ну куче мультимодальных бенчмарков модель превосходит GPT-4o, Gemini-2.0 Flash и 1.5 Pro. Это первая открытая модель такого уровня поднимания речи и OCR.

В привычных математических и кодинговых задачах тоже неплохо: mini с ризонингом соответствует o1-mini и дистилляциям R1.

Внутри 2 адаптера для видео и аудио + лоры для модальностей в основной модели, чтобы не менять ее собственные веса. Обучали в три внушительных этапа:

1. претрейн на тексте + файнтюн на тексте
2. мультимодальный трейн на vision, audio и vision-speech
3. ризонинг трейн на CoT + обучение с подкреплением с DPO

Веса, веса mini

Ух ты: сегодня на первом месте в топе paper of the day на Hugging Face статья от Sber AI и AIRI

Она посвящена новой и первой опенсорсной (!) модели переноса головы с картинки на картинку GHOST 2.0.

Задача похожа на face swap, но немного сложнее: тут нужно адаптировать голову под всю сцену, следить за цветом кожи, контрастом и другими характеристиками. В то же время, решения получаются практичнее. Например, в отличие от face swap, ничего не ломается, если форма лиц source (откуда переносим) и target (куда переносим) разная.

Архитектура GHOST 2.0 похожа на единственное существовавшее до этого момента решение – модель HeSer (Head Swapper), из которой позаимствовали идею двух основных модулей.

1. Aligner – модуль, реконструирующий голову для вставки в таргет. В основе подобие StyleGAN, входной эмбеддинг для которого генерируют три энкодера. Первые два считывают лицо, прическу и другие детали с source изображения. Последний – позу и выражение лица с target изображения, и меняли относительно HeSer именно его.

В старом решении один из энкондеров был избыточен, обучался с ликами и сильно все портил. Пришлось корректировать и архитектуру, и лосс, и датасет, и процесс трейна. На этом этапе уже виден огромный прогресс по сравнению с HeSer (см. картинку 1).

2. Blender – вставка головы в target фон. В оригинале здесь работала связка извлечения цветного референса для раскраски + сама зашивающая в таргет все маски и изображения модель UNet. Однако оказалось, что генератор цвета провоцирует появления серых областей, а из-за UNet вокруг головы образуется белое пространство.

Поэтому в архитектуре заменили принцип работы и того, и другого. Color Creator теперь сам заполняет все серые области на основе общих оттенков изображения, а в UNet добавили механизм экстраполяции маски, который как бы накладывает фон еще раз поверх вставки головы. При этом, чтобы вырезанных областей от маски не оставалось, картинки еще и постобрабатывали с помощью Kandinsky 2.2. Он с помощью простого запроса качественно закрашивал серость без необходимости файнтюнинга.

Результат – на лицо голову. Метрики подросли, да и на глаз качество результатов сильно приятнее предыдущих алгоритмов.

🔥 Страница проекта | Хабр | Статья | Демо