⚡️ Magma-8B – это экспериментальная модель от Microsoft, которая объединяет обработку текста и изображений в одном решении для ИИ-агентов.

Чем полезен инструмент:

- Мультимодальность: Возможность работать с изображениями, видео и текстом позволяет строить комплексные системы – от навигации по пользовательским интерфейсам до управления робототехникой.
Агентские возможности: Модель не просто описывает содержимое картинки, а умеет генерировать план действий, что особенно ценно для интерактивных приложений.
- ИспользованиеSet-of-Mark и Trace-of-Mark, помогает связать визуальные элементы с текстовыми командами, обеспечивая более точное понимание и планирование.

Magma-8B специально разработан для сценариев работы с агентами – акцент не только на генерации текста, но и на взаимодействии с реальными объектами (например, интерфейсами).

Модель обучалась на разнообразных источниках, включая неразмеченные видео, в результате этого удалось добиться понимания динамики и пространственных отношений в видео.


Современные технические решения и масштабируемость, что позволяет адаптировать модель под разные задачи.

Минусы:

- На данном этапе модель ориентирована на исследовательские проекты, поэтому может требовать доработки перед использованием в боевых условиях.
- Ограничения по языкам: основной фокус сделан на английском, что может усложнить работу с другими языками.

Возможны нестабильные результаты - в некоторых сценариях, особенно если задача выходит за рамки обучающих данных, что требует осторожности при внедрении в реальные приложения.

В целом, Magma-8B – это интересный экспериментальный инструмент, который может стать отправной точкой для создания новых, более «умных» агентных систем, объединяющих восприятие и действие в одном флаконе.

pip install torchvision Pillow open_clip_torch

https://huggingface.co/microsoft/Magma-8B

#microsoft #magma #multimodal

🖼️ GPT-Image-Edit-1.5M — крупнейший и полностью открытый датасет для редактирования изображений по тексту!

🚀 1.5 миллиона триплетов:
инструкция + оригинальное изображение + отредактированное по запросу

Как мы это сделали?
Мы переосмыслили и усилили три известных датасета (OmniEdit, HQ-Edit, UltraEdit) с помощью новой GPT-Image API.

📊 Результаты впечатляют:
Модель FluxKontext, дообученная на этом наборе, показывает:
▫️ 7.24 на GEdit-EN
▫️ 3.80 на ImgEdit-Full
▫️ 8.78 на Complex-Edit
— на уровне с топовыми проприетарными решениями!

🎯 Инструкции выполняются точно, а изображения выглядят реалистично.
Цель — сократить разрыв между open-source и закрытыми системами редактирования.

🔗 Подробнее:
🌐 Проект: https://ucsc-vlaa.github.io/GPT-Image-Edit/
💻 Код: https://github.com/wyhlovecpp/GPT-Image-Edit
📦 Датасет: https://huggingface.co/datasets/UCSC-VLAA/GPT-Image-Edit-1.5M
🤖 Модель: https://huggingface.co/UCSC-VLAA/gpt-image-edit-training
📄 Статья: https://arxiv.org/abs/2507.21033

@ai_machinelearning_big_data


#AI #ImageEditing #OpenSource #GPT4V #Multimodal

🔍 Qwen3-VL-2B-Thinking — новая маленькая мультимодальная модель, заточенная под рассуждения

Компактная версия семейства Qwen3-VL, ориентированная на глубокое мышление, аналитику и агентные применения.

В линейке Qwen-VL предусмотрены два ключевых режима:
- *Instruct* — для диалогов и инструкций,
- *Thinking* — для логических рассуждений, кода и комплексных задач.

💡 Особенности
- Архитектура поддерживает мультимодальность: модель понимает текст и изображения, способна анализировать контент и выстраивать причинно-следственные связи.
- Оптимизирована для reasoning-задач, где важна не генерация текста, а последовательное мышление и вывод.
- Благодаря размеру в 2B параметров, модель легко разворачивается на локальных GPU и в облачных окружениях.
- Поддерживает tool calling и интеграцию в агентные фреймворки.

Qwen3-VL-2B-Thinking - отличная модель при минимальных ресурсах.

👉 https://huggingface.co/Qwen/Qwen3-VL-2B-Thinking

@ai_machinelearning_big_data


#Qwen3VL #Qwen #Reasoning #AI #Multimodal #OpenSource

⚡️ Glyph: масштабирование контекста через визуально-текстовую компрессию

В основе модели лежит простая идея : вместо того чтобы кормить модели километровый текст, Glyph превращает его в изображение и обрабатывает через vision-language модель.

Используется LLM-управляемый генетический алгоритм, чтобы подобрать наилучшие параметры визуального отображения текста (шрифт, плотность, макет), балансируя между сжатием и точностью.

Это радикально снижает вычислительные затраты, сохраняя при этом смысловую структуру текста.

При этом точность почти не падает: на задачах с длинным контекстом Glyph работает на уровне современных моделей вроде Qwen3-8B.

При экстремальном сжатии VLM с контекстом 128K может эффективно обрабатывать задачи, эквивалентные 1M+ токенов в традиционных LLM.

Фактически, длинный контекст становится мультимодальной задачей, а не чисто текстовой.

📄 Подробности: arxiv.org/abs/2510.17800

🧩 Веса: huggingface.co/zai-org/Glyph

👉 Репозиторий: github.com/thu-coai/Glyph

@ai_machinelearning_big_data


#AI #LLM #Multimodal #Research #DeepLearning

⚡️ LongCat-Flash-Omni - открытая 560B MoE-модель (27B активных параметров), которая умеет вести живой диалог в реальном времени, слышать, видеть и отвечать голосом.

Ключевые фишки:
-модель разговаривает и видит собеседника, реагирует на беседу в реальном времени
- 128K контекст
- продвинутая MoE-архитектура: высокое качество при меньших затратах (27B активных параметров из 560B)
- Полгный open-source

По тестам:
- лидер на OmniBench, DailyOmni
- хорошие показатели на ASR (распознавании речи), DocVQA, RefCOCO
- обходит лучше Qwen3-Omni Instruct
- и очень близка к Gemini-2.5-Flash, но это все таки*открытая* модель

Открытая мультимодальная модель, которую можно запускать локально, хороший вариант для голосовых ассистентов.

🤖 Model: https://modelscope.cn/models/meituan-longcat/LongCat-Flash-Omni
🌐 Demo: https://longcat.ai
📄 Full technical report & code:
https://github.com/meituan-longcat/LongCat-Flash-Omni

@ai_machinelearning_big_data


#AI #OpenSourceAI #Multimodal #MoE #LLM #GenAI