🌟 X-Omni от Tencent: авторегрессионная text-to-image модель с RL.

X-Omni - методика обучения T2I моделей, которая наглядно доказывает, что RL может вдохнуть новую жизнь в авторегрессионный подход и вывести такие модели на SOTA-уровень.

X-Omni построена на гибридной, но при этом унифицированной архитектуре. Схематично она выглядит так:

Семантический токенизатор изображений SigLIP-VQ с фиксированным словарем на 16 384 токена кодирует картинку в дискретные токены. Эти визуальные токены вместе с текстовыми подаются в единую авторегрессионную модель на базе Qwen2.5-7B. Наконец, в финальном рендеринге используется диффузионный декодер на основе FLUX.1-dev.

🟡Уникальность метода - в смеси RL по GRPO и комплексной reward-системе.

Вместо одного критерия, модель оценивается сразу по нескольким направлениям. За эстетику и соответствие предпочтениям человека отвечает HPSv2 и модель Unified Reward. За семантическую связь между промптом и изображением — VLM-модель Qwen2.5-VL-32B. А за самое сложное, отрисовку текста внутри картинки, отвечает отдельная награда на основе OCR-систем GOT-OCR2.0 и PaddleOCR.

Тестовую модель X-Omni обучали на смеси из 200 млн. изображений, которые после токенизации превратились в 600 млрд мультимодальных токенов, а на этапе SFT использовал ещё 1.5 млрд. токенов.

Для RL-фазы был отобран микс из 180 тыс. промптов, состоящий как из творческие запросы, так и задач на рендеринг текста.

🟡И это дало свои плоды, особенно в отрисовке текста, где авторегрессионные модели исторически пасовали.

На бенче OneIG-Bench X-Omni показала результат 0.901 для английского языка, обойдя GPT-4o (0.857). А на собственном LongText-Bench, специально созданном для оценки рендеринга длинных надписей, модель буквально разгромила всех в китайском языке, набрав 0.814 балла против 0.619 у GPT-4o.

В задачах общей генерации по тексту X-Omni также на высоте. На DPG-Bench модель достигла SOTA-результата 87.65, опередив GPT-4o (86.23) и Show-o2 (86.14). На GenEval результат составил 0.83, чуть-чуть не дотянув до модели Mogao (0.89).

Даже в задачах на понимание изображений X-Omni показывает себя достойно: на OCRBench ее результат (704) превосходит другие унифицированные модели, например Emu3 (687).

🟡Интересные подробности.

Во-первых, X-Omni не нуждается в CFG. В отличие от Emu3 или Janus-Pro, качество которых резко падает при отключении CFG, X-Omni работает стабильно.

Во-вторых, что, пожалуй, самое важное, RL превосходит даже SFT с последующим сэмплингом best-of-N.

Этот вывод идет вразрез с устоявшимся мнением в области языкового моделирования и доказывает, что для изображений холистическая оптимизация через RL дает существенный прирост качества.


📌Лицензирование: Apache 2.0 License.


🟡Страница проекта
🟡Набор моделей
🟡Arxiv
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #T2I #RL #XOmni #Tencent

🚀 Hunyuan-Large-Vision: новая мощная мультимодальная модель от Tencent

🔹 MoE-архитектура — 389B параметров (52B активных) для оптимального баланса мощности и эффективности.
🔹 Лидер в рейтингах — 1256 баллов в LMArena Vision, #1 в Китае, на уровне GPT-4.5 и Claude-4-Sonnet.
🔹 Глубокое понимание — визуальное рассуждение, анализ видео и 3D-пространства, 79,5 баллов в среднем по бенчмарку OpenCompass.

📌 Модель дополняет линейку Hunyuan-TurboS-Vision и Hunyuan-T1-Vision, доступных через Tencent Cloud для задач в самых разных отраслях.

🟢Попробовать: https://hunyuan.tencent.com/modelSquare/home/list?modelKey=VisionUnderstand
🟢 Блог: https://vision.hunyuan.tencent.com
🟢API: https://cloud.tencent.com/document/product/1729/104753

@ai_machinelearning_big_data


#AI #Multimodal #MachineLearning #MoE #VisionAI #Tencent #Hunyuan #LLM #ComputerVision #3DVision

🌟 POINTS-Reader: компактная VLM для OCR без дистилляции и сложной обвязки.

Tencent опубликовали довольно интересный проект - POINTS-Reader. Это VLM для OCR английского и китайского языков на 4 млрд. параметров на базе Qwen2.5-3B-Instruct, которая обошла GPT-4o и Gemini на бенче OmniDocBench.

POINTS-Reader - это философия предельной простоты c прямолинейным конвейером: на вход подается изображение документа и фиксированный промпт, а на выходе получается извлеченный текст.

Никаких этапов постобработки, скриптов для очистки или дополнительных моделей — результат сразу готов к использованию.

Помимо скромной базовой Qwen2.5, в POINTS-Reader использовали умеренный по нынешним меркам Vision Transformer - NaViT на 600 млн. параметров. И это осознанный инженерный шаг в угоду простоте и производительности.

Современные фреймворки для инференса, будь то SGLang или vLLM, в первую очередь оптимизированы под LLM-часть, из-за чего громоздкий ViT становится узким местом и серьезно замедляет всю систему.

Такая компактная архитектура превосходно показала себя на тестах. На комплексном OmniDocBench модель набрала 0.133 для английских документов и 0.212 для китайских. Эти цифры ставят POINTS-Reader в один ряд с гораздо более тяжелыми и сложными системами.

Секрет проекта кроется в двухэтапной стратегии подготовки данных, которая полностью отказывается от дистилляции знаний у моделей-учителей.

На первом этапе модель получает базовые навыки OCR, обучаясь на синтетике. Дальше начинается самый интересный этап — непрерывная самоэволюция. Модель используется для генерации аннотаций на реальных документах, после чего лучшие из полученных образцов используются для ее дообучения. Этот итеративный процесс позволяет постоянно повышать качество как самой модели, так и генерируемых ею данных.

Этот метод к самосовершенствованию описан в техотчете как очень гибкий и применимый, по словам Tencent, практически к любой другой архитектуре.

🟡Как в любом проекте - есть нюансы.

Модель пока не очень уверенно справляется со сложными макетами, вроде газетной верстки, что может приводить к повторению или пропуску контента. Аналогичные трудности возникают и при обработке рукописного текста, например, в чеках или заметках. Кроме того, на данный момент POINTS-Reader поддерживает только английский и китайский языки.

▶️ Запустить эту прелесть модель можно на Transformers или в SGLang. Поддержку vLLM обещают добавить.


🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #VLM #POINTSReader #Tencent

✔️ Tencent представила HunyuanVision - новую мультимодальную модель, объединяющую зрение и язык в одном фреймворке.

Модель умеет рассуждать на основе изображений, понимать сложные визуально-текстовые задачи и поддерживает мультиязычные кейсы.

Ключевые особенности:
- Visual Reasoning - глубокое понимание изображений и сцен
- Multilingual Support - работа с несколькими языками
- Visual Dialogue - позволяет весть диалог на основе изображения и текста
- Thinking-on-Image - рассуждение на уровне визуальных деталей

HunyuanVision-1.5 демонстрирует продвинутые способности в задачах анализа, генерации и рассуждения. Работает шустро, русский понимает, но не без косяков.

Модель доступна для использования через Tencent Cloud API и LMArena (Direct Chat).

Полный технический отчёт и веса обещают к релизу позже в октябре. Ждемс.

🟠Попробовать: http://cloud.tencent.com/document/product/1729/104753
🟠 Репозиторий: github.com/Tencent-Hunyuan/HunyuanVision
🟠Api: https://cloud.tencent.com/document/product/1729/104753

@ai_machinelearning_big_data

#Tencent #llm #ml #Hunyuan #vlm

🌟 GeoVista: модель для визуальной геолокации.

Tencent в коллаборации с ведущими китайскими университетами выложила в открытый доступ модель GeoVista, которая предлагает интересный подход к решению проблемы "где сделано это фото" - она делает ставку на активный майнинг данных из внешних источников.

Система на архитектуре Qwen2.5-VL-7B-Instruct использует 2 инструмента: функцию зума и поисковый движок, подтягивающий до 10 релевантных ссылок с платформ Tripadvisor, Pinterest и Wikipedia и социальных сетей.

Модель самостоятельно решает, в какой момент задействовать тот или иной инструмент, что, по сути, имитирует ход мыслей человека-расследователя.

GeoVista обучалась сначала (SFT) на 2 тыс. примерах, а потом (RL) уже на 12 тыс. примерах. Для балансировки RL собрали кастомную систему вознаграждений, привязанную к географической точности: правильный ответ на уровне города ценится выше, чем попадание в провинцию или страну.

Готовую модель прогнали на собственном бенчмарке GeoBench. На нем GeoVista показала 92,6% точности при определении страны, 79,6% региона и 72,7% - конкретного города.

Легче всего модели даются панорамы (79,5% точности на уровне города) и стандартные фото (72,2%), а вот спутниковые снимки остаются ахиллесовой пятой, здесь показатель падает до 44,9%.

Если сравнивать с закрытыми моделями, то GeoVista дышит в спину Gemini 2.5 Flash (73,3% на уровне города) и заметно обходит GPT-5, который показал лишь 67,1%. Лидером пока остается Gemini 2.5 Pro с результатом 78,98%, а вот другие открытые модели (Mini-o3-7B), безнадежно отстают с показателем 11,3%.

В метриках физического расстояния разрыв с топами ощутим сильнее. 52,8% предсказаний GeoVista попали в радиус 3 километров от реальной точки, при этом медианное отклонение составило 2,35 километра.

Для сравнения, Gemini 2.5 Pro укладывается в 3-километровую зону в 64,45% случаев с медианным отклонением всего в 800 метров. Даже GPT-5, проигравший в общей точности, показал медиану в 1,86 км.

Помимо модели, команда опубликовала и сам датасет GeoBench: 1142 изображения из 66 стран и 108 городов. В выборку вошли 512 обычных фотографий, 512 панорам и 108 спутниковых снимков.

Главное отличие этого набора от аналогов вроде OpenStreetView-5M - жесткая фильтрация. Разработчики намеренно удалили "нелокализуемые" изображения: крупные планы еды или типичные пейзажи без примет и слишком очевидные достопримечательности, чтобы исключить легкие победы для алгоритмов.


📌Лицензирование: Apache 2.0 License.


🟡Страница проекта
🟡Набор моделей
🟡Arxiv
🟡Датасет
🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #GeoVista #Tencent

🌟 HY3D-Bench: 22 терабайта отборной 3D-геометрии.

Tencent Hunyuan вывалили в опенсорс монструозный пак HY3D-Bench на 22.5 ТБ и это подарок для всех, кто занимается 3D Gen и робототехникой.

Датасет разбит на 3 логических куска, каждый под свои задачи:

🟡Full-level Dataset (252K+ мешей, ~11 ТБ)
База с полностью замкнутой геометрией, без дырок и non-manifold артефактов, которыми обычно кишат сканы. Все нормализовано и готово к скармливанию в DiT или GAN. В комплекте идут сэмплы точек и мульти-вью рендеры.

🟡Part-level Dataset (240K+ объектов, ~5 ТБ)
Мёд для робототехников и тех, кто занимается geometric perception. Тут объекты с семантической сегментацией на части. Если учите сервоприводного друга манипуляциям или хотите генерить объекты кусками - вам сюда.

🟡Synthetic Dataset (125K+ объектов, ~6.5 ТБ)
Очевидная синтетика, чтобы закрыть редкие категории, которых нет в обычных датасетах. Охват - 1252 категории.

Ждем волну SOAT-level 3D-генераторов, дотюненных на этом наборе.


🟡Arxiv
🟡Датасет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Dataset #HY3DBench #Tencent

🌟 Tencent сжали 1.8B модель в 2 бита: 600 МБ веса и Dual-CoT на борту.

Tencent Hunyuan выкатили open-source решение для тех, кто хочет запускать LLM локально на кофеварке.

HY-1.8B-2Bit - модель, которую утрамбовали так плотно, что она занимает меньше места, чем многие современные мобильные приложения.

Модель пилили методом Quantization-Aware Training, который в отличие от PTQ, позволяет адаптироваться к низкой разрядности весов еще на этапе тренировки.

За основу взяли backbone Hunyuan-1.8B-Instruct и жестко сжали веса до 2 бит. При этом эффективный размер в памяти получился эквивалентен модели на 300М параметров, а физический вес получился всего 600 МБ.

Что самое ценное - сохранили фичу Dual-CoT: модель умеет переключаться между быстрым мышлением для простых тасков и глубоким long-CoT для сложных.

🟡Бенчмарки

🟢По сравнению с fp16-учителем (1.8B), деградация метрик всего ~4%. Это очень мало для 2-битного квантования.

🟢Разница в точности на сравнении с INT4 ничтожна - 0.13%, хотя весит модель в 2 раза меньше.

🟢Если взять плотную модель на 0.5B параметров, то HY-1.8B-2Bit обходит ее в среднем на 16-17%. На GSM8K разрыв вообще дикий: +22.29%.

🟢Prefill ускорился в 3-8 раз, генерация токенов - в 2-3 раза на поддерживаемом железе.

🟡Жирный нюанс

Текущая реализация требует поддержки инструкций Arm SME2. Это значит, что вся эта красота заведется только на Apple M4 и MediaTek Dimensity 9500.

Если у вас M1/M2 или Snapdragon прошлых поколений - пока мимо. Разработчики обещают подвезти Neon kernel позже.

Кстати, GGUF тоже есть, так что если под рукой есть M4 - можно тестить. Остальным остается ждать оптимизации под старые инструкции.


🟡Модель
🟡GGUF
🟡Техотчет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #SLM #2bitQ #Tencent

🌟 Tencent HY-WU: динамические LoRA для редактирования изображений.

Tencent HY опубликовала первую часть серии работ под названием HY-WU (Weight Unleashing). Суть метода в отказе от стандартной парадигмы адаптации, при которой модель получает один фиксированный набор весов для всех задач.

Специальная модель-генератор синтезирует LoRA отдельно под каждый входной пример прямо во время инференса, без дополнительной оптимизации на тест-тайме.

Проблема, которую решает HY-WU, хорошо знакома всем, кто работал с дообучением: когда задачи противоречат друг другу (например, "размыть" против "убрать размытие" или "состарить лицо" против "восстановить"), общий адаптер вынужден идти на компромисс.

Градиенты конфликтуют, и результат оказывается хуже, чем если бы задачи обучались раздельно.

Чтобы не быть голословными, авторы измерили это напрямую: косинусное сходство градиентов между разнородными задачами устойчиво отрицательно, среднее около −0.30, то есть задачи буквально тянут веса в противоположные стороны.

HY-WU предлагает условную генерацию параметров. Модель-генератор (8B параметров) принимает на вход совместное представление изображения и текстового запроса через энкодер SigLIP2, после чего генерирует LoRA-матрицы (~0.72B) и инжектирует их в базовую модель.

Обучение сквозное, только через downstream-loss, без предварительно собранных чекпойнтов адаптеров.

🟡Тесты и результаты

Для тестов выбрали задачу редактирования изображения текстовым запросом - в нем конфликты неизбежны и визуально очевидны.

🟢В попарном human evaluation (GSB) HY-WU выигрывает у всех топовых open-source редакторов с большим отрывом: 67–78% против Step1X, Qwen, LongCat и FLUX;

🟢Среди закрытых систем модель обошла Seedream 4.5 (55.6%) и GPT Image 1.5 (55.5%).

🟠Единственные, кто пока впереди - Nano Banana 2 и Nano Banana Pro.

Tencent проверили: прирост качества дается именно условной маршрутизацией, а не просто увеличением числа параметров. Когда генератор использовали с перемешанными или усредненными условиями, результат проваливался до уровня базовой модели.

Полный SFT с намного большим числом обучаемых параметров давал сопоставимый результат с обычным Shared LoRA, так как в обоих случаях в инференсе применяется одна фиксированная точка в пространстве весов.

Выпущенная работа - первая часть серии исследований по функциональной памяти для генеративных моделей. В планах:

🟢сравнить функциональную память с retrieval-подходами и понять, когда каждый из них уместен;

🟢разработать протоколы онлайн-обучения, при которых модель усваивает новые задачи без деградации на старых;

🟢исследовать масштабирование модели-генератора отдельно от базовой модели.

Помимо этого, в планах выйти за пределы LoRA на другие операторные интерфейсы, распространить метод на видео и агентные системы, а также проработать возможность точечно удалять поведение модели через управление состоянием генератора.

Кроме этого архиполезного исследования Tencent выложили связку из модели-генератора и базовой модели HY-Image-3.0-Instruct, поверх которой она и работает.

Поиграться этой красотой можно, если под рукой простаивает 8х40 GB или 4х80 GB VRAM.


📌Лицензирование: Tencent Hunyuan Community License.


🟡Страница проекта
🟡Prompt Handbook (китайский)
🟡Модель
🟡Техотчет
🖥Github


@ai_machinelearning_big_data

#AI #ML #ImageEdit #HYWU #Tencent

🌟 HY-Embodied-0.5: компактная модель для роботов на Mixture-of-Transformers.

Tencent Robotics X и Hunyuan Vision выложили веса HY-Embodied-0.5 MoT-2B — младшей модели нового семейства HY-Embodied-0.5 для воплощённого интеллекта.

Семейство позиционируется как когнитивное ядро для VLA-пайплайнов: модель должна выполнять роль «мозга», который принимает кадры с камер робота, рассуждает о трехмерной сцене и выдает план действий исполнительному модулю.

Формально MoT-2B содержит 4 млрд параметров, но на инференсе активируется только 2,2 млрд, что дает скорость плотной 2B-модели при качестве восприятия, сопоставимом с тяжёлыми VLM.

В основе лежит архитектура Mixture-of-Transformers с латентными токенами и модально-специфичными вычислениями для зрительного тракта.

Суть MoT: перед мультимодальным обучением Tencent дублирует FFN- и QKV-блоки языковой модели и инициализирует копию её же весами - визуальные токены прогоняются через визуальную ветку, текстовые через языковую.

Помимо разделения FFN и QKV, разведены и механизмы внимания: для визуальных токенов используется двунаправленное полное внимание, для языковых - causal-внимание.

Связующим звеном служат обучаемые visual latent tokens, которые приписываются в конец каждого визуального элемента (кадра или изображения) и переносят визуальную семантику в языковой контекст.

В семействе будет старший вариант - HY-Embodied-0.5 MoE-A32B на 32 млрд активных параметров. Он построен уже на MoE и, по словам создателей, выходит на уровень Gemini 3.0 Pro.

Веса флагмана не опубликованы, но именно эта модель выступает учителем в дистилляции, передавая навыки рассуждения младшей MoT-2B.

🟡Результаты на бенчмарках

🟢MoT-2B обходит Qwen3-VL 2B/4B, RoboBrain 2.5 4B и MiMo-Embodied 7B в большинстве из 22 тестов на визуальное восприятие и пространственное мышление: 89,2 на CV-Bench, 92,3 на DA-2K, 54,5 на ERQA и 66,3 на MindCube, где ближайший конкурент отстаёт почти вдвое.

🟠На задачах планирования (RoboBench-Planning, Ego-Plan2, RefSpatial-Bench) лидерство остаётся за RoboBrain и MiMo-Embodied, здесь Tencent пока догоняет.

Для инференса рекомендуется GPU с минимум 16 ГБ VRAM.

В планах - интеграция с vLLM и Gradio-демо.


📌Лицензирование: Tencent HY Community License


🟡Модель
🟡Arxiv
🟡Техотчет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Embodied #Robotics #Tencent #Hunyuan

🌟 Tencent выпустила набор моделей машинного перевода Hy-MT2

Линейка включает 3 версии: Hy-MT2-1.8B, Hy-MT2-7B и Hy-MT2-30B-A3B.

Все модели поддерживают перевод между 33 языками (включая русский), а также 5 диалектами и языками национальных меньшинств КНР.

Tencent делает акцент на возможности локального запуска модели на устройствах с ограниченными ресурсами.

Версия с экстремальным квантованием в 1,25 бит, собранная с помощью собственного фреймворка Sherry, занимает около 440 МБ и способна работать на мобильных чипах Apple, Qualcomm и MediaTek без подключения к интернету.

Скорость инференса на Apple A15 заявлена в 1,5 раза выше, чем у 4-битной версии предыдущей модели Hy-MT1.5.

По результатам собственного тестирования Tencent, на бенчмарке FLORES-200 версии Hy-MT2 показали средние результаты 88,1%, 96,9% и 98,1% - компания называет это сопоставимым с показателями Gemini 3.1 Pro.

Tencent утверждает, что старшая модель 30B-A3B превосходит DeepSeek-V4-Pro и Kimi K2.6 на ряде тестов, а младшая 1,8B-версия опережает по среднему качеству перевода коммерческие API, включая решение Microsoft.

Вместе с моделью Tencent открыла исходники IFMTBench - собственного тестового набора для оценки того, насколько точно перевод следует пользовательским инструкциям о стиле, терминологии и формате вывода.

Помимо этого, компания выступает партнёром соревнований WMT26 - General Machine Translation и Video Subtitle Translation.

Одновременно, в экосистеме WeChat запущено мини-приложение Tencent Hy Translate. Полноценные приложения для iOS и Android, по словам компании, появятся позднее.


📌Лицензирование: Tencent HY Ccommunity License


🟡Блогпост
🟡Набор моделей
🟡Техотчет
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #MT #HYMT2 #Tencent

🌟 Tencent анонсировала систему сборки 3D-миров по текстовому описанию

Команда Hunyuan3D из Tencent опубликовала технический отчёт о WorldClaw. По одной фразе система строит трёхмерную сцену с рельефом, поверхностями, постройками, растительностью и транспортом.

На выходе получаются полигональные модели с текстурами, совместимые с Blender: их можно править вручную.

🟡Отдельной модели у WorldClaw нет, она связывает существующие

Агентом работает Claude Opus 4.8, картинки делает GPT-Image-2, за сегментацию отвечает семейство SAM3, геометрию доводит Hunyuan3D, а сборка идёт в Blender.

Сначала агент разбирает запрос в описание: какие нужны регионы, как они соседствуют, какой рельеф, какие объекты и в каком стиле.

Затем строится глобальный ландшафт. Регионы рисуются картой-схемой, из неё вырезаются маски, поверх складывается высотное поле из шумов и геоморфных операторов (пиков, дюн, террас, эрозии). Поверхности готовят двумя путями - генерацией текстур и сборкой процедурных материалов Blender. Камни и заросли рассыпаются по местности с учётом уклонов и высот.

На третьей стадии участок рендерится в картинку, редактор изображений дорисовывает на ней нужные объекты, SAM3 вырезает каждый по отдельности, SAM3D лепит по вырезанному черновую модель, а положение в сцене считается через пару лучей от двух камер. Дальше агент пересматривает рендеры и исправляет косяки: предметы, висящие в воздухе или утопленные в грунт, неверный масштаб и поворот.

Модели, не прошедшие проверку по качеству, дорабатывает Hunyuan3D, он уточняет поверхность и рисует текстуры, сохраняя место объекта в сцене.

🟡Тесты

Свою систему Tencent сравнила с SynCity, Marble от World Labs, MajutsuCity, WorldGen и GPT-5.6 Sol.

Всем давали запрос на одну тему средневековой деревни и показывали по четыре вида с уровня земли.

Авторы делают вывод, что WorldClaw выигрывает по выразительности рельефа, разделению регионов, разнообразию содержимого, соответствию запросу и устойчивости картинки при свободном движении камеры, сохраняя при этом объекты отдельными редактируемыми моделями.

С доступом пока неясно - репозиторий на GitHub открыт, но в нём лежат исходники сайта проекта. Ни публичного демо, ни сроков релиза компания не называла.

🟡Страница проекта
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #3D #Agents #WorldClaw #Tencent #Hunyuan3D

🌟 Tencent открыла набор мультимодальных эмбеддингов

Команда WeChat китайского техгиганта выложила в открытый доступ семейство эмбеддинг-моделей WeMM-Embedding, предназначенных для создания универсальных векторных представлений.

Набор работает с текстом, изображениями, видеороликами, сложными визуальными документами и смешанным контентом, объединяя их в единое семантическое пространство.

Эмбеддинги учили с использованием Matryoshka Representation Learning, который позволяет на этапе применения обрезать размерность вектора, экономя память и вычисления.

Построено семейство на Qwen3.5, на выходе младшая модель дает нормализованный вектор на 2048 измерений, а старшая - на 4096.

Tencent приводят цифру, что при сжатии до 256 измерений двухмиллиардная модель сохраняет 98,7% исходного качества на задачах с фото и видео.

Опубликованы веса трех размерностей: 2B, 4B и 9B

🟡 Тесты

9B берет новый лучший общий результат на MMEB-v2 (80,6 балла), а 2B обходит Qwen3-VL-Embedding, который вчетверо больше нее.

Но есть аргумент посильнее бенчей - семейство работает в рекомендациях и поиске WeChat. Она развернута для обработки каналов, аккаунтов и электронной коммерции.

Команда мессенджера говорит, что WeMM-Embedding показали стабильные улучшения в 14 онлайновых A/B-тестах.

Модели работают с библиотекой Transformers и поддерживаются vLLM и SGLang.

Единственным ограничением текущей версии является отсутствие поддержки аудио

📌Лицензирование: Apache 2.0 License


🟡Arxiv
🟡Веса
🖥Githib


@ai_machinelearning_big_data

#AI #ML #Embeddings #WeChat #Tencent