🔥 VideoLLaMA 3: Frontier Multimodal Foundation Models for Video Understanding


VideoLLaMA - это серия мультимодальных моделей (MLLM), разработанных для различных задач понимания изображений и видео!

🌟 Модели поддерживают возможности обработки текста, изображений и видео.

Модели подойдут для создания универсальных приложений, способных решать широкий спектр задач, связанных с анализом визуальной информации.

🖐️Результаты 7B модели: DocVQA: 94,9, MathVision: 26,2, VideoMME: 66,2/70,3, MLVU: 73,0
🤏 Результаты 2B-модели для мобильных устройств: MMMU: 45.3, VideoMME: 59.6/63.4

🔐 Лицензирование: Apache-2.0

▪ Github: https://github.com/DAMO-NLP-SG/VideoLLaMA3
▪Image Demo: https://huggingface.co/spaces/lixin4ever/VideoLLaMA3-Image
▪Video Demo: https://huggingface.co/spaces/lixin4ever/VideoLLaMA3

@ai_machinelearning_big_data

#video #MLLM #opensource #VideoLLaMA #VideoUnderstanding

🌟 RT-DETRv2: усовершенствованная CV-модель для детекции объектов в реальном времени.

RT-DETRv2 - новая версия RT-DETR, альтернативы YOLO. RT-DETRv2 получила ряд улучшений: повышение гибкости, практичности и производительности.

Ключевое изменение - модификация модуля deformable attention в декодере. В RT-DETRv2 предлагается устанавливать различное количество точек выборки для признаков разных масштабов. Это дает возможность более эффективно извлекать многомасштабные признаки, делая ее более адаптировной к множествам сценариям детекции.

Чтобы сделать модель модель более практичной, заменили оператор grid_sample, характерный для DETR, на опциональный discrete_sample, который выполняет округление предсказанных смещений выборки, что ускоряет процесс без значительной потери точности.

RT-DETRv2 обучается стратегией динамического усиления данных (dynamic data augmentation). На ранних этапах используются более интенсивные методы аугментации, чтобы модель лучше обобщала данные. На поздних этапах уровень аугментации снижается, что позволяет модели адаптироваться к целевой области.

В новой версии используется кастомизация гиперпараметров в зависимости от масштаба модели. Например, для ResNet18 увеличивается скорость обучения, тогда как для более крупных моделей - ResNet101, она снижается.

Тесты RT-DETRv2 выполнялись на наборе датасете COCO, где модель показала улучшение метрики AP на 0.3–1.4 пункта по сравнению с RT-DETR, сохраняя при этом высокую скорость работы. Например, RT-DETRv2-S с архитектурой ResNet18 достигла AP 47.9, что на 1.4 пункта выше, чем у RT-DETR-S.

Скрипты для файнтюна RT-DETRv2 с Trainer или Accelerate размещены в репозитории HuggingFace на Github, а ноутбук простого инференса локально - тут или запустить в Google Collab.


📌Лицензирование: Apache 2.0


🟡Статья
🟡Arxiv
🟡Google Collab инференса
🖥Github


#AI #CV #RTDETRv2

✔️ Ученые добились телепортации с помощью квантового суперкомпьютера.

Исследователи из Оксфордского университета впервые продемонстрировали распределенные квантовые вычисления (DQC) между 2 модулями с захваченными ионами, соединенными оптической сетью. В эксперименте статьи, опубликованной в Nature, ученые использовали квантовую телепортацию для передачи управляемого гейта CZ между модулями с точностью 86%. Это достижение позволяет выполнять сложные квантовые алгоритмы, например алгоритм Гровера, с успешностью 71%.

Распределенная архитектура DQC позволит в будущем создавать крупномасштабные квантовые компьютеры, объединяя несколько модулей через квантовые и классические каналы связи.
independent.co.uk

✔️ Илон Маск вместе с группой анонимных инвесторов подал заявку на покупку OpenAI за 97 миллиардов долларов. Они настаивают на том, чтобы компания вернулась к открытой модели кода и работала ради общественного блага. Сэм Альтман, подтвердив эту новость, пошутил о покупке Twitter за 9 миллиардов долларов. Маску эта шутка не понравилась, он обвинил Альтмана в мошенничестве. Это уже второй раз, когда предпринимаются попытки вытеснить Альтмана из OpenAI, причем сейчас против него выступает сам Маск, который является одним из наиболее влиятельных людей в Америке.

✔️ Anthropic создала "Экономический индекс" для изучения влияния ИИ на рынок труда.

Anthropic представила Экономический индекс, направленный на изучение влияния ИИ на рынок труда и экономику. Первый отчет основан на анализе миллионов анонимных диалогов с Claude. Согласно ему, ИИ чаще применяется для расширения человеческих возможностей (57%), чем для полной автоматизации задач (43%). Наибольшее внедрение ИИ наблюдается в сферах разработки ПО и написания технических статей, а в низкооплачиваемых и высокооплачиваемых профессиях его использование ограничено. Anthropic открывает доступ к данным индекса для дальнейших исследований.
anthropic.com

✔️ OpenAI разрабатывает собственный чип для снижения зависимости от Nvidia.

Компания активно работает над созданием собственного чипа, чтобы уменьшить зависимость от поставок Nvidia. Дизайн первого поколения чипа будет завершён в ближайшие месяцы, а его производство планируется на базе TSMC с использованием 3-нм технологии.

Команду разработчиков возглавляет Ричард Хо, ранее работавший в Google. Чип предназначен для обучения и запуска моделей ИИ, но изначально будет использоваться в ограниченных масштабах. Массовое производство планируется начать в 2026 году.
reuters.com

✔️ Запущен архив данных data.gov

Library Innovation Lab (Гарвардский университет) запустила архив данных data.gov на платформе Source Cooperative. Коллекция объемом 16 ТБ включает более 311 000 наборов данных, собранных в 2024 и 2025 годах, и представляет собой полный архив федеральных публичных данных, связанных через data.gov. Архив будет ежедневно обновляться по мере добавления новых данных.

Этот проект является частью инициативы по сохранению важных публичных данных для академических исследований и общественного использования. Также опубликовано открытое ПО для создания подобных репозиториев. Проект поддерживается Filecoin Foundation и Rockefeller Brothers Fund.
lil.law.harvard.edu

✔️ Тысячи художников требуют отменить аукцион AI-искусства, обвиняя технологии в "массовой краже".

Сообщество художников призывают аукционный дом Christie’s отменить продажу произведений искусства, созданных с помощью ИИ, утверждая, что технологии, стоящие за этими работами, совершают "массовую кражу". Аукцион Augmented Intelligence, который Christie’s называет первым крупным аукционом, посвящённым ИИ, включает 20 лотов с ценами от $10 000 до $250 000.

В открытом письме, которое подписало более 3000 человек, говорится, что многие работы созданы с использованием моделей ИИ, обученных на защищённых авторским правом произведениях без разрешения их авторов. Художники обвиняют создателей в эксплуатации их труда для коммерческих продуктов. Christie’s заявляет, что в большинстве случаев ИИ обучался на данных, предоставленных самими художниками.
theguardian.com

#ml #ainews #news

🌟 Масштабирование вычислений LLM с использованием скрытых рассуждений: метод с рекуррентной глубиной.

Экспериментальная архитектура LLM, которая способна масштабировать вычисления за счет скрытых рассуждений в латентном пространстве путем итеративного применения рекуррентного блока, что дает возможность развернуть вычисления на произвольную глубину.

Этот метод отличается от традиционных, которые увеличивают вычислительные ресурсы за счет генерации большего количества токенов. Например, в отличие от CoT, предложенный подход не требует специализированных датасетов, работает с небольшими окнами контекста и способен захватывать типы рассуждений, которые сложно выразить словами. В дополнение, модели этой архитектуры требуют меньше памяти для обучения и инференса.

Тестовая модель Huginn-3.5B получила 3.5 млрд параметров и была обучена на 800 млрд. токенов (веб-страницы, научные публикации и программный код) с использованием случайного числа итераций рекуррентного блока для каждой входной последовательности. Чтобы сократить потребление памяти использовалось усеченное обратное распространение, при котором градиенты вычисляются только для последних итераций.

Модель состоит из 3 основных блоков: прелюдии, рекуррентного блока и коды. Прелюдия преобразует входные данные в латентное пространство, рекуррентный блок выполняет итеративные вычисления, а кода преобразует латентное состояние обратно в вероятности токенов. Рекуррентный блок может быть повторен произвольное количество раз, позволяя модели выполнять произвольное количество вычислений перед генерацией токена.

Результаты проведенных тестов на стандартных задачах ARC, HellaSwag, MMLU свидетельствуют, что Huginn-3.5B превосходит традиционные модели на задачах, требующих сложных рассуждений (математические задачи и программирование). Например, на задачах GSM8k и MATH модель показала значительное улучшение производительности при увеличении числа рекуррентных итераций.

⚠️ Модель не подвергалась файнтюну или посттренингу, но благодаря включению instruct-данных во время претрейна, она изначально понимает свой шаблон чата.

⚠️ Чекпоинт на HF обучался всего на 47000 шагах и является академическим проектом.

▶️ Локальный инференс:

# Load the model
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("tomg-group-umd/huginn-0125", torch_dtype=torch.bfloat16, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("tomg-group-umd/huginn-0125")


# Modifying the Model's Depth at Test Time
input_ids = tokenizer.encode("The capital of Westphalia is", return_tensors="pt", add_special_tokens=True).to(device)
model.eval()
model.to(device)

model(input_ids, num_steps=32)


# Model can be used like a normal HF model
# You can provide `num_steps` directly to the `generate` call
model.eval()
config = GenerationConfig(max_length=256, stop_strings=["<|end_text|>", "<|end_turn|>"], 
                          use_cache=True,
                          do_sample=False, temperature=None, top_k=None, top_p=None, min_p=None, 
                          return_dict_in_generate=True,
                          eos_token_id=65505,bos_token_id=65504,pad_token_id=65509)


input_ids = tokenizer.encode("The capital of Westphalia is", return_tensors="pt", add_special_tokens=True).to(device)
outputs = model.generate(input_ids, config, tokenizer=tokenizer, num_steps=16)

📌 Лицензирование: Apache 2.0 License.


🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #LatentReasoning

✔️ Модели ChatGPT получили расширение возможностей.

OpenAI сегодня сообщила в своем аккаунте X (Twitter) о том, что модели o1 и о3-mini теперь поддерживают загрузку файлов и изображений, а дневной лимит загрузок для o3-mini-high увеличен в 7 раз для пользователей Plus до 50 в день.
x.com

✔️ YouTube интегрирует Veo 2 в Shorts.

YouTube объявил об интеграции новой модели генерации видео Veo 2 в функцию Dream Screen, что позволит пользователям создавать уникальные AI-видео для Shorts на основе текстового запроса. Veo 2 может создать видео в различных стилях и тематиках, учитывая реальную физику и движения человека. Она позволяет указывать стиль, ракурс или кинематографический эффект.

Чтобы использовать новую функцию, нужно открыть камеру Shorts, нажать "Add", затем "Create", ввести запрос и выбрать длину видео. YouTube автоматически пометит ватермаркой SynthID созданный таким образом контент. Возможность уже доступна в США, Канаде, Австралии и Новой Зеландии, расширение - в планах.
blog.youtube

✔️ Anthropic готовится к выпуску новых гибридных моделей с возможностями рассуждения.

Anthropic готовится к выпуску новой модели, объединяющей возможности традиционной LLM с расширенными функциями рассуждения. Ожидается, что модель будет доступна в ближайшие недели и ориентирована на корпоративных клиентов.

Ключевая особенность новой модели - переменное распределение ресурсов, позволяющее пользователям регулировать вычислительную мощность, используемую моделью для каждой задачи, с помощью простого слайдера. На минимальном уровне модель функционирует как стандартная LLM без цепочки рассуждений.
theinformation.com

✔️ Релиз Grok 3 ожидается через пару недель.

xAI находится на финальной стадии разработки Grok 3, новой версии своего чат-бота, выпуск которого ожидается в течение одной-двух недель. По словам Илона Маска, Grok 3 обладает очень мощными возможностями рассуждения и превосходит все известные модели. Grok 3 позиционируется как конкурент ChatGPT, Gemini, Claude, Mistral AI и Llama.

Модель была обучена с использованием синтетических данных и способна анализировать собственные ошибки, стремясь к большей логической последовательности путем пересмотра и перекрестной проверки данных. Musk отметил, что Grok 3 временами кажется "пугающе умным".
seekingalpha.com

✔️ Ai2 выпустила OLMoE, опенсорсное iOS-приложение для запуска LLM непосредственно на устройствах.

OLMoE, iOS-приложения с полностью открытым исходным кодом, которое позволяет пользователям запускать современные языковые модели непосредственно на своих устройствах без необходимости подключения к Интернету. Приложение доступно для загрузки в Apple App Store или может быть собрано из исходного кода из репозитория Ai2 на Github.

Приложение работает на новых устройствах Apple, от iPhone 15 Pro и новее и iPad серии M, из-за потребности в 8 ГБ памяти для модели OLMoE. Модель была оптимизирована с использованием квантования Q4_K_M. OLMoE представляет собой продолжение стремления Ai2 к открытости в разработке ИИ. На iPhone 16 Pro инференс достигает 41 токена в секунду.
allenai.org

✔️ OpenAI представила рекомендации по использованию моделей рассуждения, специально разработанных для сложных, многоступенчатых задач.
Главное:
Используйте разделители: Markdown, XML-теги и заголовки помогают чётко структурировать вводимые данные.
Различие моделей:
Модели рассуждения (например, o1, o3-mini) оптимизированы для детального планирования, анализа документов и визуальной интерпретации.
GPT-модели (например, GPT-4o) ориентированы на скорость и экономию ресурсов для хорошо определённых задач.
Практическое применение:
Модели рассуждения отлично справляются с уточнением неясных запросов, извлечением ключевых деталей из объёмных данных и многоступенчатым планированием (например, при код-ревью).
Рекомендации по запросам:
Используйте короткие, ясные и структурированные запросы с явными ограничениями. Излишне подробные инструкции "chain-of-thought" не требуются, так как модели рассуждают внутренне.
Post

@ai_machinelearning_big_data


#news #ai #ml