⚡️ Qwen опенсорснули настоящую омни-мультимодальную модель на 7B

Qwen2.5-Omni-7B может принимать на вход видео, аудио, текст и картинки, и отвечать аудио или текстом. То есть с моделькой теперь можно общаться по «видеосвязи». Немного технических деталей:

➖ В целом архитектура поделена на thinker и talker

➖ Thinker – это трансформер, который декодит модальности и генерирует ответы и эмбеддинги для talker’а

➖ Talker – авторегрессионка для говорения. Принимает на вход эмбеддинги от thinker’а и генерирует токены речи в стрим режиме

➖ Надо понимать, что это не отдельные модели: оба модуля обучаются одновременно и работают end-to-end

Метрики для 7В замечательные. Обходит даже Gemini 1.5 Pro.

Веса (лицензия Apache 2.0)
Статья
Попробовать

Есть хорошая и плохая новость

👎 Плохая: нативной генерации изображений gpt-4o для бесплатной подписки пока не будет.

Альтман объявил, что они не ожидали такого ажиотажа и поэтому немного отложили ролаут на free юзеров.

👍 Хорошая: вышел Ideogram 3.0 и в нем дают несколько бесплатных генераций в неделю (для регистрации достаточно гугл аккаунта).

По Elo моделька обгоняет Imagen3 и Flux Pro. Фотореализм и работа с текстом на высоте. А еще можно загружать референсные картинки, чтобы задать генерациям стиль. Пробуйте здесь.

Микроскоп для LLM: новое исследование от Anthropic

Anthropic известны своими работами по интерпретируемости. Раньше их основным подходом, который затем переняли OpenAI и Google, были SAE (наши разборы №1, №2, №3, №4, №5). А теперь они предлагают новый метод, который позволяет строить полноценные схемы мыслей ИИ, – Circuit Tracing, то есть цепная трассировка. Технически это вот так:

1. Берем обученный трансформер и определенную задачу.

2. Создаем замещающую модель: некоторые компоненты трансформера заменяем на интерпретируемые линейные модельки, их называют Cross-Layer Transcoder.

3. На конкретной выбранной задаче обучаем транскодеры вести себя также, как оригинальный компонент, то есть решаем задачу минимизации MSE Loss между выходами оригинального слоя и замененного.

4. Теперь у нас есть линеазированная интерпретируемая аппроксимация нашего трансформера, и на ней мы можем отследить потоки активаций через все слои.

5. Используя эти потоки, строим граф атрибуции, отражающий пути влияния одних признаков на другие. Анализируя этот граф, можно выделять какие-то интерпретируемые концепты и рисовать настоящие карты "размышлений" модели.

Как выглядят такие итоговые карты для Claude – посмотрите на картинках 2, 3, 4, 5. Там много интересного, если вглядеться. Например:

➖ Несмотря на то, что модель решает только задачу next token prediction, она думает наперед. Это видно в задаче написания стихов: Claude планирует рифму еще до того, как начинает писать новую строчку.
➖ Claude умеет считать "в уме". Вопреки расхожему мнению, оказывается, что модель не просто запоминает ответы математических задач, а действительно использует сложные вычислительные пути для их решения.
➖ Даже галлюцинации оказываются вполне объяснимой вещью: исследователи обнаружили конкретную фичу "ответ известен", и, если она активируется по ошибке, модель начинает выдумывать.
➖ Из смешного: если сразу сказать модели ответ на задачу, она будет думать в обратном направлении, то есть пытаться придумать правдоподобное решение для ответа.

Статья про подход | Статья про эксперименты на Claude (советуем прочитать полностью, действительно очень интересное исследование)