⚙️ GPT-4 moment для для компьютерного зрения: новая SAM-2 от Meta

В апреле 2023 Meta впервые показала свою «Segment Anything Model» (SAM). Это базовая модель для сегментации, которую тогда прозвали «GPT-3 moment» для CV из-за прорыва по метрикам.

И вот: вышел SAM-2! Он, в отличие от предшественника, обучался не на изображениях, а на видео. По словам Meta, теперь сегментация по видео работает даже с шакальным качеством или если некоторые кадры вырезаны.

Датасет (SA-V) в Meta наклепали сами с помощью Data Engine: они дали людям-анотаторам SAM для лейблинга кадров, и новые размеченные данные использовались для обучения дальше. Получилось в 9 раз быстрее, чем с обычной разметкой, и в итоге SA-V содержит 200 часов аннотированных видео.

Архитектурно SAM-2 – это трансформер, как и прошлая версия. Чтобы адаптировать его к видео, был добавлен модуль памяти, который собственно и хранит информацию о прошлых кадрах. Если на вход подается картинка, модуль просто остается пустым.

По метрикам – SOTA. При этом моделька быстрая – в 6 раз быстрее SAM на изображениях, в три раза быстрее предшественников на видео. И при этом все полностью в опенсорс: вот репозиторий, где можно найти код, веса, демо, статью и блогпост.

⚪️ Наконец-то обновилась LMSYS арена! Llama-3.1-405B на третьем месте! Это первый раз, когда открытая модель вошла в тройку лучших. На аренах кодинга и математики 3.1 405В тоже в тройке. Модель на 70В параметров тем временем заняла 9 место в рейтинге.

🚀 Breaking: PyTorch выпускает новую библиотеку torchchat для инференса LLM!

Библиотека предназначена только для локального инференса, так что конкуренцию новому альянсу HF и Nvidia не составит, но может быть невероятно полезной для петпроектов и домашнего пользования.

На тестах выглядит достаточно бодрой: Llama 3 8B можно запустить на IPhone и Samsung Galaxy S23 со скоростью 8Т/сек. Скоро обещают цифры для Llama 3.1.

Больше можно прочитать в блогпосте.

Давайте еще раз насладимся тем, как потрясающе хорошо работает новый SAM-2 (наш обзор модели здесь)

RIP YOLO 💀

⚡️ Воу: Google выпустила SOTA LLM в размере 2В

Мини-версия вышедшей месяц назад Gemma-2 на 2В параметров бьет рекорды. На арене она уже обошла даже GPT-3.5 Turbo, не говоря уже о моделях своего размера.

Архитектура: написано, что эта модель дистиллирована из другой (вот тут мы писали, как такое работает), но из какой и на сколько параметров, не уточняется. Также благодаря поддержке softcapping во Flash Attention след атеншена в памяти теперь линейный (вместо О(N^2)).

Но и это не все: плюсом к модели вышло еще семейство классификаторов ShieldGemma для фильтрации вредоносного контента, а также Gemma Scope. Это сет автоенкодеров для интерпретации модели и ее оценки. Ну кайф!

Блогпост | Веса

🔵 Цукерберг тем временем заявил, что будет обучать Llama-4, используя в 10 раз больше компьюта, чем для Llama-3. На днях он, кстати, также рассказал, что крупнейший рынок для MetaAI – это Индия, потому что там больше всего пользователей WhatsApp.

А что вообще за автоэнкодеры такие?

Сегодня Google выкатила свою новую модель Gemma 2 2B (наш разбор). Однако взгляды сообщества в большей мере направлены не на нее саму, а на сопутствующий релиз семейства Gemma Scope. Объясняем, почему.

Что это такое? Gemma Scope – это семейство разреженных автоенкодеров (SAE) для всех слоев Gemma 2 2B и 9B. Они представляют из себя модели, которые распутывают активации LLM и достают из них так называемые интерпретируемые "фичи". Их можно воспринимать, как темы или концепции: это могут быть вещи из реального мира (мосты, коровы) или абстракции (ложь, отзывчивость).

Но эти фичи не просто существуют. Мы можем повышать вес каждой из них, тем самым заставляя модель думать в определнном направлении. То есть, такие автоэнкодеры позволяют нам понимать, о чем думает модель, объяснять ее поведение и крутить ручки, чтобы влиять на ее мысли.

Метод с SAE впервые был предложен Anthropic прошлым летом (статья), они же впервые применили его для большой модели и научились управлять фичами (наш большой разбор этого исследования). Совершили революцию, получается.

Так вот. Gemma Scope от Google – это, можно сказать, первая работа, в которой такие автоэнкодеры обучены и выложены в открытое пользование разработчиков. Представьте, какие возможности открывает такой интрумент для файнтюнинга и исследований.

Настоящий праздник жизни 🥳

😮 Google дропнула экспериментальную версию Gemini 1.5 Pro, которая превзошла GPT-4o и Claude Sonet на LMSYS арене

Не прошло и двух дней с выпуска свежей Gemma 2, а Google уже поражает нас снова своей новой моделью, которая внезапно заняла самую верхушку рейтинга LLM.

Первые пользователи Gemini 1.5 Pro Experimental 0801 говорят, что их особенно поразили визуальные способности модели. Оно и видно: на арене чатбот первый не только в общем рейтинге, но и по зрению!

Как тебе такое, Сэм Альтман?

Вы гляньте, какая красота: пользователи HuggingFace нарисовали тепловую карту опенсорс-релизов компаний. Прямо как на GitHub. Надо сказать, некоторые тренды прослеживаются довольно четко 🤔

Вносим в тренд свою лепту 🤤